JP2003102014A - 動画データ変換装置および動画データ変換プログラム - Google Patents
動画データ変換装置および動画データ変換プログラムInfo
- Publication number
- JP2003102014A JP2003102014A JP2001290110A JP2001290110A JP2003102014A JP 2003102014 A JP2003102014 A JP 2003102014A JP 2001290110 A JP2001290110 A JP 2001290110A JP 2001290110 A JP2001290110 A JP 2001290110A JP 2003102014 A JP2003102014 A JP 2003102014A
- Authority
- JP
- Japan
- Prior art keywords
- mpeg
- format
- data
- unit
- motion vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
- H04N19/517—Processing of motion vectors by encoding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
回路規模を小さくし、処理時間を短くし、さらに変換後
の動画データの画質確認を容易にすること。 【解決手段】 MPEG-2形式の動画データを非圧縮形式の
動画データに復号するMPEG-2復号部3と、復号中のデー
タから動きベクトル情報を抽出する動きベクトル抽出部
4と、抽出した動きベクトル情報をMPEG-4形式の動き補
償処理に反映させてMPEG-4形式の動きベクトル情報を生
成し、該生成した動きベクトル情報を用いて動き補償処
理を実行する動き補償部5と、該動き補償部5の出力お
よびMPEG-2復号部3で復号された非圧縮形式の動画デー
タを用いてMPEG-4形式の動画データへの符号化処理を実
行するMPEG-4符号化部6とを備える。
Description
データをMPEG-4形式の動画データに変換する動画データ
変換装置および動画データ変換プログラムに関するもの
である。
-4形式の動画データに変換をするために、MPEG-2形式の
動画データを非圧縮形式に復号した上で、この動画デー
タをMPEG-4形式に符号化し、MPEG-4形式の動画データに
変換する方法がとられている。
形式の動画データをMPEG-4形式の動画データに変換する
方法を説明する。
3は、ビットストリーム入力部34、MPEG-2復号装置3
5、MPEG-4符号化装置36、ビットストリーム出力部3
7で構成されている。MPEG-2形式の動画データはビット
ストリーム入力部34を介してMPEG-2復号装置35に入
力される。MPEG-2復号装置35は、MPEG-2形式の動画デ
ータを非圧縮形式に復号し、MPEG-4符号化装置36に出
力する。MPEG-4符号化装置36は、非圧縮形式に復号さ
れたデータをMPEG-4形式の動画データに符号化し、ビッ
トストリーム出力部37に出力する。ビットストリーム
出力部37は、MPEG-4形式の動画データを出力する。
ように、ビットストリーム入力部39にMPEG-2形式の動
画データを入力し、汎用の中央処理装置40を使用して
ソフトウェアでMPEG-2形式のデータを非圧縮形式に復号
しさらにMPEG-4形式の動画データに符号化することで、
ビットストリーム出力部41からMPEG-4形式の動画デー
タを出力する方法もある。
いて変換する場合にも、MPEG-2形式の動画データをMPEG
-4形式の動画データに変換するためには、MPEG-2復号
装置とMPEG-4符号化装置、または、MPEG-2復号プログラ
ムとMPEG-4符号化プログラムを持つことが必要となる。
変換された動画データの画質を確認するには、変換前の
MPEG-2形式の動画データと変換後のMPEG-4形式の動画デ
ータをそれぞれ別個に再生して動画の画質を比較する方
法がとられている。
では、MPEG-2形式の動画データをMPEG-4形式に変換する
際、MPEG-2形式の動画データを一旦非圧縮形式に復号し
た上で、この非圧縮形式の動画データを用いてMPEG-4形
式の全ての符号化処理(動き検出、動き補償、符号化な
ど)を実行しなければならないので、動き検出、動き補
償、符号化などを全て実行し得るMPEG-4符号化装置を用
意する必要があり、装置の回路規模が大きくなるという
問題が生じる。また、上記従来手法を汎用の中央処理装
置のソフトウェアとして実現した場合は、処理時間が膨
大にかかるという問題が生じる。
処理に起因している。動きベクトルの探索処理とは、現
在のフレーム中の符号化対象となっている領域に対し
て、隣接するフレームの探索範囲中から最も類似の領域
を探索することであり、動きベクトルは、隣接フレーム
のフレームの探索領域から現在のフレームの符号化対象
領域への移動ベクトルとして表現される。
MPEG-4形式の動画データに変換する時に、上記動きベク
トル検索処理を非圧縮画像のフレームを用いて全数調査
する必要があるために、装置の回路規模が大きくなった
り、処理時間が膨大になるなどの問題を有している。
の動画データと変換後のMPEG-4形式の動画データをそれ
ぞれ別個に再生して動画の画質を比較するため、同じ時
点での変換前の動画データと変換後の動画データの対応
がわかりずらく、MPEG-4形式の動画データの画面サイ
ズ、ビットレート、目標フレームレートなどのパラメー
タが適切か否かを確認するのが困難である。
変換後の動画データの画質を保ちつつ、装置の回路規模
を小さくし、処理時間を短くし、さらに変換後の動画デ
ータの画質確認が容易になるような動画データ変換装置
および動画データ変換プログラムを得ることを目的とし
ている。
この発明にかかる動画データ変換装置は、MPEG-2形式の
動画データを非圧縮形式の動画データに復号するMPEG-2
復号部と、前記復号中のデータから動きベクトル情報を
抽出する動きベクトル抽出部と、前記抽出した動きベク
トル情報をMPEG-4形式の動き補償処理に反映させてMPEG
-4形式の動きベクトル情報を生成し、該生成した動きベ
クトル情報を用いて動き補償処理を実行する動き補償部
と、該動き補償部の出力および前記MPEG-2復号部で復号
された非圧縮形式の動画データを用いてMPEG-4形式の動
画データへの符号化処理を実行するMPEG-4符号化部とを
備えることを特徴とする。
タ中に既に動きベクトルが存在していることに着目し、
MPEG-2形式の動画データをMPEG-4形式に変換するに当た
って、非圧縮形式の動画データをMPEG-4形式に符号化す
る際に、そのまま動きベクトルを全数検索するのではな
く、MPEG-2形式の動画データ中に既に存在する動きベク
トルを抽出して、MPEG-4形式の動画データに適合するよ
うに変換を行って、MPEG-4符号化処理での動き補償処理
で利用するようにしている。
は、上記の発明において、前記MPEG-4符号化部は、動き
補償部での動き補償処理で用いる局所復号動画データを
生成出力するものであり、このMPEG-4符号化部より出力
される局所復号動画データおよび前記MPEG-2復号部で復
号された非圧縮形式の動画データが入力され、これら各
入力データを同時表示する表示部をさらに備えたことを
特徴とする。
力される動き補償処理で用いる局所復号動画データを利
用し、この局所復号動画データをMPEG-2復号部で復号さ
れた非圧縮形式の動画データと表示部に同時に表示す
る。
は、上記の発明において、前記MPEG-2形式の動画データ
と前記MPEG-4符号化部より出力されるMPEG-4形式の動画
データとを多重化して出力するデータ多重部をさらに備
えたことを特徴とする。
タと前記MPEG-4符号化部より出力されるMPEG-4形式の動
画データとを多重化して出力するようにしている。
ラムは、MPEG-2形式の動画データをMPEG-4形式の動画デ
ータに変換するためにコンピュータを、MPEG-2形式の動
画データを非圧縮形式の動画データに復号するMPEG-2復
号手段、前記復号中のデータから動きベクトル情報を抽
出する動きベクトル抽出手段、前記抽出した動きベクト
ル情報をMPEG-4形式の動き補償処理に反映させてMPEG-4
形式の動きベクトル情報を生成し、該生成した動きベク
トル情報を用いて動き補償処理を実行する動き補償手
段、該動き補償部の出力および前記MPEG-2復号手段で復
号された非圧縮形式の動画データを用いてMPEG-4形式の
動画データへの符号化処理を実行するMPEG-4符号化手段
として機能させることを特徴とする。
タをMPEG-4形式に変換するに当たって、非圧縮形式の動
画データをMPEG-4形式に符号化する際に、そのまま動き
ベクトルを全数検索するのではなく、MPEG-2形式の動画
データ中に既に存在する動きベクトルを抽出して、MPEG
-4形式の動画データに適合するように変換を行って、MP
EG-4符号化処理での動き補償処理で利用するようにして
いる。
ラムは、上記の発明において、前記MPEG-4符号化手段
は、動き補償手段での動き補償処理で用いる局所復号動
画データを生成出力するものであり、このMPEG-4符号化
部より出力される局所復号動画データおよび前記MPEG-2
復号部で復号された非圧縮形式の動画データを表示画面
に同時表示するための制御を行う表示制御手段をさらに
備えたことを特徴とする。
出力される動き補償処理で用いる局所復号動画データを
利用し、この局所復号動画データをMPEG-2復号手段で復
号された非圧縮形式の動画データを表示画面に同時に表
示する。
ラムは、上記の発明において、前記MPEG-2形式の動画デ
ータと前記MPEG-4符号化手段より出力されるMPEG-4形式
の動画データとを多重化して出力するデータ多重手段を
さらに備えたことを特徴とする。
タと前記MPEG-4符号化部より出力されるMPEG-4形式の動
画データとを多重化して出力するようにしている。
発明にかかる動画データ変換装置および動画データ変換
プログラムの好適な実施の形態を詳細に説明する。
いくつかの種類があるが、以下の実施の形態では、MPEG
-2はMP@ML(メインプロファイルのメインレベル)、MPE
G-4はシンプルプロファイルと呼ばれるMPEG-4の中で、
最も基本的なプロファイルを使用した場合について説明
する。
置の実施の形態1の構成を示すブロック図である。図1
において、動画データ変換装置1は、ビットストリーム
入力部2と、MPEG-2復号部3と、動きベクトル抽出部4
と、動き補償部5と、MPEG-4符号化部6と、ビットスト
リーム出力部7と、全体制御部8とを有する。
の画像データ(符号化ビットストリーム)を入力し、入
力されたMPEG-2形式の画像データの可変長復号化などを
実行する。
タを非圧縮形式の動画データに復号する機能を有する。
この復号化に当たっては、量子化された離散コサイン変
換(DCT)係数の逆量子化、逆DCTを行って対象と
なるマクロブロックと対応する予測マクロブロックとの
差分信号を得るとともに、動きベクトルを復号化して動
きベクトルに基づいて予測マクロブロックを取得し、こ
れを前記差分信号と加算することによって非圧縮形式の
動画データを得る通常の復号化処理が行われる。MPEG-2
復号部3は、復号化したMPEG-2形式の非圧縮形式の動画
データをMPEG-4符号化部6に出力する。
で復号中のデータから動きベクトルを抽出し、該抽出し
たMPEG-2形式の動きベクトル情報を動き補償部5に出力
する。すなわち、可変長復号化が終了したMPEG-2形式の
動画データ中には、既に動きベクトルが存在している。
動きベクトル抽出部4は、MPEG-2形式の動画データフレ
ーム中の所定のタイムスロットに存在する動きベクトル
を抽出したり、あるいは復号化中に動きベクトルを抜き
取るなどして、復号化中にMPEG-2形式の動画データから
動きベクトルを抽出する。
報をMPEG-4形式の動き補償処理に反映させたMPEG-4形式
の動きベクトル情報を生成し、生成した動きベクトル情
報を用いてMPEG-4形式での動き補償処理を実行する。詳
細には、動き補償部5は、前記生成したMPEG-4形式の動
きベクトル情報と、MPEG-4符号化部6から入力される局
所復号化されたデータ(参照フレーム)を用いて、参照
フレームを動き補償して最適な予測マクロブロックを取
得する。動き補償部5は、この取得した予測マクロブロ
ックをMPEG-4符号化部6に出力する。
およびMPEG-2復号部3で復号された非圧縮形式の動画デ
ータを用いてMPEG-4形式の動画データへの符号化処理を
実行する。詳細には、MPEG-4符号化部6は、対象となる
マクロブロック(MPEG-2復号部3の出力)と対応する予
測マクロブロック(動き補償部5の出力)との差分を求
め、この差分信号に対しDCTを施し、DCT係数を量
子化する。そして、量子化DCT係数、動きベクトルお
よび量子化幅などをビットストリーム出力部7に入力す
る。一方、DCT係数を量子化したものを逆量子化し、
さらに逆DCT化し、局所復号動画データを得る。そし
て、この局所復号動画データを動き補償部5に出力して
動き補償処理に利用させる。
量子化DCT係数、動きベクトルおよび量子化幅などを
含むMPEG-4形式の動画データに可変長符号化などを施し
て外部に出力する。
の各構成要素を統括的に制御するととともに、MPEG-4形
式の動画データの画面サイズ、ビットレート、目標フレ
ームレートなどの動作パラメータを指示する機能を有す
る。
補償部5で行う処理を説明するために必要な、動きベク
トル、ピクチャ、マクロブロックなどの概念について説
明する。
な検索処理について説明する。図2(a)は前フレーム、
図2(b)は現在のフレームを示している。図2(b)に示す
現在のフレームの中で符号化対象となっている対象領域
42に関して設定される所定の検索範囲43を求め、図
2(a)に示す前のフレームにおける前記検索範囲43中
で、対象領域42にもっとも類似の領域44を探索す
る。そして、探索された類似の領域44から対象領域4
2までの動きの方向と大きさを求め、これを対象領域4
2の動きベクトル45とする。つまり、動きベクトルと
は、2つのフレーム間での、所定の大きさのブロック領
域の動きの方向と大きさを示す情報のことである。な
お、通常、動きベクトルの検索単位である前述の対象領
域42は、後述するマクロブロックに対応していること
が多い。このような、動きベクトルの検索処理が、従来
方式では、全数調査していたが、本装置では、MPEG-2形
式の動画データ中に既に存在する動きベクトルを利用す
るようにしており、このような動きベクトルの検索処理
は省略される。
チャとMPEG-2形式のピクチャとの対応関係について説明
する。MPEG-2形式およびMPEG-4形式の動画データは、画
像フレームに分割されて符号化される。この分割された
画像フレームの単位をピクチャという。インターレース
された動画の場合は、ピクチャを画像フィールドの単位
とすることも可能である。
r Second)の場合のMPEG-2形式のピクチャを示してい
る。図3(b)はフレームレート10fpsの場合のMPEG-4形式
のピクチャを示している。図3(b)に示すように、ある
時刻t0からt1までの時間に存在するMPEG-4形式のピ
クチャは、ピクチャ12のみである。一方、MPEG-2形式
の場合、図3(a)に示すように、時刻t0からt1まで
の時間には、ピクチャ9、10、11の3つのピクチャ
が存在する。このMPEG-2形式の3つのピクチャ9、1
0、11がMPEG-4形式のピクチャ12に対応する。つま
り、MPEG-4形式のピクチャと時間的に同じ範囲内に存在
する複数のMPEG-2形式のピクチャが、MPEG-4形式のピ
クチャに対応するMPEG-2形式のピクチャとなる。
ロブロックとMPEG-2形式のマクロブロックとの対応関係
について説明する。マクロブロックとは、ピクチャを、
例えば16ピクセル×16ラインごとに分割したときの
分割単位のことであり、このマクロブロック毎に動きベ
クトルの有無を指定するとともに、動きベクトルが存在
する場合は、動きベクトルを指定することができる。
を702ピクセル×480ラインとし、変換後のMPEG-4
形式のピクチャを352ピクセル×240ラインとして
いる。MPEG-4形式のピクチャ14をMPEG-2形式のピクチ
ャ13にスケールを合わせ、この状態で、MPEG-2形式の
ピクチャ13と、MPEG-2形式のピクチャ13にスケール
をあわせたMPEG-4形式のピクチャ14をそれぞれ上記マ
クロブロックに分割する。MPEG-4形式のピクチャの1つ
のマクロブロック19と重なる領域には、MPEG-2形式の
ピクチャの4つのマクロブロック15、16、17、1
8が存在する。つまり、MPEG-4形式のマクロブロックに
対応するMPEG-2形式のマクロブロックとは、MPEG-2形式
のピクチャとMPEG-4形式のピクチャのスケールを合わせ
た状態のときに、MPEG-4形式のピクチャのマクロブロッ
クの領域に重なって存在するマクロブロックのことであ
る。
を参照して、動画データ変換装置1の動作を説明する。
図5は動画データ変換装置1の全体的動作を示し、図6
は、動きベクトル抽出部4と動き補償部5の詳細な動作
を示すものである。ビットストリーム入力部2は、MPEG
-2形式の動画データの入力がある場合は(ステップS1
00)、入力データを読み込み、読み込んだMPEG-2形式
の動画データに可変長復号化などを施してMPEG-2復号部
3へ出力する(ステップS101)。
の動画データを、指定された目標フレームレートに従っ
て、MPEG-4形式のピクチャに対応するMPEG-2形式のピク
チャを全て復号する(ステップS102)。
るMPEG-2形式のマクロブロックの動きベクトル情報につ
いての抽出処理を実行する(ステップS103)。
抽出された動きベクトル情報に基づいてMPEG-4形式の動
きベクトル情報を生成し、この生成されたMPEG-4形式の
動きベクトル情報と、MPEG-4符号化部6から入力される
局所復号化データを用いて、動き補償処理を実行する。
(ステップS104)。
償部5で行われる処理について図6にしたがって詳細に
説明する。
化対象となっているMPEG-4形式のマクロブロックに対応
するMPEG-2形式のマクロブロックをすべて取り出す(ス
テップS200)。ここで、現在符号化対象となってい
るMPEG-4形式のマクロブロックに対応する全てのMPEG-2
形式のマクロブロックとは、図3を用いて説明したよう
に、時間的に同じ範囲内に存在する複数のMPEG-2形式の
マクロブロックと、図4を用いて説明したように、スケ
ール合わせを行った状態のときにMPEG-4形式の当該マク
ロブロックの領域に重なって存在する複数のMPEG-2形式
のマクロブロックのことである。
した現在符号化対象となっているMPEG-4形式のマクロブ
ロックに対応する全てのMPEG-2形式のマクロブロックを
MPEG-2形式のピクチャ内でのマクロブロックの位置ごと
に分類する(ステップS201)。例えば、図4に示し
たように、MPEG-4形式のマクロブロック19に対してMP
EG-2形式のマクロブロック15、16、17、18が4
つの位置に存在し、さらに、図3に示したように、MPEG
-4形式のピクチャ12に対応して3枚のMPEG-2形式のピ
クチャ9、10、11が存在するため、上記のように、
全てのMPEG-2形式のマクロブロックを位置ごとに分類す
ると、1つの位置に対応して3枚のマクロブロックが存
在することになる。
置についての複数の(この場合3つ)マクロブロックに
ついて、動きベクトルの有無を判定する(ステップS2
03)。すなわち、同じ位置でのMPEG-2形式のマクロブ
ロックのうち1つでも動きベクトル無しのマクロブロッ
クが存在する場合は、その位置でのMPEG-2形式のマクロ
ブロックの動きベクトルはなしとする(ステップS20
5)。
ロックすべてに動きベクトルが存在する場合は、同じ位
置に含まれる複数のMPEG-2形式のマクロブロックの動き
ベクトルを加算し、この加算結果をこの位置での動きベ
クトルとする(ステップS204)。
ブロック15に動きベクトルがあり、MPEG-2形式のピク
チャ10のマクロブロック15には動きベクトルが無い
場合は、マクロブロック15の位置の動きベクトルはな
しとする。MPEG-2形式のピクチャ9、10、11の3ピ
クチャのマクロブロック15がすべて動きベクトルを持
っているときだけマクロブロック15の位置に動きベク
トルがあるとして、MPEG-2形式のピクチャ9、10、1
1のマクロブロック15の動きベクトルを加算する。
理を、符号化対象となっているMPEG-4形式のマクロブロ
ックがなくなるまで、繰り返し実行する(ステップS2
06、S203〜S205)。
部4は、上述のようにして抽出した、1つのMPEG-4形式
のマクロブロック当たり複数の(この場合4つの)MPEG
-2形式の動きベクトルを含む動きベクトル情報を動き補
償部5に入力する。
出部4から入力された動きベクトル情報に基づいて、現
在符号化対象となっているMPEG-4形式の各マクロブロッ
クの動きベクトルを算出する。すなわち、各MPEG-4形式
のマクロブロックに含まれる複数のMPEG-2形式のマクロ
ブロックの中の動きベクトル有りの個数の存在率を調べ
ることで、各MPEG-4形式のマクロブロックの動きベクト
ルの有無を決定し、さらに動きベクトル有りと決定した
マクロブロックについては、当該MPEG-4形式のマクロブ
ロックに含まれる動きベクトル有りの複数のMPEG-2形式
の動きベクトルを用いて当該MPEG-4形式のマクロブロッ
クの動きベクトルを算出する。
ックに含まれる複数のMPEG-2形式のマクロブロック中
の、動きベクトル無しのマクロブロック数と動きベクト
ル有りのマクロブロック数を比較し(ステップS20
7)、動きベクトル有りのマクロブロック数が動きベク
トル無しのブロック数よりも少ない場合は、当該MPEG-4
形式のマクロブロックについては、動きベクトルはなし
とする(ステップS208)。一方、動きベクトル有り
のマクロブロック数が動きベクトル無しのブロック数よ
りも多い場合は、動きベクトル有りの複数のMPEG-2形式
の動きベクトルの水平方向および垂直方向毎に平均値を
求めることで中間的な動きベクトルを生成し、さらにこ
の中間的な動きベクトルを現在の表示画像の大きさに合
わせてスケーリングすることで、最終的なMPEG-4形式の
動きベクトルを算出する(ステップS209)。算出さ
れた各マクロブロックに対応するMPEG-4形式の動きベク
トルを含む動きベクトル情報は、動き補償処理に用いら
れる。
形式の動画データに変換する際に、動きベクトル抽出部
4および動き補償部5で、動きベクトルを全数検索する
ことなしにMPEG-2形式の動きベクトルをMPEG-4形式の動
きベクトルに適合するように変換して動き補償で利用す
るようにしている。
よび動き補償部5による、図5のステップS103およ
びS104の処理が終了する。
入力される対象となるマクロブロックと動き補償部5か
ら入力される対応する予測マクロブロックとの差分を求
め、この差分信号に対しDCTを施し、DCT係数を量
子化する。そして、量子化DCT係数、動きベクトルお
よび量子化幅などをビットストリーム出力部7に入力す
る。一方、DCT係数を量子化したものを逆量子化し、
さらに逆DCT化し、局所復号動画データとして、動き
補償部5に入力する。MPEG-4符号化部6では、このよう
にして、MPEG-4形式への符号化処理を実行する(図5ス
テップS105)。
全てのマクロブロックについて、繰り返し実行する(ス
テップS106)。そして、前述の処理を、ビットスト
リーム入力部2へ入力データがなくなるまで、繰り返し
実行する(ステップS100)。
量子化DCT係数、動きベクトルおよび量子化幅などを
含むMPEG-4形式の動画データに可変長符号化などを施し
て外部に出力する(ステップS107)。
MPEG-2形式の動画データ中に既に動きベクトルが存在し
ていることに着目し、MPEG-2形式の動画データをMPEG-4
形式に変換するに当たって、非圧縮形式の動画データを
MPEG-4形式に符号化する際に、そのまま動きベクトルを
全数検索するのではなく、MPEG-2形式の動画データ中に
既に存在する動きベクトルを利用して、MPEG-4形式の動
画データに適合するように変換を行って、MPEG-4符号化
処理中の動き補償処理で利用するようにしているので、
MPEG-4符号化処理の負荷が軽減され、変換処理の全体と
しての計算量および回路規模の軽減が図れるようにな
る。
のマクロブロックのうち1つでも動きベクトル無しのマ
クロブロックが存在する場合は、その位置でのMPEG-2形
式のマクロブロックの動きベクトルはなしとしたが、こ
の動きベクトルの有無を決定するための閾値を設定し、
この閾値より動きベクトルの存在数が少ないときに動き
ベクトルがなしと決定するようにしてもよい。また、複
数の動きベクトルの合成ベクトルを求める手法も、上述
した平均値を用いる手法以外に、重み付け平均を求める
手法、適宜の関数を用いる手法など任意の手法を採用す
るようにしてもよい。また、上記では、動き補償部5で
演算した動きベクトルをそのまま使用して符号化を行う
ようにしたが、スケーリングによって生じた誤差精度範
囲で検索した上で動きベクトルを使用することも可能で
ある。検索範囲が限定されているので、全数検索する場
合に比較して検索数は大幅に削減される。
形態2について説明する。図7は、実施の形態2の動画
データ変換装置の構成を示すブロック図である。この実
施の形態2における動画データ変換装置1では、表示部
27が追加されている。実施の形態1と同じ機能を持つ
構成部分には同一符号を付し、重複する説明は省略す
る。
-2復号部3が有する機能に加え、表示部27にMPEG-2形
式の非圧縮形式の動画データを出力する機能を有する。
MPEG-4符号化部26は、実施の形態1のMPEG-4符号化部
6が有する機能に加え、局部復号データを表示部27に
出力する機能を有する。
測を行うために、符号化中に復号された画像データ(局
所復号データ)も生成する。この実施の形態2は、これ
に着目したものであり、変換処理中に各動画データのフ
レーム変換処理が完了する毎に、変換前のMPEG-2形式の
動画フレームと変換後のMPEG-4形式の動画データを表示
部27に表示させるようにしており、これにより同時点
での変換前のMPEG-2の動画データと変換後のMPEG-4形式
の動画データとの対応を容易に付けることができる。
形態2の動画データ変換装置1の動作を説明する。動き
ベクトルを抽出してからMPEG-4形式の動画データを生成
するステップS100〜S107については、実施の形
態1と同じ動作であるので、説明を省略する。
動作と同様にMPEG-2形式の動画データをMPEG-4形式の動
画データに変換し出力する(ステップS100〜S10
7)。さらに、フレーム変換処理毎に、MPEG-2復号部2
5およびMPEG-4符号化部26からMPEG-2形式の非圧縮形
式の動画データおよび局所復号データが同期して表示部
27に出力される(ステップS300)。これにより、
表示部27には、各動画データのフレーム変換処理が完
了する毎に、変換前のMPEG-2形式の動画フレームと変換
後のMPEG-4形式の動画データとが同時に表示される。
同時点での変換前のMPEG-2形式の動画データと変換後の
MPEG-4形式の動画データの対応を容易に付けることがで
き、MPEG-4形式の動画データの画面サイズ、ビットレー
ト、目標フレームなどのパラメータが最適かどうかを確
認することが容易になる。
形態3について説明する。図9は、実施の形態3の動画
データ変換装置の構成を示すブロック図である。この実
施の形態3における動画データ変換装置1では、データ
多重部31が追加されている。実施の形態1と同じ機能
を持つ構成部分には同一符号を付し、重複する説明は省
略する。
式の動画データを入力し、可変復号化などを施したMPEG
-2形式の動画データをMPEG-2復号部3の他にデータ多重
部31に出力する機能を有する。MPEG-4符号化部30
は、実施の形態1に示したMPEG-4符号化部6が有する機
能に加え、データ多重部31にMPEG-4形式の符号化され
た動画データを出力する機能を有する。
形態3の動画データ変換装置1の動作を説明する。動き
ベクトルを抽出してからMPEG-4形式の動画データを生成
するステップS100〜S107については、実施の形
態1と同じ動作であるので、説明を省略する。
動作と同様にMPEG-2形式の動画データをMPEG-4形式の動
画データに変換し出力する(ステップS100〜S10
7)。
ロックのすべてが終了する度に(ステップS106)、
ビットストリーム入力部29およびMPEG-4符号化部30
からデータ多重部31に符号化されたMPEG-2形式の動画
データおよび符号化されたMPEG-4形式の動画データが入
力され、データ多重部31はこれらを多重化してビット
ストリーム出力部32に入力する(ステップS40
0)。
たMPEG-2形式およびMPEG-4形式の動画データの多重デー
タに、可変符号化などを施して外部に出力する(ステッ
プS401)。
を設け、MPEG-2形式およびMPEG-4形式の符号化データの
多重データの外部出力が可能となる。
4について説明する。この実施の形態4においては、上
述した実施の形態1〜3の機能をソフトウェアによって
実現するようにしている。
換装置20は、ビットストリーム入力部21と、映像信
号処理装置22と、ビットストリーム出力部23を有す
る。
形式の動画データを入力し、映像信号処理装置22に出
力する。
MPEG-2復号部3、動きベクトル抽出部4、動き補償部
5、MPEG-4符号化部6および全体制御部8によって実現
される前述した各機能、実施の形態2のMPEG-2復号部2
5、動きベクトル抽出部4、動き補償部5、MPEG-4符号
化部26および全体制御部8によって実現される前述し
た各機能、実施の形態3のMPEG-2復号部3、動きベクト
ル抽出部4、動き補償部5、MPEG-4符号化部30および
全体制御部8によって実現される前述した各機能を、汎
用の中央処理演算装置(コンピュータ)に実行させるた
めのソフトウェアプログラムを備えている。
処理装置22で変換されたMPEG-4形式の動画データを出
力する。
ラムによって実現した場合も、効率の良いMPEG-2からMP
EG-4への変換をなし得、変換後の動画データの画質を保
ちつつ変換処理時間を短くすることができる。
は、MPEG-4として、最も基本的なプロファイルであるシ
ンプルプロファイルを採用するようにしているが、本発
明は、シンプルプロファイルに双方向予測モード(B-VO
P)と任意形状オブジェクト符号化などを加えて規定し
たコアプロファイル、さらにはインターレスなどが規定
されるメインプロファイルなどにも適用可能である。
動画データ変換装置によれば、MPEG-2形式の動画データ
中に既に動きベクトルが存在していることに着目し、MP
EG-2形式の動画データをMPEG-4形式に変換するに当たっ
て、非圧縮形式の動画データをMPEG-4形式に符号化する
際に、そのまま動きベクトルを非圧縮フレームから全数
検索するのではなく、MPEG-2形式の動画データ中に既に
存在する動きベクトルを抽出して、MPEG-4形式の動画デ
ータに適合するように変換を行って、MPEG-4符号化処理
での動き補償処理で利用するようにしているので、効率
の良いMPEG-2からMPEG-4への変換をなし得、これにより
変換後の動画データの画質を保ちつつ装置の回路規模を
小さくし、処理時間を短くすることができる。
よれば、MPEG-4符号化部から出力される動き補償処理で
用いる局所復号動画データを利用し、この局所復号動画
データをMPEG-2復号部で復号された非圧縮形式の動画デ
ータと表示部に同時に表示するようにしているので、変
換前のMPEG-2形式の動画データと変換後のMPEG-4形式の
動画データとの対応がつけやすく、MPEG-4形式の動画デ
ータの画面サイズ、ビットレート、目標フレームレート
などのパラメータの確認が容易になる。
よれば、MPEG-2形式の動画データとMPEG-4符号化部より
出力されるMPEG-4形式の動画データとを多重化して出力
しているので、MPEG-2形式の動画データとMPEG-4形式の
動画データとの多重化データを得ることができる。
ラムによれば、MPEG-2形式の動画データをMPEG-4形式に
変換するに当たって、非圧縮形式の動画データをMPEG-4
形式に符号化する際に、そのまま動きベクトルを全数検
索するのではなく、MPEG-2形式の動画データ中に既に存
在する動きベクトルを抽出して、MPEG-4形式の動画デー
タに適合するように変換を行って、MPEG-4符号化処理で
の動き補償処理で利用するようにしているので、効率の
良いMPEG-2からMPEG-4への変換をなし得、これにより変
換後の動画データの画質を保ちつつ変換処理時間を短く
することができる。
ラムによれば、MPEG-4符号化手段から出力される動き補
償処理で用いる局所復号動画データを利用し、この局所
復号動画データをMPEG-2復号手段で復号された非圧縮形
式の動画データを表示画面に同時に表示するようにして
いるので、変換前のMPEG-2形式の動画データと変換後の
MPEG-4形式の動画データとの対応がつけやすく、MPEG-4
形式の動画データの画面サイズ、ビットレート、目標フ
レームレートなどのパラメータの確認が容易になる。
ラムによれば、MPEG-2形式の動画データとMPEG-4符号化
部より出力されるMPEG-4形式の動画データとを多重化し
て出力しているので、MPEG-2形式の動画データとMPEG-4
形式の動画データとの多重化データを得ることができ
る。
ク図である。
図である。
ャとの対応関係を示す図である。
マクロブロックとの対応関係を示す図である。
を示すフローチャートである。
を示すフローチャートである。
ク図である。
を示すフローチャートである。
ク図である。
順を示すフローチャートである。
ック図である。
部、3 MPEG-2復号部、4 動きベクトル抽出部、5
動き補償部、6 MPEG-4符号化部、7 ビットストリー
ム出力部、8 全体制御部、20 動画データ変換装
置、21 ビットストリーム入力部、22 映像信号処
理装置、23 ビットストリーム出力部、25 復号
部、26 MPEG-2符号化部、27 表示部、29 ビッ
トストリーム入力部、30 MPEG-4符号化部、31 デ
ータ多重部、32 ビットストリーム出力部。
Claims (6)
- 【請求項1】 MPEG-2形式の動画データを非圧縮形式の
動画データに復号するMPEG-2復号部と、 前記復号中のデータから動きベクトル情報を抽出する動
きベクトル抽出部と、 前記抽出した動きベクトル情報をMPEG-4形式の動き補償
処理に反映させてMPEG-4形式の動きベクトル情報を生成
し、該生成した動きベクトル情報を用いて動き補償処理
を実行する動き補償部と、 該動き補償部の出力および前記MPEG-2復号部で復号され
た非圧縮形式の動画データを用いてMPEG-4形式の動画デ
ータへの符号化処理を実行するMPEG-4符号化部と、 を備えることを特徴とする動画データ変換装置。 - 【請求項2】 前記MPEG-4符号化部は、動き補償部での
動き補償処理で用いる局所復号動画データを生成出力す
るものであり、 このMPEG-4符号化部より出力される局所復号動画データ
および前記MPEG-2復号部で復号された非圧縮形式の動画
データが入力され、これら各入力データを同時表示する
表示部、 をさらに備えたことを特徴とする請求項1に記載の動画
データ変換装置。 - 【請求項3】 前記MPEG-2形式の動画データと前記MPEG
-4符号化部より出力されるMPEG-4形式の動画データとを
多重化して出力するデータ多重部をさらに備えたことを
特徴とする請求項1または2に記載の動画データ変換装
置。 - 【請求項4】 MPEG-2形式の動画データをMPEG-4形式の
動画データに変換するためにコンピュータを、 MPEG-2形式の動画データを非圧縮形式の動画データに復
号するMPEG-2復号手段、 前記復号中のデータから動きベクトル情報を抽出する動
きベクトル抽出手段、 前記抽出した動きベクトル情報をMPEG-4形式の動き補償
処理に反映させてMPEG-4形式の動きベクトル情報を生成
し、該生成した動きベクトル情報を用いて動き補償処理
を実行する動き補償手段、 該動き補償部の出力および前記MPEG-2復号手段で復号さ
れた非圧縮形式の動画データを用いてMPEG-4形式の動画
データへの符号化処理を実行するMPEG-4符号化手段、 として機能させるための動画データ変換プログラム。 - 【請求項5】 前記MPEG-4符号化手段は、動き補償手段
での動き補償処理で用いる局所復号動画データを生成出
力するものであり、 このMPEG-4符号化部より出力される局所復号動画データ
および前記MPEG-2復号部で復号された非圧縮形式の動画
データを表示画面に同時表示するための制御を行う表示
制御手段、 をさらに備えたことを特徴とする請求項4に記載の動画
データ変換プログラム。 - 【請求項6】 前記MPEG-2形式の動画データと前記MPEG
-4符号化手段より出力されるMPEG-4形式の動画データと
を多重化して出力するデータ多重手段をさらに備えたこ
とを特徴とする請求項4または5に記載の動画データ変
換プログラム。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001290110A JP4574090B2 (ja) | 2001-09-21 | 2001-09-21 | 動画データ変換装置および動画データ変換プログラム |
| US10/071,089 US6931064B2 (en) | 2001-09-21 | 2002-02-11 | Motion picture data converter, and computer product |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001290110A JP4574090B2 (ja) | 2001-09-21 | 2001-09-21 | 動画データ変換装置および動画データ変換プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003102014A true JP2003102014A (ja) | 2003-04-04 |
| JP4574090B2 JP4574090B2 (ja) | 2010-11-04 |
Family
ID=19112495
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001290110A Expired - Fee Related JP4574090B2 (ja) | 2001-09-21 | 2001-09-21 | 動画データ変換装置および動画データ変換プログラム |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US6931064B2 (ja) |
| JP (1) | JP4574090B2 (ja) |
Families Citing this family (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1243141B1 (en) * | 1999-12-14 | 2011-10-19 | Scientific-Atlanta, LLC | System and method for adaptive decoding of a video signal with coordinated resource allocation |
| US7274857B2 (en) | 2001-12-31 | 2007-09-25 | Scientific-Atlanta, Inc. | Trick modes for compressed video streams |
| US7966642B2 (en) * | 2003-09-15 | 2011-06-21 | Nair Ajith N | Resource-adaptive management of video storage |
| US7412003B2 (en) * | 2003-09-17 | 2008-08-12 | Texas Instruments Incorporated | Transcoders and methods |
| US7203237B2 (en) * | 2003-09-17 | 2007-04-10 | Texas Instruments Incorporated | Transcoders and methods |
| KR101196429B1 (ko) * | 2004-03-12 | 2012-11-01 | 삼성전자주식회사 | 동영상 트랜스코딩 방법 및 그 장치, 이에 사용되는움직임 벡터 보간방법 |
| US20050232497A1 (en) * | 2004-04-15 | 2005-10-20 | Microsoft Corporation | High-fidelity transcoding |
| US8600217B2 (en) * | 2004-07-14 | 2013-12-03 | Arturo A. Rodriguez | System and method for improving quality of displayed picture during trick modes |
| EP1784985B1 (en) * | 2004-07-20 | 2017-05-10 | Qualcomm Incorporated | Method and apparatus for motion vector prediction in temporal video compression |
| TW200701764A (en) * | 2005-06-22 | 2007-01-01 | Lite On Technology Corp | Apparatus for multimedia format conversion |
| US20090033791A1 (en) * | 2007-07-31 | 2009-02-05 | Scientific-Atlanta, Inc. | Video processing systems and methods |
| US8457958B2 (en) * | 2007-11-09 | 2013-06-04 | Microsoft Corporation | Audio transcoder using encoder-generated side information to transcode to target bit-rate |
| US8300696B2 (en) * | 2008-07-25 | 2012-10-30 | Cisco Technology, Inc. | Transcoding for systems operating under plural video coding specifications |
| US8396114B2 (en) * | 2009-01-29 | 2013-03-12 | Microsoft Corporation | Multiple bit rate video encoding using variable bit rate and dynamic resolution for adaptive video streaming |
| US8311115B2 (en) * | 2009-01-29 | 2012-11-13 | Microsoft Corporation | Video encoding using previously calculated motion information |
| US8270473B2 (en) * | 2009-06-12 | 2012-09-18 | Microsoft Corporation | Motion based dynamic resolution multiple bit rate video encoding |
| US8705616B2 (en) | 2010-06-11 | 2014-04-22 | Microsoft Corporation | Parallel multiple bitrate video encoding to reduce latency and dependences between groups of pictures |
| US9591318B2 (en) | 2011-09-16 | 2017-03-07 | Microsoft Technology Licensing, Llc | Multi-layer encoding and decoding |
| US11089343B2 (en) | 2012-01-11 | 2021-08-10 | Microsoft Technology Licensing, Llc | Capability advertisement, configuration and control for video coding and decoding |
| CN102611891B (zh) * | 2012-02-07 | 2014-05-07 | 中国电子科技集团公司第三研究所 | 一种在变换域内直接进行转换编码的方法 |
| US9183884B2 (en) | 2013-08-01 | 2015-11-10 | Customplay Llc | Downloading video bookmark generating data |
| US9998750B2 (en) | 2013-03-15 | 2018-06-12 | Cisco Technology, Inc. | Systems and methods for guided conversion of video from a first to a second compression format |
| US9058846B2 (en) * | 2013-07-31 | 2015-06-16 | Customplay Llc | Video map synchronizing diagnostic information |
| US9236093B2 (en) | 2013-08-01 | 2016-01-12 | Customplay Llc | Video bookmark generating data |
| WO2019161229A1 (en) | 2018-02-15 | 2019-08-22 | DMAI, Inc. | System and method for reconstructing unoccupied 3d space |
| WO2019161200A1 (en) | 2018-02-15 | 2019-08-22 | DMAI, Inc. | System and method for conversational agent via adaptive caching of dialogue tree |
| US10785489B2 (en) * | 2018-02-15 | 2020-09-22 | DMAI, Inc. | System and method for visual rendering based on sparse samples with predicted motion |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001024919A (ja) * | 1999-07-02 | 2001-01-26 | Canon Inc | 画像処理装置、カメラ一体型画像記録再生装置、画像処理システム、画像処理方法、及び記憶媒体 |
| JP2001036844A (ja) * | 1999-07-16 | 2001-02-09 | Nec Corp | 画質確認装置、画質確認方法及びそのプログラムを記録した記録媒体 |
| JP2001238218A (ja) * | 2000-02-22 | 2001-08-31 | Sony Corp | 信号変換装置及び方法 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6957350B1 (en) * | 1996-01-30 | 2005-10-18 | Dolby Laboratories Licensing Corporation | Encrypted and watermarked temporal and resolution layering in advanced television |
| US6625211B1 (en) * | 1999-02-25 | 2003-09-23 | Matsushita Electric Industrial Co., Ltd. | Method and apparatus for transforming moving picture coding system |
| US6738423B1 (en) * | 2000-01-21 | 2004-05-18 | Nokia Mobile Phones Ltd. | Method for encoding and decoding video information, a motion compensated video encoder and a corresponding decoder |
| US6647061B1 (en) * | 2000-06-09 | 2003-11-11 | General Instrument Corporation | Video size conversion and transcoding from MPEG-2 to MPEG-4 |
| US6671322B2 (en) * | 2001-05-11 | 2003-12-30 | Mitsubishi Electric Research Laboratories, Inc. | Video transcoder with spatial resolution reduction |
-
2001
- 2001-09-21 JP JP2001290110A patent/JP4574090B2/ja not_active Expired - Fee Related
-
2002
- 2002-02-11 US US10/071,089 patent/US6931064B2/en not_active Expired - Lifetime
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001024919A (ja) * | 1999-07-02 | 2001-01-26 | Canon Inc | 画像処理装置、カメラ一体型画像記録再生装置、画像処理システム、画像処理方法、及び記憶媒体 |
| JP2001036844A (ja) * | 1999-07-16 | 2001-02-09 | Nec Corp | 画質確認装置、画質確認方法及びそのプログラムを記録した記録媒体 |
| JP2001238218A (ja) * | 2000-02-22 | 2001-08-31 | Sony Corp | 信号変換装置及び方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20030058946A1 (en) | 2003-03-27 |
| JP4574090B2 (ja) | 2010-11-04 |
| US6931064B2 (en) | 2005-08-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2003102014A (ja) | 動画データ変換装置および動画データ変換プログラム | |
| US7444026B2 (en) | Image processing apparatus and method of motion vector detection in a moving picture, and recording medium used therewith | |
| US8098940B2 (en) | Method of and apparatus for encoding signals, and method of and apparatus for decoding the encoded signals | |
| US6934334B2 (en) | Method of transcoding encoded video data and apparatus which transcodes encoded video data | |
| KR101803886B1 (ko) | 움직임 벡터의 예측 부호화 방법, 예측 부호화 장치, 및 예측 부호화 프로그램, 그리고 움직임 벡터의 예측 복호 방법, 예측 복호 장치, 및 예측 복호 프로그램 | |
| EP2677753A2 (en) | Method and apparatus for encoding/decoding motion vectors | |
| KR100732358B1 (ko) | 동화상 부호화 방법, 동화상 복호화 방법, 동화상 부호화 프로그램, 동화상 복호화 프로그램, 동화상 부호화 장치 및 동화상 복호화 장치 | |
| WO2011019246A2 (en) | Method and apparatus for encoding/decoding image by controlling accuracy of motion vector | |
| JPH05115061A (ja) | 動きベクトル符号器および復号器 | |
| KR20090123772A (ko) | 부호화 장치/복호화 장치, 부호화 방법/복호화 방법 및 기록 매체 | |
| JP2011029863A (ja) | 復号化処理方法 | |
| EP0907291A2 (en) | Motion vector detecting method and system and devices incorporating the same | |
| US8948257B2 (en) | Image encoding method, image decoding method, image encoding apparatus, image decoding apparatus, and program | |
| JP2006279917A (ja) | 動画像符号化装置、動画像復号装置及び動画像伝送システム | |
| JP4165752B2 (ja) | 画像データへの秘匿データ挿入方式および秘匿データ検出方式 | |
| JP2007129370A (ja) | 動きベクトル検出装置及び方法 | |
| JP5442039B2 (ja) | 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法 | |
| JP4520442B2 (ja) | 動画像再符号化方法,動画像再符号化装置および動画像再符号化プログラム | |
| JP2001078199A (ja) | 映像信号符号化装置 | |
| CN101010962A (zh) | 一种运动估计的方法和装置 | |
| JP2006074520A (ja) | 動きベクトル検出装置 | |
| JPH10164596A (ja) | 動き検出装置 | |
| KR20070051294A (ko) | 움직임 추정을 위한 방법 및 장치 | |
| WO2000062554A1 (en) | Image processing method and image processing device | |
| JPH09261661A (ja) | 2つの基準ピクチャから双方向コード化ピクチャを形成するための方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080423 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100122 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100126 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100318 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100511 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100709 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100817 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100818 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 4574090 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130827 Year of fee payment: 3 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |