JP2003284078A - 画像符号化方法及び装置並びに画像復号化方法及び装置 - Google Patents

画像符号化方法及び装置並びに画像復号化方法及び装置

Info

Publication number
JP2003284078A
JP2003284078A JP2003010135A JP2003010135A JP2003284078A JP 2003284078 A JP2003284078 A JP 2003284078A JP 2003010135 A JP2003010135 A JP 2003010135A JP 2003010135 A JP2003010135 A JP 2003010135A JP 2003284078 A JP2003284078 A JP 2003284078A
Authority
JP
Japan
Prior art keywords
image signal
reference image
code sequence
encoding
decoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003010135A
Other languages
English (en)
Other versions
JP3923898B2 (ja
Inventor
Takeshi Nagai
剛 永井
Takeshi Nakajo
健 中條
Shinichiro Koto
晋一郎 古藤
Yoshihiro Kikuchi
義浩 菊池
Wataru Asano
渉 浅野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2003010135A priority Critical patent/JP3923898B2/ja
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to EP20070006028 priority patent/EP1793615A2/en
Priority to KR20037012414A priority patent/KR100564896B1/ko
Priority to CNB03800156XA priority patent/CN1253014C/zh
Priority to EP20070006023 priority patent/EP1793613A2/en
Priority to KR1020057020080A priority patent/KR100628494B1/ko
Priority to EP20070006022 priority patent/EP1793612A2/en
Priority to EP20030701800 priority patent/EP1469681A1/en
Priority to EP20070006027 priority patent/EP1811788A2/en
Priority to EP20070006024 priority patent/EP1811787A2/en
Priority to EP20070006029 priority patent/EP1793616A2/en
Priority to AU2003203271A priority patent/AU2003203271B2/en
Priority to MXPA03008163A priority patent/MXPA03008163A/es
Priority to PCT/JP2003/000426 priority patent/WO2003067894A1/ja
Priority to CA002440154A priority patent/CA2440154C/en
Priority to EP20070006025 priority patent/EP1793614A2/en
Priority to BR0302718A priority patent/BR0302718A/pt
Priority to US10/661,697 priority patent/US7212576B2/en
Priority to NO20034137A priority patent/NO20034137L/no
Publication of JP2003284078A publication Critical patent/JP2003284078A/ja
Priority to US11/685,842 priority patent/US20070153895A1/en
Priority to US11/685,810 priority patent/US20070153893A1/en
Priority to US11/685,827 priority patent/US20070153894A1/en
Priority to US11/686,380 priority patent/US20070153913A1/en
Priority to US11/686,372 priority patent/US20070153911A1/en
Priority to US11/686,376 priority patent/US20070160141A1/en
Priority to US11/686,373 priority patent/US20070153912A1/en
Application granted granted Critical
Publication of JP3923898B2 publication Critical patent/JP3923898B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/58—Motion compensation with long-term prediction, i.e. the reference frame for a current frame not being the temporally closest one
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H04N19/166—Feedback from the receiver or from the transmission channel concerning the amount of transmission errors, e.g. bit error rate [BER]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/39—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability involving multiple description coding [MDC], i.e. with separate layers being structured as independently decodable descriptions of input picture data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/65—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H04N19/895—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder in combination with error concealment

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

(57)【要約】 【課題】誤りにより情報が失われた場合でも早期に回復
可能で、かつ符号化効率が高く、再符号化の必要もない
画像符号化装置を提供する。 【解決手段】参照画像信号141を用いて入力動画像信号1
31を符号化し動画像符号列137を生成する動画像符号化
部101〜112、参照画像信号137を符号化して参照画像符
号列147を生成する参照画像符号化部113〜115及び動画
像符号列137と参照画像符号列147を多重化して出力符号
列149を生成する多重化部117を有する。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、画像を少ない情報
量で圧縮符号化する画像符号化及び圧縮符号化により得
られた符号列を復号して画像を再生する画像復号化技術
に係り、特に誤りの発生しやすい伝送路を介して符号化
データの伝送／蓄積を行う場合に、符号化効率を損なう
ことなく誤りによる影響を出来るだけ早急に回復できる
画像符号化方法及び装置並びに画像復号化方法及び装置
に関する。
【０００２】
【従来の技術】ＴＶ電話、ＴＶ会議システム、携帯情報
端末、ディジタルビデオディスクシステム及びディジタ
ルＴＶ放送システムのような画像を伝送または蓄積する
システムにおいては、画像を伝送または蓄積のために画
像を少ない情報量で圧縮符号化することが必要である。
【０００３】このような圧縮符号化技術として、動き補
償、離散コサイン変換、サブバンド符号化及びピラミッ
ド符号化等の方式、さらにこれらを組み合わせた方式な
ど様々な方式が開発されている。動画像の圧縮符号化の
国際標準方式として、ＩＳＯ・ＭＰＥＧ−１、ＭＰＥＧ
−２及びＭＰＥＧ−４、さらにＩＴＵ−Ｔ・Ｈ．２６
１、Ｈ．２６２及びＨ．２６３などが規定されている。
【０００４】これら方式はいずれも動き補償適応予測と
離散コサイン変換を組み合わせた圧縮符号化方式であ
り、文献１（安田浩編著、“ＭＰＥＧ／マルチメディア
符号化の国際標準”、丸善、）等に詳細が述べられてい
る。
【０００５】従来の画像符号化／復号化装置には、以下
のような問題点がある。第１に、無線通信路のような誤
りが混入する可能性のある通信路では、符号化を行った
だけでは、誤りが生じた場合に復号画像品質が著しく劣
化する。特に、同期信号、モード情報及び動きベクトル
情報といった信号が誤った場合の画質劣化は著しい。
【０００６】第２に、画像符号化に用いられる動き補償
適応予測符号化ではフレーム間の差分のみが符号化され
る。このため、誤りが生じると、そのフレームが誤るだ
けではなく、誤った画像がフレームメモリに蓄えられ
る。その誤った画像を用いて予測画像が作成され、その
予測画像に残差が加えられる。この結果、これ以降のフ
レームが正しく復号されたとしても、フレーム間差分を
用いずにフレーム内のみで画像を符号化する符号化モー
ド（ＩＮＴＲＡモード）で情報が送られてくるか、徐々
に誤りの影響が減衰して元の画像に戻るかのどちらか以
外、それ以降のフレームも正しい復号画像は得られなく
なる。
【０００７】誤りにより１フレーム分の情報が失われた
とすると、２番目のフレームは全く復号されず、例えば
１番目のフレームがそのまま出力される。３番目のフレ
ームでは、２番目のフレームに加えることによって初め
て正しく復号できる残差が１番目のフレームに加えられ
てしまう。３番目のフレームは全く別の画像となってし
まう。これ以降、誤った画像に残差が加えられていくた
め、基本的に誤りが消えず正しい復号画像が再生できな
くなる。
【０００８】この問題を解決するため、従来では一定周
期毎にイントラモードで符号化するリフレッシュと呼ば
れる手法が一般に用いられている。イントラモードで符
号化すると、符号量が増加するので、誤りのない画像の
画質が著しく低下する。このため、画面全体を一度にリ
フレッシュするのではなく、１フレームに数マクロブロ
ックずつリフレッシュする周期リフレッシュ等の方法が
通常用いられる。しかしながら、この周期リフレッシュ
では符号量の増加は抑えられる反面、正常な状態に回復
するまでに長い時間がかかる。
【０００９】他の誤り対策としては、誤り訂正符号の利
用がある。しかしながら、この方式はランダムに生じる
誤りを訂正できても、バースト的に連続して生じる数百
ビットの誤りには対処が難しい。たとえ対処出来たとし
ても、かなりの冗長度が生じる。
【００１０】ネットワークの誤り情報などをシステムか
ら受け取ることにより、サーバ側が誤り情報などを適応
的に処理することが検討されている。具体的には、誤り
情報を受け取ってから再符号化を行ったり、複数のファ
イルを切り替えたりするという方法が取られる。この方
法では、サーバに符号化の機能や、複数のファイルを適
応的に切り替えるなどの機能を持たせる必要があり、余
計な処理を増やすことになる。
【００１１】
【非特許文献】安田浩編著、“ＭＰＥＧ／マルチメディ
ア符号化の国際標準”、丸善、平成６年９月３０日発
行、Ｐ．１２〜１５
【００１２】
【発明が解決しようとする課題】上述したように従来の
画像符号化技術では、誤りによる情報の消失が大きな画
質劣化の要因となる。さらに、誤りによって消失した情
報を回復する周期リフレッシュのような手法は、符号化
効率を考えるとエラー回復までに長い時間を要する。回
復に要する時間を短縮しようとすると符号量が増加して
符号化効率が低下する。
【００１３】
【課題を解決するための手段】本発明は、誤りにより情
報が失われた場合でも早期に回復可能で、かつ符号化効
率が高く、再符号化の必要もない画像符号化方法及び装
置並びに画像復号化方法及び装置を提供することも目的
とする。
【００１４】本発明の第１局面は、入力される動画像信
号を符号化する際に、参照画像信号を用いて動画像信号
を符号化して動画像符号列を生成し、参照画像信号を符
号化して参照画像符号列を生成し、これら動画像符号列
及び参照画像符号列を多重化して出力符号列を生成する
動画像符号化方法を提供する。
【００１５】本発明の第２局面は、動画像信号を符号化
して得られた動画像符号列及び参照画像信号を符号化し
て得られた参照画像符号列を含む入力符号列を復号して
動画像信号を再生する際には、入力符号列に含まれる参
照画像符号列を復号して第１の参照画像信号を生成し、
再生画像信号から得られる第２の参照画像信号及び第１
の参照画像信号のいずれかを選択的に用いて、入力符号
列に含まれる動画像符号列を復号して再生画像信号を生
成する動画像復号化方法を提供する。
【００１６】本発明の第３局面は、入力される動画像信
号を符号化する画像符号化処理をコンピュータに実行さ
せるためのプログラムであって、参照画像信号を用いて
前記動画像信号を符号化して動画像符号列を生成する処
理と、参照画像信号を符号化して参照画像符号列を生成
する処理と、動画像符号列及び参照画像符号列を多重化
して出力符号列を生成する処理とをコンピュータに実行
させるためのプログラムを提供する。
【００１７】本発明の第４局面は、動画像信号を符号化
して得られた動画像符号列及び参照画像信号を符号化し
て得られた参照画像符号列を含む入力符号列を復号して
動画像信号を再生する処理をコンピュータに実行させる
ためのプログラムであって、入力符号列に含まれる参照
画像符号列を復号して第１の参照画像信号を生成する処
理と、再生画像信号から得られる第２の参照画像信号及
び第１の参照画像信号のいずれかを選択的に用いて、入
力符号列に含まれる動画像符号列を復号して再生画像信
号を生成する処理とをコンピュータに実行させるための
プログラムを提供する。
【００１８】
【発明の実施の形態】（第１の実施形態）図１に、本発
明の第１の実施形態に係る画像符号化装置の基本構成を
示す。
【００１９】入力動画像信号１３１は、まず領域分割器
１０１で予め定められた複数の領域に分割された後、以
下のように動き補償適応予測にかけられる。動き補償適
応予測器１１１において、フレームメモリ１１０中に蓄
えられており、既に符号化及び局部復号化が行われた前
フレームの参照画像信号１４１と入力画像信号１３２と
の間の動きベクトル１４３が検出される。この動きベク
トルを用いて参照画像信号１４１に対して動き補償が行
われる。これによって、予測画像信号（動き補償後の参
照画像信号）１４２が生成される。動き補償適応予測器
１１１は、動き補償予測モードと入力画像信号１３２を
そのまま符号化に用いるイントラ符号化（予測画像信号
＝０）モードのうち、好適な方の予測モードを選択し、
選択した予測モードに対応する予測画像信号１４２を出
力する。
【００２０】減算器１０２は、入力画像信号１３２から
予測画像信号１４２を減算し、予測残差信号１３３を出
力する。予測残差信号１３３は、第１の離散コサイン変
換器１０３において一定の大きさのブロック単位で離散
コサイン変換（ＤＣＴ）される。離散コサイン変換によ
り得られたＤＣＴ係数１３４は、第２の量子化器１０４
で量子化される。量子化されたＤＣＴ係数１３５は、一
方において第１の可変長符号化器１０５で符号化される
ことにより、ＤＣＴ係数符号列１３６が得られる。ＤＣ
Ｔ係数符号列１３６は、多重化器１０６において第２の
可変長符号化器１１２により動きベクトル情報を符号化
した動きベクトル符号列１４４と多重化され、動画像符
号列１３７として出力される。
【００２１】他方においてＤＣＴ係数１３５は、逆量子
化器１０７で逆量子化された後、さらに逆離散コサイン
変換（逆ＤＣＴ）される。逆離散コサイン変換器１０８
からの出力１３９は、加算器１０９で適応予測画像信号
１４２と加算されて局部復号画像信号１４０が生成され
る。この復号画像信号は１４０はフレームメモリ１１０
に参照画像信号として記憶される。
【００２２】一方、フレームメモリ１１０から出力され
る前フレームの参照画像信号１４１は、参照符号１１３
〜１１５で示されるブロックからなる参照画像符号化部
によって符号化される。すなわち、参照画像信号１４１
は動き補償適応予測器１１１に入力されると共に第２の
離散コサイン変換器１１３に入力される。第２の離散コ
サイン変換器１１３において、参照画像信号１４１は一
定の大きさのブロック単位で離散コサイン変換（ＤＣ
Ｔ）される。これにより得られた変換係数１４５は第２
の量子化部１１４で量子化され、量子化された変換係数
は第３の可変長符号化器１１５で符号化される。第３の
可変長符号化器１１５によって得られた符号列（以下、
参照画像符号列という）１４７は、動画像符号列１３７
とは別のフレームとして出力される。
【００２３】図２は、図１にフレームヘッダを付加する
ためのヘッダ多重化部１１７を含んだ構成を示す。制御
部１１６は画像符号化装置全体の動作を管理するが、特
にここでは例えば動画像符号列１３７のみを出力する符
号化モード、動画像符号列１３７と参照画像符号列１４
７の両方を出力する符号化モードのいずれかを選択す
る。制御部１１６では、フレームヘッダ用符号列１４８
も生成される。ヘッダ多重化部１１７においては動画像
符号列１３７、参照画像符号列１４７及びフレームヘッ
ダ符号列１４８が多重化され、出力符号列１４９が生成
される。出力符号列１４９は、図示しない伝送系または
蓄積系へ送出される。
【００２４】図３に、図２の画像符号化装置から出力さ
れる出力符号列１４９中の画像に係る部分のデータ構造
を示す。従来の画像符号化装置では、参照画像信号は符
号化されず、入力の動画像信号のみが符号化されるた
め、出力符号列１４９中の画像に係る部分は図３（ａ）
に示すような各フレームの動画像符号列１３７（…Fram
e #n，Frame #n+1，Frame #n+2，…）のみからなるデー
タ構造となる。これに対して、図２の画像符号化装置で
は、図３（ｂ）に示すように任意フレーム、例えば第ｎ
＋１フレームにおける参照画像符号列１４７（Ref-Fram
e #n+1）が例えば動画像符号列１３７における第ｎ＋１
フレーム（Frame #n+1）の前に挿入されることによって
フレームが多重化され、出力符号列１４９が生成され
る。
【００２５】図３（ｂ）とは逆にn+1フレーム（１３
７）後に参照画像（１４７）を挿入しても良い。
【００２６】図４は、出力符号列１４９に含まれるフレ
ームヘッダ符号列１４８の構造の一例を示す。符号列の
モード情報としてPic-type（ピクチャタイプ）情報が定
義される。ピクチャタイプとして、通常のI-Picture、P
-Picture及びB-Pictureに加え、本実施形態に特有の参
照画像符号列１４７のフレームタイプであるR-Picture
が別途定義されている。参照画像符号列１４７を認識す
るために他の方法をとることも可能であり、それにより
同様の効果を得ることができる。
【００２７】フレームの表示時間等を示すタイムスタン
プ（Timestamp）については、R-Pictureにはこれが利用
されるフレームのTimestamp、つまり次のフレームのTim
estampが記述されることが望ましい。参照画像符号列１
４７が誤りにより欠落してしまったり、参照画像符号列
１４７を使うフレームが誤りにより欠落してしまったり
した場合に、このようなタイムスタンプは参照画像符号
列１４７とフレームとの関連付けを識別するための有効
な情報となる。さらに通常のフレームと同じ符号列構造
をとることにより、特殊な付加回路を必要とせず、通常
の回路を使用できる。
【００２８】このようにモード情報で区別する方式を使
った場合には、本実施形態で利用している参照画像信号
を符号化しておくだけでなく、例えば誤りから回復でき
るようにするターゲットのフレームそのものをイントラ
符号化し、二重化することで回復機能を実現することも
可能である。P-Pictureなどのように動き補償予測符号
化されるフレームをイントラモードでも符号化してお
き、モード情報だけをR-Pictureなどに指定をしておく
ことで回復機能が実現できる。この場合、送信側でR-Pi
ctureを伝送することが決定されると、それに対応した
通常のフレーム（主にP-PictureやB-Picture）の符号列
は送る必要がなくなる。このため、本実施形態は伝送路
の効率的利用にも役立つ。
【００２９】図５を用いて本実施形態の画像符号化装置
に対応した画像復号化装置の基本構成を説明する。図２
に示した画像符号化装置から出力された出力符号列１４
９は、伝送系または蓄積系を経て図５の画像復号化装置
に入力符号列として入力される。画像復号化装置では、
ヘッダ逆多重化部２００により、入力符号列から動画像
符号列２３１と参照画像符号列２４１が分離される。逆
多重化器２０１においては、動画像符号列２３１からＤ
ＣＴ係数符号列２３２及び動きベクトル符号列２３７が
分離される。ＤＣＴ係数符号列２３２は、可変長復号化
器２０２、逆量子化器２０３及び逆離散コサイン変換器
２０４を経て復号され、予測誤差信号２３５に再生され
る。動きベクトル符号列２３７は、可変長復号化器２０
６で復号され、これによって再生された動きベクトル情
報２３８が動き補償予測器２０７に入力される。
【００３０】一方、図示しないヘッダ逆多重化部により
入力符号列から分離された参照画像符号列２４１は、可
変長復号化器２０９、逆量子化器２１０及び逆離散コサ
イン変換器２１１を経て参照画像信号２４４に変換さ
れ、フレームメモリ２０８に格納される。動き補償予測
器２０７では、動きベクトル情報２３８を用いてフレー
ムメモリ２０８から読み出された前フレームの参照画像
信号２３９に対して動き補償が行われ、予測画像信号
（動き補償後の参照画像信号）２４０が生成される。加
算器２０５によって予測誤差信号２３５と予測画像信号
２４０が加算され、再生画像信号２３６が生成される。
再生画像信号２３６は、装置外へ出力されると共にフレ
ームメモリ２０８に参照画像信号として記憶される。
【００３１】本実施形態では画像符号化装置から参照画
像の情報を参照画像符号列として動画像符号列とは別途
に伝送系または蓄積系に送出し、画像復号化装置では参
照画像符号列を復号して参照画像の情報を再生すること
で、誤りの発生に対応することができる。このように本
実施形態によると、誤り発生時の画像回復能力を高める
ことが可能となる。
【００３２】この効果をさらに具体的に説明すると、例
えば図６に示すような予測を利用した動画像符号化で
は、図７に示すように途中で誤りが発生すると、以後の
予測を使っているフレームについては誤りが伝播する。
そこで、通常は誤りが発生してもそこで回復できるフレ
ーム、すなわち予測を使わないイントラ符号化フレーム
(I-Picture)を周期的に挿入する周期的リフレッシュの
手法がとられているが、これは符号化効率が悪くなる欠
点があった。
【００３３】これに対し、本実施形態では例えば図５に
示した画像復号化装置において、参照画像符号列を復号
して得られた参照画像信号を図８に示すように誤り発生
時に用いる参照画像信号のデータとしてフレームメモリ
２０８に別途保持しておく。誤りがあった場合のみ該デ
ータを動画像符号列の復号に用いる。すなわち、誤りの
ない場合は符号化効率の高い予測符号化に基づく参照画
像信号を用い、誤りのある場合だけ参照画像符号列を復
号して再構成した参照画像信号を用いることにより、誤
りから回復することを可能とする。また誤りが発生した
場合には、参照画像符号列から復号された参照画像でフ
レームメモリ２０８の内容を強制的に置き換える構成を
採用しても良い。
【００３４】本実施形態の構成では、画像符号化装置の
トータルの発生符号量は、参照画像信号を別途符号化し
ている分だけ多くなるが、これは参照画像符号列を必要
なときだけ出力することによって解決できる。例えば、
フレームの先頭などに当該フレームのタイプを示すフレ
ームタイプ情報として、参照画像符号列であることを示
すモード情報を記しておく。画像符号化装置側で該モー
ド情報を解析して参照画像符号列を出力するのかしない
かの判定を行う。通常モードでは参照画像符号列を出力
しないようにする。
【００３５】図９は、このような参照画像符号列のため
の出力判定装置の基本構成を示している。この出力判定
装置は、例えば図２中のヘッダ多重化部１１７内に備え
られる。図９において、入力符号列４３１は付加情報判
定部４０１に入力され、ここで通常のフレームを示す情
報か、補助的に付加された情報かの判定が行われる。本
実施形態の場合、入力符号列４３１は動画像符号列１３
７と参照画像符号列１４７を含む符号列であり、付加情
報判定部４０１では付加情報である参照符号列１４７か
否かの判定が行われる。
【００３６】付加情報判定部４０１からの判定結果４３
２は付加情報出力判定部４０３に入力され、現在の状態
を示す状態情報４３３に従って、参照符号列１４７を出
力すべきか否かの判定が行われる。例えば、状態情報４
３３は現在が誤り発生状態かどうかを示す情報であると
すると、付加情報出力判定部４０３では誤りが発生して
いれば参照符号列１４７を出力すべきと判定され、そう
でない通常の状態であれば参照符号列１４７を出力すべ
きでないと判定される。
【００３７】付加情報出力判定部４０３の判定結果４３
４は、出力部４０２へ渡される。出力部４０２は、付加
情報判定部４０１を介して入力される符号列４３５に含
まれる参照符号列１４７を付加情報出力判定部４０３か
らの判定結果４３４に従って出力符号列４３６として出
力する。これにより適応的に参照符号列１４７を出力す
ることができ、通常の誤りのない状態で余分な情報が出
力されない。
【００３８】一方、図５に示した画像復号化装置におい
ては、通常の状態でも入力符号列として参照符号列２４
１が入力される場合がある。例えば、ローカルのファイ
ルを再生する場合や、送信側が適応的な送信をサポート
していない場合などがある。そのような場合、画像復号
化装置側で参照画像符号列２４１を復号すべきかどうか
判定することも可能である。
【００３９】図１０は、このように参照画像符号列を復
号すべきかどうかを判定して復号を行う復号化判定装置
の基本構成を示す。この復号化判定装置は、例えば図５
の前段に設けられる前記ヘッダ逆多重化部２００に備え
られる。図１０において、入力符号列５３１は付加情報
判定部５０１に入力され、付加情報か否かを判定され
る。本実施形態の場合、入力符号列５３１は動画像符号
列２３１と参照画像符号列２４１を含む符号列であり、
付加情報判定部５０１では入力符号列５３１が参照画像
符号列２４１か否かが判定される。この判定は、例えば
フレームタイプ情報に記された参照画像符号列であるこ
とを示すモード情報を用いて行われる。
【００４０】付加情報判定部５０１の判定結果５３２
は、復号方法判定部５０３に入力され、参照画像符号列
２４１を復号すべき否かの判定に利用される。復号方法
判定部５０３には、状態情報５３３として現在の復号が
ローカル再生かどうかや、誤りの発生があったかどうか
といった情報が与えられる。復号方法判定部５０３から
は、付加情報判定部５０１の判定結果５３２と状態情報
５３３とから、付加情報判定部５０１を介して入力され
る符号列５３５に含まれる参照符号列２４１を復号すべ
きか否かが判定される。復号部５０２は、復号方法判定
部５０３の判定結果５３４に従って復号を行い、再生信
号５３６を出力する。これにより、ローカル再生などの
場合には、付加情報を復号しないように画像復号化装置
を制御することが可能となる。例えば、伝送路誤りが生
じない通常の送受信状態においては、参照画像符号列２
４１は復号されることなく、復号方法判定部５０３で廃
棄されるが、伝送路に誤りが発生した結果、参照すべき
フレームが欠落する、正常に復号されない等の場合に
は、再生画像の復号に必要な参照画像がフレームメモリ
にされていないため、参照符号列２４１を復号すること
により、フレームメモリ内に蓄積される画像を置き換え
る。これにより誤り混入によるう再生画像の劣化を防止
する。また誤りが発生した場合にのみ参照符号列を復号
して、参照画面を置き換える手法も可能であり、参照画
面を置き換えるか否かに拘わらず、参照符号列を受信し
た場合には全て復号するように受信側を構成することも
可能である。
【００４１】本実施形態では参照フレームが一つの場合
を前提に説明を行ったが、これを複数参照フレームに拡
張することも可能である。その場合、複数のフレームの
画像を全部付加するのでは、符号量が多くなってしまい
実用に沿わない可能性がある。そこで、複数ある参照フ
レームの中で動き補償の際に参照される小領域（ここで
はマクロブロックを例として用いる）だけを選択し、そ
れを参照画像符号列241として出力する。この場合に
は、図３（ｂ）のフレーム単位のデータ構造の代わりに
マクロブロック単位のデータ構造となる。この方式を採
用することで、利用されないマクロブロックも符号化し
て符号量が増大してしまうことが避けられ、符号量を節
約することが可能となる。その際、付加情報として出力
するマクロブロック情報がどのフレームのどの位置のマ
クロブロックかを示す情報と一緒に記述する。
【００４２】（第２の実施形態）図１１は、本発明の第
２の実施形態に係る画像符号化装置の構成を示す。第１
の実施形態では、参照画像符号列が動画像符号列とは別
フレームとして出力されている。第２の実施形態では参
照画像符号列は動画像符号列のフレームに対する付加情
報として出力される。図１１において図１と相対応する
部分に同一符号を付して第１の実施形態に係る画像符号
化装置との相違点のみ説明する。本実施形態では、参照
画像符号列１４７は多重化器１０６に入力され、量子化
及び可変長符号化されたＤＣＴ係数１３６及び動きベク
トル情報１４４と共に多重化されて出力される。
【００４３】こうすることで、動画像符号列の特定のフ
レームに対して、そのフレームの符号化・復号化に必要
な参照画像信号を付加する。すなわち図１２に示される
ように第ｎ＋１フレームの参照画像符号列１４７（Ref-
Frame #n+1）を動画像符号列１３７における同じ第ｎ＋
１フレーム（Frame #n+1）内の付加情報という位置付け
にすることができる。
【００４４】前記第１の実施形態で述べたように小領域
（マクロブロック）単位で参照画像符号列を付加する方
式の場合、動画像符号列137と参照画像符号列147をマク
ロブロック単位で多重化し、どのマクロブロックに対し
て参照画像符号列147が付加されたか否かを示す判定フ
ラグ情報をつけて記述する方式も可能である。
【００４５】図１３は、図１１の画像符号化装置に対応
する画像復号装置の構成を示している。図１３において
図５と相対応する部分に同一符号を付して第１の実施形
態に係る画像復号化装置との相違点を説明する。本実施
形態では逆多重化部２０１によって、ＤＣＴ係数符号列
２３１及び動きベクトル符号列２３７とは別に、動画像
符号列２３１のフレームに対する付加情報として挿入さ
れた参照画像符号列２４１が動画像符号列２３１から分
離される。分離された参照画像符号列２４１は、第１の
実施形態と同様に可変長復号化器２０９、逆量子化器２
１０及び逆離散コサイン変換器２１１を経て復号され、
参照画像信号２４４が再生される。参照画像符号列を復
号して得られた参照画像信号を誤り発生時用に用いる参
照画像信号のデータとしてフレームメモリ２０８に保持
しておき、誤りがあった場合該参照画像データを動画像
符号列の復号に用いる。また誤りが発生した場合には、
参照画像符号列から復号された参照画像でフレームメモ
リ２０８の内容を強制的に置き換える構成を採用しても
良い。
【００４６】（第３の実施形態）図１４は、本発明の第
３の実施形態に係る画像符号化装置の構成を示す。第１
及び第２の実施形態では、フレームメモリ１１０に記憶
された参照画像信号を符号化して参照符号列１４７が生
成されている。第３の実施形態では動き補償後の参照画
像信号（予測画像信号）を符号化して参照画像符号列１
４７を生成する。すなわちこの動き補償では、フレーム
メモリに記憶された参照画像信号の中から通常小領域単
位毎（主にマクロブロック単位毎）に最適な部分が選択
された参照画像がフレームメモリに記憶される。そのた
め、動き補償後の参照画像信号１４２はフレームメモリ
に記憶された参照画像信号１４１に対し、マクロブロッ
ク単位に参照画像信号を選択した信号である。
【００４７】すなわち、図１４においては動き補償適応
予測器１１１から出力される動き補償後の（マクロブロ
ック単位に選択された）参照画像信号１４２が離散コサ
イン変換器１１３、逆量子化器１１４及び可変長符号化
器１１５を経て符号化され、参照画像符号列１４７が生
成される。こうして生成された参照画像符号列１４７
は、第１の実施形態と同様に動画像符号列１３７と別フ
レームで出力されるか、あるいは第２の実施形態と同様
に動画像符号列１３７のフレーム中に付加情報として挿
入されて出力される。
【００４８】図１５は、図１４の画像符号化装置に対応
する本実施形態に係る画像復号化装置の構成を示す。ヘ
ッダ逆多重化部によって入力符号列から分離された動き
補償後の参照画像符号列２１４は、図１４で説明したよ
うに動き補償後の参照画像信号を符号化して得られた符
号列である。可変長符号化器２０９、逆量子化器２１０
及び逆離散コサイン変換器２１１を経て復号されること
により、動き補償後の参照画像信号２４４が再生され
る。再生された動き補償後の参照画像信号２４４は、第
１及び第２の実施形態のようにフレームメモリ２０８に
ではなく、動き補償予測器２０７に入力される。
【００４９】動き補償器２０７では、誤り発生時等には
入力された動きベクトル情報２３８とフレームメモリ２
０８からの参照画像信号２３９ではなく、上記のように
して再生された動き補償後の参照画像信号２４４を予測
画像信号２４０として出力することができる。
【００５０】本実施形態によると、参照画像が複数枚で
あったり、参照画像になんらかの加工を加えながら利用
する場合においても、領域分割後の入力動画像信号１３
２から減算器１０２で直接減算される予測画像信号であ
る動き補償後の参照画像信号１４２を符号化し、誤り発
生時の復元用信号として使用することでこの問題を解決
することが可能となる。
【００５１】また、予測符号化される画像フレームにお
いては、小領域のマクロブロック単位で予測符号化(INT
ERモード)を行うか、フレーム内符号化(INTRAモード)を
行うか選択しながら動作している場合が多い。その際、
フレーム内符号化しているマクロブロックに関しては予
測画像信号が存在しないため、参照画像信号を一つのフ
レームとして出力するのでは無駄な部分が生じてしまう
可能性がある。そこで、参照画像信号をフレーム単位で
格納する以外に、復号時に必要となるマクロブロック単
位で参照画像符号列１４７を選択し、蓄積するよう構成
することも可能である。
【００５２】（第４の実施形態）第１〜第３の実施形態
では、動き補償予測、離散コサイン変換、量子化及び可
変長符号化を組み合わせた動画像符号化を例に説明して
きたが、本発明はこのような符号化方式に限定されるも
のではない。例えば、ウェーブレット符号化などの次世
代符号化でも、本発明を適用することが可能である。
【００５３】図１６に、このような種々の画像符号化方
式を考慮して一般化した画像符号化装置の基本構成を示
す。図１６において、画像符号化部１９０１は参照画像
信号を利用して入力画像信号（主に動画像信号）１９３
１を符号化して画像符号化列１９３２を出力する。画像
符号化部１９０１は、参照画像信号を用いる方式であれ
ば、符号化方式は問わない。画像符号化部１９０１で用
いられる参照画像信号１９３３は、参照画像符号化部１
９０２で符号化され、参照画像符号列１９３４として出
力される。
【００５４】一方、図１６の画像符号化装置に対応する
画像復号装置の基本構成を図１７に示す。入力された符
号列から分離された参照画像符号列２０３２は参照画像
復号化部２００２で復号され、参照画像信号２０３３が
再生される。一方、入力された符号列から分離された画
像符号列２０３１は、画像復号化部２００１で復号され
るが、その際の参照画像信号として参照画像復号化部２
００２で再生された参照画像信号２０３３が存在すれ
ば、これを適宜用いることができる。
【００５５】（第５の実施形態）通常、INTRAモードで
参照画像を符号化した場合、量子化により元の参照画像
との間に誤差が生じてしまう。そこで、符号化時に予測
信号として参照画像信号を利用するのではなく、一旦変
換符号化を行い量子化まで行った後の画像符号化信号を
参照用に利用する。これを付加参照画像符号化信号とし
て復号装置側に伝送することで、量子化による誤差のな
いシステムを実現することが可能となる。
【００５６】本発明は、ＲＴＰ（Real-time Transport
Protocol）などが実装するフィードバック情報ＲＴＣＰ
などと組み合わせて用いることにより、効果をより発揮
することができる。ネットワークの誤り情報が受信側か
ら送信側に送られてくることにより、それを付加情報の
送信・非送信の判断条件として利用することができるか
らである。例えば、ＲＴＣＰにより誤りがあったと判定
された場合は、次に存在するフレームの参照画像符号列
を受信側に送信することになる。
【００５７】上述した本発明の画像符号化及び復号化
は、ハードウェアにより実現してもよいし、処理の一部
または全部をコンピュータを用いてソフトウェアにより
実行することも可能である。かかるソフトウェア（コン
ピュータプログラム）は半導体メモリ、ＣＤ−ＲＯＭ等
の記録媒体に記録されて流通させても良いし、また無
線、有線等の伝送媒体を経由して流通させることも可能
である。
【００５８】
【発明の効果】以上説明したように、本発明によれば伝
送効率を損なうことなく、誤り時の回復能力を高めるこ
とが可能となる。また、符号化の枠組みの中で処理し、
符号化時に全てのデータを用意することにより、再符号
化や送信時での複雑な処理などが不必要となり、簡易な
画像送受信システムを構築することが可能となる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態に係る画像符号化装置
の構成を示すブロック図
【図２】同実施形態に係るヘッダ多重化部及び制御部を
付加した画像符号化装置の構成を示すブロック図
【図３】同実施形態に係る画像符号化装置から出力され
る出力符号列中の画像に係る部分のデータ構造の例を説
明する図
【図４】同実施形態に係る画像符号化装置から出力され
る出力符号列中のフレームヘッダ符号列の構造の一例を
示す図
【図５】本発明の第１の実施形態に係る画像復号化装置
の構成を示すブロック図
【図６】予測符号化の予測構造を示す図
【図７】予測符号化による誤り伝播を示す図
【図８】同実施形態による誤り対処法を説明する図
【図９】同実施形態に係る参照画像符号列のための出力
判定装置の構成を示すブロック図
【図１０】同実施形態に係る参照画像符号列の復号のた
めの復号化判定装置の構成を示すブロック図
【図１１】本発明の第２の実施形態に係る画像符号化装
置の構成を示すブロック図
【図１２】同実施形態に係る画像符号化装置から出力さ
れる出力符号列中の画像に係る部分のデータ構造を示す
図
【図１３】本発明の第２の実施形態に係る画像復号化装
置の構成を示すブロック図
【図１４】本発明の第３の実施形態に係る画像符号化装
置の構成を示すブロック図
【図１５】本発明の第３の実施形態に係る画像復号化装
置の構成を示すブロック図
【図１６】本発明の第４の実施形態に係る画像符号化装
置の構成を示すブロック図
【図１７】本発明の第４の実施形態に係る画像復号化装
置の構成を示すブロック図
【符号の説明】
１０１乃至１２…動画像符号化部、１１３〜１１５…参
照画像符号化部、１１７…ヘッダ多重化部、１３１…入
力動画像信号、１３７…動画像符号化列、１４７…参照
画像符号化列、１４９…出力符号化列、２０１〜２０８
…動画像復号化部、２０９〜２１１…参照画像復号化
部、２３１…動画像符号化列、２３６…再生画像信号
（第２の参照画像信号）、２４１…参照画像符号化列、
２４４…参照画像信号（第１の参照画像信号）
───────────────────────────────────────────────────── フロントページの続き (72)発明者 古藤 晋一郎 神奈川県川崎市幸区小向東芝町１番地 株 式会社東芝研究開発センター内 (72)発明者 菊池 義浩 神奈川県川崎市幸区小向東芝町１番地 株 式会社東芝研究開発センター内 (72)発明者 浅野 渉 神奈川県川崎市幸区小向東芝町１番地 株 式会社東芝研究開発センター内 Ｆターム(参考） 5C059 MA23 MC11 ME01 NN21 PP05 PP06 PP07 RB09 RC00 RC04 RC38 RF09 RF30 UA02 UA05 UA33 UA39 5J064 AA00 BA04 BA16 BB08 BC01 BC08 BC16 BC25 BC27 BD02

Claims (19)

    【特許請求の範囲】
  1. 【請求項１】 入力される動画像信号を符号化する画像
    符号化方法において、 参照画像信号を用いて前記動画像信号を符号化して動画
    像符号列を生成する第１符号化ステップと、 前記参照画像信号を符号化して参照画像符号列を生成す
    る第２符号化ステップと、 前記動画像符号列及び参照画像符号列を多重化して出力
    符号列を生成する多重化ステップと、を具備する画像符
    号化方法。
  2. 【請求項２】 前記第１符号化ステップは、前記動画像
    信号の符号化の過程で生成される局部復号画像信号を前
    記参照画像信号としてフレームメモリに格納し、前記第
    ２符号化ステップは、該フレームメモリから読み出され
    る参照画像信号を符号化する請求項１記載の画像符号化
    方法。
  3. 【請求項３】 前記参照画像信号は前記符号化された動
    画像を局部復号した複数枚の画像信号からなる請求項１
    または２記載の画像符号化方法。
  4. 【請求項４】 入力される動画像信号を符号化する画像
    符号化装置において、 参照画像信号を用いて前記動画像信号を符号化して動画
    像符号列を生成する第１の符号化手段と、 前記参照画像信号を符号化して参照画像符号列を生成す
    る第２の符号化手段と、 前記動画像符号列及び参照画像符号列を多重化して出力
    符号列を生成する多重化手段と、を具備する画像符号化
    装置。
  5. 【請求項５】 前記第１の符号化手段は、前記動画像信
    号の符号化の過程で生成される局部復号画像信号を前記
    参照画像信号として記憶するフレームメモリを有し、前
    記第２の符号化手段は、該フレームメモリから読み出さ
    れる参照画像信号を符号化する請求項４記載の画像符号
    化装置。
  6. 【請求項６】 前記参照画像は前記符号化された動画像
    を局部復号した複数枚の画像からなる請求項４または５
    記載の画像復号化装置。
  7. 【請求項７】 前記第１の符号化手段は、前記動画像信
    号の符号化の過程で生成される局部復号画像信号を前記
    参照画像信号として記憶するフレームメモリ及び該フレ
    ームメモリから読み出された前記参照画像信号に対して
    動き補償を行う動き補償手段を有し、前記第２の符号化
    手段は、該動き補償手段による動き補償後の参照画像信
    号を符号化する請求項４記載の画像符号化装置。
  8. 【請求項８】 前記多重化手段は、 前記動画像符号列及び参照画像符号列を含む入力符号列
    に対して前記参照画像符号列か否かの判定を行う第１の
    判定手段と、 前記第１の判定手段により前記入力符号列が前記参照画
    像符号列と判定されたとき該参照画像符号列を出力すべ
    き否かを判定する第２の判定手段と、 前記第２の判定結果に従い前記入力符号列を前記出力符
    号列として出力する出力手段とを有する請求項４記載の
    画像符号化装置。
  9. 【請求項９】 動画像信号を符号化して得られた動画像
    符号列及び参照画像信号を符号化して得られた参照画像
    符号列を含む入力符号列を復号して動画像信号を再生す
    る画像復号方法において、 前記入力符号列に含まれる参照画像符号列を復号して第
    １の参照画像信号を生成する第１復号化ステップと、 再生画像信号から得られる第２の参照画像信号及び前記
    第１の参照画像信号のいずれかを選択的に用いて前記入
    力符号列に含まれる動画像符号列を復号して前記再生画
    像信号を生成する第２復号化ステップと、を具備する画
    像復号化方法。
  10. 【請求項１０】 前記第２復号化ステップは、前記再生
    画像信号を前記第２の参照画像信号として記憶すると共
    に前記第１の参照画像信号をフレームメモリに格納し、
    該フレームメモリから前記第２の参照画像信号及び第１
    の参照画像信号を選択的に読み出して前記動画像符号列
    を復号する請求項９記載の画像復号化方法。
  11. 【請求項１１】 前記第２復号化ステップは、前記再生
    画像信号を前記第２の参照画像信号としてフレームメモ
    リに格納し、該フレームメモリに記憶された第２の参照
    画像信号を前記第１の参照画像信号に置き換えて前記動
    画像符号列を復号するステップを含む請求項９記載の画
    像復号化方法。
  12. 【請求項１２】 動画像信号を符号化して得られた動画
    像符号列及び参照画像信号を符号化して得られた参照画
    像符号列を含む入力符号列を復号して動画像信号を再生
    する画像復号装置において、 前記入力符号列に含まれる参照画像符号列を復号して第
    １の参照画像信号を生成する第１の復号化手段と、 再生画像信号から得られる第２の参照画像信号及び前記
    第１の参照画像信号のいずれかを選択的に用いて、前記
    入力符号列に含まれる動画像符号列を復号して前記再生
    画像信号を生成する第２の復号化手段と、を具備する画
    像復号化装置。
  13. 【請求項１３】 前記第２の復号化手段は、前記再生画
    像信号を前記第２の参照画像信号として記憶すると共に
    前記第１の参照画像信号を記憶するフレームメモリを有
    し、該フレームメモリから前記第２の参照画像信号及び
    第１の参照画像信号を選択的に読み出して前記動画像符
    号列を復号する請求項１２記載の画像復号化装置。
  14. 【請求項１４】 前記第１の復号化手段は、前記入力符
    号列に含まれる動き補償後の前記参照画像符号列を復号
    して前記第１の参照画像信号を生成し、 前記第２の復号化手段は、前記再生画像信号を前記第２
    の参照画像信号として記憶するフレームメモリ及び該フ
    レームメモリから読み出される第２の参照画像信号及び
    前記第１の参照画像信号のいずれかに対して動き補償を
    行う動き補償手段を有する請求項１２記載の画像復号化
    装置。
  15. 【請求項１５】 前記入力符号列に対して前記参照画像
    符号列か否かの判定を行う第１の判定手段と、 前記第１の判定手段により前記入力符号列が前記参照画
    像符号列と判定されたとき該参照画像符号列を復号すべ
    き否かを判定する第２の判定手段と、 前記第２の判定結果に従い前記入力符号列を復号する復
    号化手段とをさらに有する請求項１２記載の画像復号化
    装置。
  16. 【請求項１６】 前記第２の復号化手段は、前記再生画
    像信号を前記第２の参照画像信号として記憶するフレー
    ムメモリを有し、該フレームメモリに記憶された第２の
    参照画像信号を前記第１の参照画像信号に置き換えて前
    記動画像符号列を復号する請求項１２記載の画像復号化
    装置。
  17. 【請求項１７】 入力される動画像信号を符号化する画
    像符号化処理をコンピュータに実行させるためのプログ
    ラムであって、 参照画像信号を用いて前記動画像信号を符号化して動画
    像符号列を生成する処理と、 前記参照画像信号を符号化して参照画像符号列を生成す
    る処理と、 前記動画像符号列及び参照画像符号列を多重化して出力
    符号列を生成する処理とを前記コンピュータに実行させ
    るためのプログラム。
  18. 【請求項１８】 動画像信号を符号化して得られた動画
    像符号列及び参照画像信号を符号化して得られた参照画
    像符号列を含む入力符号列を復号して動画像信号を再生
    する処理をコンピュータに実行させるためのプログラム
    であって、 前記入力符号列に含まれる参照画像符号列を復号して第
    １の参照画像信号を生成する処理と、 再生画像信号から得られる第２の参照画像信号及び前記
    第１の参照画像信号のいずれかを選択的に用いて、前記
    入力符号列に含まれる動画像符号列を復号して前記再生
    画像信号を生成する処理とを前記コンピュータに実行さ
    せるためのプログラム。
  19. 【請求項１９】 入力された動画像信号が動き補償予測
    符号化された動画像符号化列と前記動き補償予測符号化
    に用いるための参照画像信号が別途符号化された参照符
    号化列とが多重化された動画像符号列。
JP2003010135A 2002-01-18 2003-01-17 画像符号化方法及び装置 Expired - Fee Related JP3923898B2 (ja)

Priority Applications (26)

Application Number Priority Date Filing Date Title
JP2003010135A JP3923898B2 (ja) 2002-01-18 2003-01-17 画像符号化方法及び装置
EP20070006025 EP1793614A2 (en) 2002-01-18 2003-01-20 Picture encoding method and apparatus and picture decoding method and apparatus
CNB03800156XA CN1253014C (zh) 2002-01-18 2003-01-20 图像编码方法及设备和图像解码方法及设备
EP20070006023 EP1793613A2 (en) 2002-01-18 2003-01-20 Picture encoding method and apparatus and picture decoding method and apparatus
KR1020057020080A KR100628494B1 (ko) 2002-01-18 2003-01-20 화상복호화방법 및 장치와 기록매체
EP20070006022 EP1793612A2 (en) 2002-01-18 2003-01-20 Picture encoding method and apparatus and picture decoding method and apparatus
EP20030701800 EP1469681A1 (en) 2002-01-18 2003-01-20 Image coding method and apparatus and image decoding method and apparatus
EP20070006027 EP1811788A2 (en) 2002-01-18 2003-01-20 Picture encoding method and apparatus and picture decoding method and apparatus
EP20070006024 EP1811787A2 (en) 2002-01-18 2003-01-20 Picture encoding method and apparatus and picture decoding method and apparatus
EP20070006029 EP1793616A2 (en) 2002-01-18 2003-01-20 Picture encoding method and apparatus and picture decoding method and apparatus
AU2003203271A AU2003203271B2 (en) 2002-01-18 2003-01-20 Image coding method and apparatus and image decoding method and apparatus
MXPA03008163A MXPA03008163A (es) 2002-01-18 2003-01-20 Metodo y aparato para codificacion de imagen y metodo y aparato para decodificacion de imagen.
PCT/JP2003/000426 WO2003067894A1 (fr) 2002-01-18 2003-01-20 Procede et appareil de codage d'image et procede et appareil de decodage d'image
CA002440154A CA2440154C (en) 2002-01-18 2003-01-20 Picture encoding method and apparatus and picture decoding method and apparatus
EP20070006028 EP1793615A2 (en) 2002-01-18 2003-01-20 Picture encoding method and apparatus and picture decoding method and apparatus
BR0302718A BR0302718A (pt) 2002-01-18 2003-01-20 Método e aparelho de codificação de imagem e método e aparelho de decodificação de imagem
KR20037012414A KR100564896B1 (ko) 2002-01-18 2003-01-20 화상부호화방법 및 장치와 기록매체
US10/661,697 US7212576B2 (en) 2002-01-18 2003-09-15 Picture encoding method and apparatus and picture decoding method and apparatus
NO20034137A NO20034137L (no) 2002-01-18 2003-09-17 Apparater for bildekoding og bildedekoding
US11/685,810 US20070153893A1 (en) 2002-01-18 2007-03-14 Picture encoding method and apparatus and picture decoding method and apparatus
US11/685,827 US20070153894A1 (en) 2002-01-18 2007-03-14 Picture encoding method and apparatus and picture decoding method and apparatus
US11/685,842 US20070153895A1 (en) 2002-01-18 2007-03-14 Picture encoding method and apparatus and picture decoding method and apparatus
US11/686,373 US20070153912A1 (en) 2002-01-18 2007-03-15 Picture encodng method and apparatus and picture decoding method and apparatus
US11/686,372 US20070153911A1 (en) 2002-01-18 2007-03-15 Picture encoding method and apparatus and picture decoding method and apparatus
US11/686,376 US20070160141A1 (en) 2002-01-18 2007-03-15 Picture encoding method and apparatus and picture decoding method and apparatus
US11/686,380 US20070153913A1 (en) 2002-01-18 2007-03-15 Picture encoding method and apparatus and picture decoding method and apparatus

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2002010875 2002-01-18
JP2002-10875 2002-01-18
JP2003010135A JP3923898B2 (ja) 2002-01-18 2003-01-17 画像符号化方法及び装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2007011825A Division JP2007151163A (ja) 2002-01-18 2007-01-22 画像復号化方法及び装置

Publications (2)

Publication Number Publication Date
JP2003284078A true JP2003284078A (ja) 2003-10-03
JP3923898B2 JP3923898B2 (ja) 2007-06-06

Family

ID=27736416

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003010135A Expired - Fee Related JP3923898B2 (ja) 2002-01-18 2003-01-17 画像符号化方法及び装置

Country Status (11)

Country Link
US (8) US7212576B2 (ja)
EP (8) EP1811787A2 (ja)
JP (1) JP3923898B2 (ja)
KR (2) KR100564896B1 (ja)
CN (1) CN1253014C (ja)
AU (1) AU2003203271B2 (ja)
BR (1) BR0302718A (ja)
CA (1) CA2440154C (ja)
MX (1) MXPA03008163A (ja)
NO (1) NO20034137L (ja)
WO (1) WO2003067894A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006191599A (ja) * 2004-12-30 2006-07-20 Microsoft Corp パケットロスのリカバリを改善するためのフレームキャッシングの使用
US7634148B2 (en) 2005-01-07 2009-12-15 Ntt Docomo, Inc. Image signal transforming and inverse-transforming method and computer program product with pre-encoding filtering features
JP2010009624A (ja) * 2009-10-07 2010-01-14 Ntt Docomo Inc 画像信号変換方法、画像信号逆変換方法、画像符号化装置、画像復号装置、画像符号化方法、画像復号方法、画像符号化プログラム、及び、画像復号プログラム
JP2012138780A (ja) * 2010-12-27 2012-07-19 Forum8 Co Ltd データ配信システム、データ配信装置、データ符号化装置、及びデータ符号化方法
US8548051B2 (en) 1999-03-12 2013-10-01 Microsoft Corporation Media coding for loss recovery with remotely predicted data units

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8290057B2 (en) * 2005-02-18 2012-10-16 Mediatek Incorporation Method of decoding a digital video sequence and related apparatus
EP1713283A2 (en) * 2005-04-15 2006-10-18 Sony Corporation Video decoder with random access technique
KR100729824B1 (ko) * 2005-11-03 2007-06-18 주식회사 칼라짚미디어 이미지 코드 생성 장치 및 그 방법과 이미지 코드 디코딩장치 및 그 방법
WO2007116551A1 (ja) 2006-03-30 2007-10-18 Kabushiki Kaisha Toshiba 画像符号化装置及び画像符号化方法並びに画像復号化装置及び画像復号化方法
US7746961B2 (en) * 2006-04-11 2010-06-29 Telefonaktiebolaget L M Ericsson (Publ) Efficient detection of predetermined sequences
CA2661333C (en) * 2006-08-23 2014-08-05 Eisai R&D Management Co., Ltd. Salt of phenoxypyridine derivative or crystal thereof and process for producing the same
JP2009203226A (ja) * 2008-01-31 2009-09-10 Eisai R & D Management Co Ltd ピリジン誘導体およびピリミジン誘導体を含有するレセプターチロシンキナーゼ阻害剤
US8385404B2 (en) 2008-09-11 2013-02-26 Google Inc. System and method for video encoding using constructed reference frame
US8326075B2 (en) 2008-09-11 2012-12-04 Google Inc. System and method for video encoding using adaptive loop filter
CN102484718B (zh) * 2009-09-03 2014-11-12 日本电气株式会社 视频编码设备、视频编码方法和视频编码程序
US8503528B2 (en) 2010-09-15 2013-08-06 Google Inc. System and method for encoding video using temporal filter
US8780996B2 (en) 2011-04-07 2014-07-15 Google, Inc. System and method for encoding and decoding video data
US8780971B1 (en) 2011-04-07 2014-07-15 Google, Inc. System and method of encoding using selectable loop filters
US8781004B1 (en) 2011-04-07 2014-07-15 Google Inc. System and method for encoding video using variable loop filter
US9154799B2 (en) 2011-04-07 2015-10-06 Google Inc. Encoding and decoding motion via image segmentation
US8638854B1 (en) 2011-04-07 2014-01-28 Google Inc. Apparatus and method for creating an alternate reference frame for video compression using maximal differences
US8885706B2 (en) 2011-09-16 2014-11-11 Google Inc. Apparatus and methodology for a video codec system with noise reduction capability
KR102136358B1 (ko) 2011-09-22 2020-07-22 엘지전자 주식회사 영상 정보 시그널링 방법 및 장치와 이를 이용한 디코딩 방법 및 장치
US9131073B1 (en) 2012-03-02 2015-09-08 Google Inc. Motion estimation aided noise reduction
WO2013162980A2 (en) 2012-04-23 2013-10-31 Google Inc. Managing multi-reference picture buffers for video data coding
US9609341B1 (en) 2012-04-23 2017-03-28 Google Inc. Video data encoding and decoding using reference picture lists
US9014266B1 (en) 2012-06-05 2015-04-21 Google Inc. Decimated sliding windows for multi-reference prediction in video coding
US9332309B2 (en) 2012-06-08 2016-05-03 Apple Inc. Sync frame recovery in real time video transmission system
US9344729B1 (en) 2012-07-11 2016-05-17 Google Inc. Selective prediction signal filtering
US9491487B2 (en) * 2012-09-25 2016-11-08 Apple Inc. Error resilient management of picture order count in predictive coding systems
US9264737B2 (en) 2012-10-01 2016-02-16 Apple Inc. Error resilient transmission of random access frames and global coding parameters
US9756331B1 (en) 2013-06-17 2017-09-05 Google Inc. Advance coded reference prediction
US10102613B2 (en) 2014-09-25 2018-10-16 Google Llc Frequency-domain denoising
CN107820095B (zh) * 2016-09-14 2020-01-03 北京金山云网络技术有限公司 一种长期参考图像选择方法及装置
EP3759924A1 (en) 2018-04-03 2021-01-06 Huawei Technologies Co., Ltd. Bitstream signaling of error mitigation in sub-picture bitstream based viewport dependent video coding
CN111279694A (zh) * 2018-11-28 2020-06-12 深圳市大疆创新科技有限公司 Gdr码流编码方法、终端设备、机器可读存储介质
CN112866712B (zh) * 2019-11-12 2023-05-23 杭州海康威视数字技术股份有限公司 一种图像码流数据的显示控制方法、以及解码设备
CN112770179B (zh) * 2021-01-05 2023-06-16 武汉球之道科技有限公司 一种用于在线赛事转播的高效传输系统

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2877906B2 (ja) * 1990-06-29 1999-04-05 日本電信電話株式会社 フレーム間符号化における伝送符号誤り検出方式
JPH04170184A (ja) * 1990-10-12 1992-06-17 Mitsubishi Electric Corp 画像伝送装置
NL9201593A (nl) * 1992-09-14 1994-04-05 Nederland Ptt Systeem omvattende een eerste encoder voor het coderen van een eerste digitaal signaal, een tweede encoder voor het coderen van een tweede digitaal signaal en ten minste één decoder voor het decoderen van gecodeerde digitale signalen, en encoder en decoder voor toepassing in het systeem.
KR940023248A (ko) * 1993-03-15 1994-10-22 오오가 노리오 화상 신호 부호화 방법 및 장치와, 화상 신호 복호화 방법 및 장치
CA2157494C (en) * 1993-03-26 1999-08-24 David Geoffrey Morrison A transcoder
JPH0730896A (ja) * 1993-06-25 1995-01-31 Matsushita Electric Ind Co Ltd 動きベクトル符号化及び復号化方法
US5940130A (en) * 1994-04-21 1999-08-17 British Telecommunications Public Limited Company Video transcoder with by-pass transfer of extracted motion compensation data
EP1701552B1 (en) * 1994-06-08 2008-07-30 Matsushita Electric Industrial Co., Ltd. Image conversion apparatus
US6111596A (en) * 1995-12-29 2000-08-29 Lucent Technologies Inc. Gain and offset correction for efficient stereoscopic coding and improved display
JP2848326B2 (ja) 1996-03-28 1999-01-20 日本電気株式会社 Ｍｐｅｇ符号化画像復号装置
US6144701A (en) * 1996-10-11 2000-11-07 Sarnoff Corporation Stereoscopic video coding and decoding apparatus and method
JPH10191356A (ja) * 1996-12-27 1998-07-21 Oki Electric Ind Co Ltd 画像符号化装置
US6005523A (en) * 1997-12-11 1999-12-21 Ericsson Inc. Antenna rod disconnect mechanisms and associated methods
US6434196B1 (en) * 1998-04-03 2002-08-13 Sarnoff Corporation Method and apparatus for encoding video information
ES2251816T3 (es) 1999-08-31 2006-05-01 Lucent Technologies Inc. Sistemas para la deteccion de errores en señales de video.
US6920175B2 (en) 2001-01-03 2005-07-19 Nokia Corporation Video coding architecture and methods for using same
US20020122491A1 (en) * 2001-01-03 2002-09-05 Marta Karczewicz Video decoder architecture and method for using same
DK1486065T3 (en) * 2002-03-15 2016-02-29 Nokia Technologies Oy PROCEDURE FOR CODING MOVEMENT IN A VIDEO SEQUENCE
US7447264B2 (en) * 2002-11-07 2008-11-04 Victor Company Of Japan, Ltd. Moving-picture temporal scalable coding method, coding apparatus, decoding method, decoding apparatus, and computer program therefor
US6857776B2 (en) * 2002-12-12 2005-02-22 Ametek, Inc. Connectorized high-temperature thermocouple

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8548051B2 (en) 1999-03-12 2013-10-01 Microsoft Corporation Media coding for loss recovery with remotely predicted data units
US9232219B2 (en) 1999-03-12 2016-01-05 Microsoft Technology Licensing, Llc Media coding for loss recovery with remotely predicted data units
US9918085B2 (en) 1999-03-12 2018-03-13 Microsoft Technology Licensing, Llc Media coding for loss recovery with remotely predicted data units
JP2006191599A (ja) * 2004-12-30 2006-07-20 Microsoft Corp パケットロスのリカバリを改善するためのフレームキャッシングの使用
US8634413B2 (en) 2004-12-30 2014-01-21 Microsoft Corporation Use of frame caching to improve packet loss recovery
US9313501B2 (en) 2004-12-30 2016-04-12 Microsoft Technology Licensing, Llc Use of frame caching to improve packet loss recovery
US9866871B2 (en) 2004-12-30 2018-01-09 Microsoft Technology Licensing, Llc Use of frame caching to improve packet loss recovery
US10341688B2 (en) 2004-12-30 2019-07-02 Microsoft Technology Licensing, Llc Use of frame caching to improve packet loss recovery
US7634148B2 (en) 2005-01-07 2009-12-15 Ntt Docomo, Inc. Image signal transforming and inverse-transforming method and computer program product with pre-encoding filtering features
JP2010009624A (ja) * 2009-10-07 2010-01-14 Ntt Docomo Inc 画像信号変換方法、画像信号逆変換方法、画像符号化装置、画像復号装置、画像符号化方法、画像復号方法、画像符号化プログラム、及び、画像復号プログラム
JP2012138780A (ja) * 2010-12-27 2012-07-19 Forum8 Co Ltd データ配信システム、データ配信装置、データ符号化装置、及びデータ符号化方法

Also Published As

Publication number Publication date
BR0302718A (pt) 2004-03-23
CA2440154C (en) 2008-01-08
KR100564896B1 (ko) 2006-03-30
JP3923898B2 (ja) 2007-06-06
US20070160141A1 (en) 2007-07-12
EP1811787A2 (en) 2007-07-25
US20070153911A1 (en) 2007-07-05
AU2003203271A1 (en) 2003-09-02
EP1793616A2 (en) 2007-06-06
EP1793614A2 (en) 2007-06-06
EP1793612A2 (en) 2007-06-06
US20070153894A1 (en) 2007-07-05
KR20030090688A (ko) 2003-11-28
US7212576B2 (en) 2007-05-01
EP1793613A2 (en) 2007-06-06
NO20034137D0 (no) 2003-09-17
US20070153912A1 (en) 2007-07-05
WO2003067894A1 (fr) 2003-08-14
US20070153893A1 (en) 2007-07-05
CN1507750A (zh) 2004-06-23
US20070153895A1 (en) 2007-07-05
NO20034137L (no) 2003-10-15
EP1469681A1 (en) 2004-10-20
AU2003203271B2 (en) 2005-11-24
KR20050107529A (ko) 2005-11-11
US20070153913A1 (en) 2007-07-05
KR100628494B1 (ko) 2006-09-26
EP1793615A2 (en) 2007-06-06
EP1811788A2 (en) 2007-07-25
CN1253014C (zh) 2006-04-19
US20040080669A1 (en) 2004-04-29
CA2440154A1 (en) 2003-08-14
MXPA03008163A (es) 2004-01-22

Similar Documents

Publication Publication Date Title
KR100564896B1 (ko) 화상부호화방법 및 장치와 기록매체
JP2004129216A (ja) 画像復号化方法及び装置
JP3852366B2 (ja) 符号化装置および方法、復号装置および方法、並びにプログラム
CN107257469B (zh) 动态图像预测解码装置及方法
US20050265444A1 (en) Moving image encoding/decoding apparatus and method
JP2007151163A (ja) 画像復号化方法及び装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040609

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20061121

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070122

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070220

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070222

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100302

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110302

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees