JP2007507128A - 参照ピクチャのリフレッシュを遅延させて行うビデオ画像の符号化および復号化 - Google Patents
参照ピクチャのリフレッシュを遅延させて行うビデオ画像の符号化および復号化 Download PDFInfo
- Publication number
- JP2007507128A JP2007507128A JP2006517987A JP2006517987A JP2007507128A JP 2007507128 A JP2007507128 A JP 2007507128A JP 2006517987 A JP2006517987 A JP 2006517987A JP 2006517987 A JP2006517987 A JP 2006517987A JP 2007507128 A JP2007507128 A JP 2007507128A
- Authority
- JP
- Japan
- Prior art keywords
- image
- images
- subject
- motion detection
- disabling
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/114—Adapting the group of pictures [GOP] structure, e.g. number of B-frames between two anchor frames
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本発明はビデオシーケンスにおける画像の符号化および復号化に関する。IDRタイプ画像より前に表示される画像間の画像間予測を可能とするために、符号化済み画像のシーケンスに含まれるIDRタイプ画像の時間的位置を基準として、参照画像のリフレッシュの実行を遅延させる。
Description
本発明はビデオシーケンスの符号化及び復号化に際して参照ピクチャのリフレッシュを遅延させて行う技術に関する。特に、ランダムアクセスを可能とするために、複数の参照画像を用い、参照ピクチャのリフレッシュを繰り返し行う、ビデオシーケンスの予測符号化及び復号化のための方法及び装置に関する。
動画像を送信する際、使用可能な周波数帯域幅が限られた従来の伝送路を介して大量のデータを送信する必要がある。限られた帯域幅の伝送路を介してデジタルデータを送信するために、送信対象のビデオデータの容量を圧縮又は削減することが不可欠となる。従来から、ビデオデータの容量を削減するための映像符号化規格の策定が行われてきた。映像符号化規格のうち、ITU−T規格はH.26xと称され、ISO/IEC規格はMPEG−xと称される。
映像符号化規格の多くは、次に挙げる主要なステージで構成される符号化方法が基礎となっている。まず、ビデオフレームのシーケンスに含まれる各ビデオフレームを画素ブロック単位に分割し、以降、ビデオフレームをブロックレベルで処理する。次に、ビデオデータを空間的・時間的観点から分析することでデータ容量を削減する。ビデオフレームにおける空間的冗長性は、各ブロックのビデオデータ対して変換、量子化、及びエントロピー符号化を行うことで削減される。
後続する複数のフレーム間の差分のみを送信するため、後続する複数のフレームに含まれるブロック間の時間的依存性を利用する。これは動き検出及び動き補償の技術を用いることで実現される。各ブロックについて、符号化済みのフレーム内をサーチして動きベクトルを決定する。エンコーダ及びデコーダは、この動きベクトルを用いて各ブロックの画像データを予測する。
図1はビデオエンコーダの構成例を示す図である。参照番号100で示されるビデオエンコーダは、符号化済みの画像に基づいて対象ビデオ画像と当該対象画像の予測画像125との間の差分を求める減算器120を備える。変換部130は、当該差分を空間軸から周波数軸に変換する。量子化部140は、変換部130から取得した変換係数を量子化する。可変長符号化部150は、量子化された変換係数に対してエントロピー符号化を行う。ビデオバッファ170は、可変ビットレートの圧縮ビデオデータを、固定ビットレートの伝送路に適合させ、及び/又は圧縮ビデオデータのストリームを、伝送路の変動するビットレートに適合させる。
ここで、図1のビデオエンコーダの動作を説明する。ビデオエンコーダは、DPCM(Differential Pulse Code Modulation)方式を採用する。DPCM方式では、入力ビデオシーケンス110に含まれる各フレームにおける後続するフィールド間の差分のみが送信される。これらの差分は、減算器120が符号化対象のビデオシーケンス110を受信し、そこから対象画像の予測画像125を減算することで求められる。
予測画像125は、エンコーダ側で符号化された画像の復号化の結果165(“現在の復号化対象画像”)に基づいている。これは、復号化部160をビデオエンコーダ100に組み込むことで実現される。復号化部160は、符号化処理の逆処理を行う。すなわち、復号化部160は、逆量子化部Q-1と、逆変換部T-1と、復号化された差分を予測画像125に加算する加算器とを備える。別に設けられているデコーダ(図示せず)も同様に、ビデオ画像の符号化済みシーケンス180を受信し、受信したデータストリームを復号化し、復号化済み画像165を出力する。
図1に示すビデオエンコーダが行う動き補償DPCMによって、対象フレーム及び前のフレーム間で検出された動きに基づいて、フィールドデータにおける対象フレームを、対応する前のフィールドデータから予測する。動き検出は、対象フレーム及び前のフレーム間の画素の移動を示す2次元の変位ベクトルとして決定される。動き検出は、通常ブロック単位で行われる。動き検出では、対象フレームにおけるブロックは、最適な一致が得られるまで前のフレームにおけるブロックと比較される。この比較結果に基づき、対象フレームにおける各ブロックについてフレーム間変位ベクトルを検出する。これは、図1に示されるエンコーダが備える動き検出/補償部190によって実現される。
動き検出の結果に基づき、決定された動きベクトルを利用して、動き補償によって予測画像を取得する。次に、変換部130は、対象ブロックと予測ブロックとの間の差分から得られた予測誤差ブロックに含まれる情報を変換係数に変換する。この際、離散コサイン変換等の2次元変換(T)が通常用いられる。結果として得られる変換係数に対して量子化を行い、最後にエントロピー符号化部150でエントロピー符号化(VLC)を行う。
デコーダ(図示せず)は、送信された圧縮ビデオデータ180のストリームを受信し、受信したビットストリームから、符号化されたビデオ画像のストリームを再度生成する。デコーダの構成は、図1で説明したデコーダ160の構成に対応する(ただし、デコーダには動き検出部220は含まれない)。デコーダ構成の詳細はここでは説明しない。
後続する画像間の時間的依存性を利用するために行う、後続するフィールド又はフレーム間の予測は、一方向又は双方向の動き検出/補償として行う。動き検出において参照フレームとして選択されたフレームが符号化済みのフレームである場合、当該符号化済みフレームはPピクチャと称される。参照フレームとして符号化済みフレーム及び後のフレームの両方が選ばれた場合、符号化対象フレームはBピクチャと称される。
最新の映像符号化規格では、ピクチャ間符号化のために複数の参照画像を用いることもできる。参照フレームを複数用いることで、画像の符号化効率がさらに向上する。このため、動き検出/補償においては、複数の参照ピクチャを提供するためにマルチフレームバッファを利用する。動きベクトルには、使用された個々の参照画像を示す追加的情報が添えられる。
図2は、図1に示した動き検出/補償部190の内部構造を示す図である。現在の復号化対象画像165がマルチフレームバッファ200に与えられ、参照画像の1つとして格納される。コントローラ230は、これらの画像の管理制御を行う。図3に示すように、マルチフレームバッファ200は、ビデオ信号に含まれる参照フレームを格納するための複数のメモリ領域300を備える。メモリ領域300は、メモリ領域の種類毎に分けられていることが望ましい。すなわち、短期参照画像用と長期参照画像用(図示せず)に類別されていることが望ましい。
符号化済みビデオシーケンスに含まれるその他の画像はIピクチャと呼ばれ、画像におけるスペシャルな冗長性を削減するだけのものであり、時間的情報は利用しない。
新しく策定されたH.264映像符号化規格では、IDR(Instaneous Decoder Refresh)ピクチャが新たに使用されている。IDRピクチャに対しては、Iピクチャ符号化に対応する時間的情報を利用しない。さらに、IDRピクチャにより、当該IDRピクチャより前に復号化されたピクチャとの間の相互依存性を断絶させるために、マルチフレームバッファがリセットされる。このため、符号化および復号化処理においては、IDRピクチャを符号化および復号化する直前に、マルチフレームバッファ200に格納されている現在の参照ピクチャを“未使用参照ピクチャ”とマーキングする。全ての参照ピクチャを“未使用参照ピクチャ”とマーキングするということは、符号化および復号順における以降のピクチャが、IDRピクチャより前のピクチャとの間のピクチャ間予測を利用することなく処理されることを意味する。よって、IDRピクチャを利用することで、ビデオシーケンスに含まれる符号化済み画像に対してランダムアクセスを行うための処理労力を低減できる。IDRピクチャによって、符号化済みビットストリームにおける任意の時間的位置へのジャンプが可能となり、また前に位置する画像を復号化することなく後ろに位置するピクチャを復号化することが可能となる。
IDRピクチャを用いたビデオ画像の符号化の詳細について、図4及び図5を用いて説明する。図4は、画像1〜10で構成される符号化対象のビデオシーケンスの一部を示す図である。これらの画像における文字(例えば、P、B、IDRなど)は、各画像が採用している符号化構造、すなわち符号化タイプを示している。図4の例に示すように、画像シーケンスは、Pタイプ画像410、430及び460、並びにこれらの間に配列されたBタイプ画像420及び450を用いて符号化される。矢印480は、どの画像が参照画像として利用されるかをそれぞれ示している。
図4に示すシーケンスに含まれる画像のうち、1つの画像はIDRピクチャ440として符号化される。上述のように、IDRタイプ画像によって、符号化済みビデオ画像のシーケンスにおける画像へのランダムアクセスが可能となる。IDRピクチャが持つ2つの主要な特徴を以下に示す。
1.IDRピクチャ440は、イントラ符号化された画像ブロック(Iスライスタイプ、又はSIスライスタイプ)のみを含む。
2.符号化および復号化処理において、IDRピクチャ440と、IDRピクチャ440の前に位置するピクチャ410、420及び430との間の相互依存性が断絶される。この断絶は、現在の全ての参照ピクチャを“未使用参照ピクチャ”とマーキングすることで実現することが望ましく、図4において線470で示すように、IDRピクチャ440を符号化および復号化する直前に行う。
2.符号化および復号化処理において、IDRピクチャ440と、IDRピクチャ440の前に位置するピクチャ410、420及び430との間の相互依存性が断絶される。この断絶は、現在の全ての参照ピクチャを“未使用参照ピクチャ”とマーキングすることで実現することが望ましく、図4において線470で示すように、IDRピクチャ440を符号化および復号化する直前に行う。
上記IDRピクチャの特徴のうち第1の特徴、すなわちビデオデータに対しイントラ符号化のみを行うという特徴は、MPEG1やMPEG2等の、I型フレームを用いる従来の映像符号化規格の特徴と類似している。
上記特徴のうち第2の特徴は、従来の映像符号化規格では前例が見られない。従来の規格では、現在の符号化/復号化対象フレームより前に位置するフレームのうち最大1枚のフレームと、当該対象フレームより後に位置する1枚のフレームとを用いるといった所定の予測方式のみを用いる。これに対し、H.263++やH.264/AVC等の最新の映像符号化規格では、動き補償予測において複数の参照画像を用いる。このため、Iピクチャを1枚用いるだけでは、前に位置するフレームとのフレーム間の予測関係を断ち切ることができなくなっている。このため、図5に示すように、フレーム間のあらゆる予測関係をIDRピクチャを用いて新たに始めるために、“ブレークポイント”470を符号化/復号化処理に取り入れる。
しかしながら、IDRピクチャの使用には数々の問題が伴う。主要問題の1つとして符号化効率の低減が挙げられる。
そこで、本発明は、ビデオシーケンスをより効率的に圧縮することができる符号化方法、エンコーダ、復号化方法、及びデコーダを提供することを目的とする。
上記目的は、請求項1に記載の特徴を有する符号化方法と、請求項13に記載の特徴を有するエンコーダと、請求項23に記載の特徴を有する復号化方法と、請求項33に記載の特徴を有するデコーダとによって実現される。
本発明の第1の側面によれば、ビデオ画像のシーケンスを予測符号化する方法を提供する。前記符号化方法は、符号化対象画像の各画像領域と複数の参照画像の各画像領域との間の動きベクトルを決定するために動き検出を用いる。前記参照画像は前記画像シーケンスに含まれる符号化済みの画像である。前記方法においては、所定の各画像を除く画像の符号化の際に、前記画像シーケンスに含まれる全ての画像に対して動き検出が行われる。前記方法では、さらに、現在の参照画像が参照画像とならないように使用不可にされ、動き検出の対象とならない前記所定の画像を除く全ての現在の参照画像を使用不可にする処理は、動き検出の対象とならない画像のうち前記所定の画像の符号化後、所定の遅延の後で実行される。
本発明の第2の側面によれば、ビデオ画像のシーケンスを予測符号化するエンコーダを提供する。前記エンコーダは、マルチフレームバッファと、動き検出部と、バッファコントローラとを備える。前記マルチフレームバッファは、複数の参照画像を格納する。前記参照画像は、前記画像シーケンスに含まれる符号化済みの画像である。前記動き検出部は、符号化対象画像の各画像領域と複数の前記参照画像の各画像領域との間の動きベクトルを決定する。前記動き検出部は、符号化対象である前記画像シーケンスに含まれる画像のうち、所定の各画像を除く全ての画像に対して動き検出を行う。前記バッファコントローラは、現在の参照画像が参照画像とならないように使用不可にし、前記バッファコントローラは、動き検出の対象とならない前記所定の画像を除く全ての現在の参照画像を、動き検出の対象とならない前記所定の画像の画像が符号化された後、所定の遅延の後で使用不可にする。
本発明の第3の側面によれば、符号化済みビデオ画像のシーケンスを復号化する方法を提供する。前記復号化方法においては、復号化対象画像の画像領域を複数の参照画像の画像領域から予測するための動きベクトルに基づいて動き補償が行われる。前記参照画像は、前記画像シーケンスに含まれる復号化済みの画像である。前記方法においては、所定の各画像を除く画像の復号化の際に、前記画像シーケンスに含まれる全ての画像に対して動き補償が行われる。前記方法においては、さらに、動き検出の対象とならない前記所定の画像を除く全ての現在の参照画像が参照画像とならないように使用不可にされる。前記参照画像は、動き検出の対象とならない前記所定の各画像の画像が復号化された後、所定の遅延の後で使用不可にされる。
本発明の第4の側面によれば、符号化済みビデオ画像のシーケンスを復号化するデコーダを提供する。前記でコーダは、マルチフレームバッファと、動き補償部と、バッファコントローラとを備える。前記マルチフレームバッファは、複数の参照画像を格納する。前記参照画像は、符号化済みのビデオ画像のシーケンスに含まれる復号化済みの画像である。前記動き補償部は、復号化対象画像の各画像領域を、複数の前記参照画像の画像領域から予測する。前記動き補償部は、符号化済み画像の前記シーケンスに含まれる画像のうち、所定の各画像を除く全ての画像に対して動き補償を行う。前記バッファコントローラは、動き検出の対象とならない前記所定の画像を除く全ての現在の参照画像が参照画像とならないように使用不可にし、前記バッファコントローラは、動き補償の対象とならない前記所定のビデオ画像の画像が復号化された後、所定の遅延の後で前記参照画像を使用不可にする。
次に挙げる手法は本発明に特有の手法である。すなわち、動き検出および補償の対象とならない画像であるIDR画像を符号化/復号化する際に、従来の符号化/復号化規格に従い、マルチフレームバッファに格納されている参照画像を直ちには未使用参照画像としてマーキングしない。一方で、参照画像のリフレッシュ、すなわち前に位置する全ての参照画像を“未使用”としてマーキングする処理を、既定の遅延を設けて行う。その結果、IDRタイプ画像の前に位置するBタイプ画像を、それらの後に位置する当該IDRタイプ画像に依存して符号化/復号化できる。従って、IDRタイプ画像の持つ利点を損なうことなく符号化効率を向上できる。特に、前方に位置するBタイプ画像に対する逆方向参照を行っても、ランダムアクセスの特性に影響を与えない。
前記所定の遅延は、IDR画像の復号化の後であって、デコーダが参照画像を使用不可にすることによって参照画像のリフレッシュを行う前に位置するピクチャの数を示す、特定のピクチャ数として定義されることが望ましい。そのようなピクチャの数は、全てのIDR画像について事前に設定しても良いし、それぞれのIDR画像について個別に送信するとしても良い。
又は、デコーダ側で使用不可処理を行う、データの符号化ストリームにおける時間的位置に個別のリフレッシュフラグを挿入する。そのようなフラグによって、ビデオデータの符号化、すなわち採用されている画像タイプ符号化構造に応じて、複数の参照画像において使用不可処理を行うべき位置を調節できる。
さらに、IDRタイプ画像の後に位置するPタイプ画像を符号化/復号化する直前に使用不可処理を実行する。
本発明に係るさらに他の実施の形態は、従属請求項の主題として示される。
図6を参照して、本発明に特有である符号化および復号化処理方法について説明する。図6に示すビデオシーケンスの一部は、Pタイプ画像610及びこれに後続する3枚のBタイプ画像620を含む。従来の画像タイプ符号化/復号化の構成では後続するIDRタイプ画像(図4におけるIDR画像440を参照のこと)を参照しないが、本発明の符号化/復号化方法では、IDRタイプ画像630と、これより前に位置するBタイプ画像620とが相互依存性を持つことが可能である。この差分は、図6において、IDRタイプ画像630と、前に位置するBタイプ画像620とをつなぐ矢印670で強調される。
IDRタイプ画像630に後続する画像640及び650は、それぞれ矢印660で示すように、従来の符号化/復号化構造に応じて符号化される。IDRタイプ画像630以降の画像参照は、図4に示した構造例で示す画像参照に対応する。
図7は、本発明の符号化/復号化方法が表示順及び復号順(復号順は符号化順と同一)に与える影響を示す図である。表示順は図5に示す従来の手法の表示順に対応するが、IDRタイプ画像630とBタイプ画像620との間の相互依存性を考慮するため、復号順は並べ替えられている。このため、IDRタイプ画像630を参照する画像620より前の位置にIDRタイプ画像630が移動するように復号順を変更する。IDR画像は前に位置する画像との間の画像間予測に用いられるため、現在の参照画像(IDRタイプ画像を除く)を使用不可にする使用不可ステップを行う位置を後方に移動させる。
図8は参照画像に対して使用不可処理を行う位置の移動を示す図である。図8に示すように、復号化/符号化順における、IDRタイプ画像の時間的位置810と参照画像に対して使用不可処理を実行する時間的位置830との間には所定の遅延820がある。参照画像のリフレッシュを遅延させて行うことによって、画像P1及びIDR5と相互依存する画像B2、B3、及びB4の復号化が可能となる。これらBタイプ画像を復号化した後、IDRタイプ画像を除く全ての参照画像がリフレッシュされる、すなわち未使用としてマーキングされる。
参照画像のリフレッシュを実現するために様々な形態を用いることが可能であるが、以下のいずれかの形態を用いることが望ましい。
1つの形態として、遅延値をエンコーダがIDR画像データと共にデコーダに送出する。送出された遅延値によって、IDRピクチャの後に位置する使用不可にすべき参照画像の数が決定される。
別の形態として、参照ピクチャをリフレッシュする時間的位置830に対して個別のリフレッシュフラグを送信する。このフラグは、最後のIDRピクチャを除く全ての参照フィーチャが直ちにリフレッシュされるべきであること、すなわち“未使用としてマーキングされる”べきであることを示す。
さらに別の形態では、IDRピクチャに後続する最初のPピクチャの直前で参照ピクチャのリフレッシュを行う。この形態を用いることで、デコーダ側に追加情報を送る必要がなくなるという利点がある。
図9〜図12は、マルチフレームバッファ200における参照画像を“未使用”とマーキングする処理を示す図である。図9は、参照画像910を格納するマルチフレームバッファ200の構成を示す図である。図10に示すように、従来これらの参照画像945は、IDRタイプ画像130が符号化又は復号化されると直ちに“未使用”としてマーキングされる。
本発明は図9に対応する、図11に示されるマルチフレームバッファ200の構成を基本とするが、参照画像910は、IDRタイプ画像930以降の画像を符号化又は復号化する際に図12に示すように参照画像として残される。IDRタイプ画像の前に表示され、IDRタイプ画像と相互依存している未符号化/復号化の画像である限り、全ての参照画像は有効な参照画像である。IDRタイプ画像より前に表示される全ての画像の符号化又は復号化が終了すると、前に位置する参照画像945は、図10に示すように、未使用としてマーキングされる。このため、マルチフレームバッファ200は、参照画像を格納するためのメモリ領域300にそれぞれ割り当てるフラグ940を提供しても良い。
要約すると、本発明は、IDRタイプ画像より前に表示される画像間の画像間予測を可能とするために、符号化済み画像のシーケンスに含まれるIDRタイプ画像の時間的位置を基準として、参照画像のリフレッシュの実行を遅延させる。
本発明のその他の実施の形態及び効果は、発明の実施の形態を説明する添付図面とともに行なう説明から明らかである。
動き補償DPCMビデオエンコーダを示すブロック図
図1に示す動き検出/補償部の内部構造の例を示す図
図2に示すマルチフレームバッファの内部構造を示す図
従来技術に係る、ビデオシーケンスの一部の画像タイプ符号化/復号化構造の例を示す図
図4に示すビデオシーケンスの表示順及び復号順を示す図
本発明に係る、ビデオシーケンスの一部の画像タイプ符号化/復号化構造の例を示す図
図6に示す例に対応する符号化順及び復号順を示す図
本発明に係る、参照画像に対する使用不可処理に適用する遅延を示す図
マルチフレームバッファに格納される参照画像の例を示す図
参照画像に対する使用不可処理の実行後にマルチフレームバッファに格納されている参照画像の例を示す図
図9に係るマルチフレームバッファの例を示す図
本発明に係る、符号化又は復号化処理におけるマルチフレームバッファの例を示す図
Claims (42)
- ビデオ画像のシーケンス(110)を予測符号化する方法であって、当該符号化方法は、符号化対象画像の各画像領域と複数の参照画像(910)の各画像領域との間の動きベクトル(195)を動き検出を用いて決定し、前記参照画像(910)は前記画像シーケンス(110)に含まれる符号化済みの画像であり、前記方法は、
所定の各画像(630)を除く画像の符号化の際に、前記画像シーケンス(110)に含まれる全ての画像に対して動き検出を行うステップと、
現在の参照画像(945)を、参照画像とならないように使用不可にするステップとを含み、
前記使用不可にするステップは、
動き検出の対象とならない前記所定の各画像のうち1つの画像(630)の符号化後、所定の遅延(820)の後で実行され、
動き検出の対象とならない前記画像(930)を除く全ての現在の参照画像(945)を、参照画像とならないように使用不可にする
ことを特徴とする方法。 - 前記方法は、さらに、
前記画像シーケンス(110)に含まれる、動き検出の対象とならない前記所定の画像(630)より前に位置するBタイプ画像(620)を符号化するステップを含み、
前記Bタイプ画像(620)は、動き検出の対象とならない前記所定の画像(630)を参照する
ことを特徴とする請求項1に記載の方法。 - 前記所定の遅延(820)は、動き検出の対象とならない前記画像(630)の符号化と、前記使用不可にするステップの実行との間にある画像の特定数を示す
ことを特徴とする請求項1又は請求項2に記載の方法。 - 前記方法は、さらに、
遅延値を、動き検出の対象とならない前記画像(630)の符号化済み画像データ(180)に付加するステップを含み、前記遅延値は、前記使用不可にするステップの実行前の前記所定の遅延(820)を示す
ことを特徴とする請求項1〜請求項3のいずれか1項に記載の方法。 - 前記方法は、さらに、
フラグを、符号化済み画像データ(180)に対して挿入するステップを含み、前記フラグは、デコーダ側で前記使用不可にするステップを実行する前記画像シーケンス(110)における位置(830)を示す
ことを特徴とする請求項1〜請求項3のいずれか1項に記載の方法。 - 前記フラグは、動き検出の対象とならない前記画像(630)の画像データの位置(810)から所定の画像数後ろの位置(830)にある前記符号化済み画像データ(180)に挿入される
ことを特徴とする請求項5に記載の方法。 - 前記使用不可にするステップは、
動き検出の対象とならない前記画像(630)の符号化後、最初のPタイプ画像(650)の符号化の直前に実行される
ことを特徴とする請求項1〜請求項3のいずれか1項に記載の方法。 - 前記複数の参照画像(910、930)は、マルチフレームバッファ(200)に格納される
ことを特徴とする請求項1〜請求項7のいずれか1項に記載の方法。 - 前記使用不可にするステップでは、
前記マルチフレームバッファ(200)における前記参照画像(910)を、動き検出において参照されない画像としてマーキングすることで使用不可にする
ことを特徴とする請求項8に記載の方法。 - 前記方法は、さらに、
前記使用不可にするステップが実行されると、動き検出において使用されない画像としてマーキングされた参照画像(945)を、前記マルチフレームバッファ(200)における新しい参照画像データで上書きするステップを含む
ことを特徴とする請求項9に記載の方法。 - 前記方法は、さらに、
前記使用不可にするステップが実行されると、動き検出において使用されない画像としてマーキングされた参照画像(945)を、前記マルチフレームバッファ(200)から削除するステップを含む
ことを特徴とする請求項9に記載の方法。 - 動き検出の対象とならない前記所定の画像(630)は、当該画像(630)における空間的冗長性の利用に基づいて符号化される
ことを特徴とする請求項1〜請求項11のいずれか1項に記載の方法。 - ビデオ画像のシーケンス(110)を予測符号化するエンコーダであって、
前記画像シーケンス(110)に含まれる符号化済みの画像である複数の参照画像(910)を格納するマルチフレームバッファ(200)と、
符号化対象画像の各画像領域と複数の前記参照画像(910)の各画像領域との間の動きベクトル(195)を決定し、所定の各画像(630)を除く画像の符号化の際に、前記画像シーケンス(110)に含まれる全ての画像に対して動き検出を行う動き検出部(220)と、
現在の参照画像(945)を、参照画像とならないように使用不可にするバッファコントローラ(230)とを備え、
前記バッファコントローラ(230)は、
動き検出の対象とならない前記所定の各画像のうち1つの画像(630)の符号化後、所定の遅延(820)の後に前記参照画像(945)を使用不可にし、
動き検出の対象とならない前記画像(930)を除く全ての現在の参照画像(945)を、参照画像とならないように使用不可にする
ことを特徴とするエンコーダ。 - 前記方法検出部(220)は、さらに、
前記画像シーケンス(110)に含まれる、動き検出の対象とならない前記所定の画像(630)より前に位置するBタイプ画像(620)を符号化し、
前記Bタイプ画像(620)は、動き検出の対象とならない前記所定の画像(630)を参照する
ことを特徴とする請求項13に記載のエンコーダ。 - 前記所定の遅延(820)は、動き検出の対象とならない前記画像(630)の符号化と、前記参照画像(945)に対する前記使用不可処理との間にある画像の特定数を示す
ことを特徴とする請求項13又は請求項14に記載のエンコーダ。 - 前記エンコーダは、さらに、
遅延値を、動き検出の対象とならない前記画像(630)の符号化済み画像データ(180)に付加する挿入部を備え、前記遅延値は、前記参照画像(945)を使用不可にする前の前記所定の遅延(820)を示す
ことを特徴とする請求項13〜請求項15のいずれか1項に記載のエンコーダ。 - 前記エンコーダは、さらに、
フラグを、符号化済み画像データ(180)に対して挿入する挿入部を備え、前記フラグは、デコーダ側で前記参照画像(945)を使用不可にする時間的位置(830)を示す
ことを特徴とする請求項13〜請求項15のうちいずれか1項に記載のエンコーダ。 - 前記挿入部は、
前記フラグを、動き検出の対象とならない前記画像(630)の画像データの位置(810)より所定の画像数後ろの位置(830)にある前記符号化済み画像データ(180)に挿入する
ことを特徴とする請求項17に記載のエンコーダ。 - 前記バッファコントローラ(230)は、
動き検出の対象とならない前記画像(630)が符号化された後、最初のPタイプ画像(650)が符号化される直前に前記参照画像(945)を使用不可にする
ことを特徴とする請求項13〜請求項15のいずれか1項に記載のエンコーダ。 - 前記マルチフレームバッファ(200)は、
各前記参照画像(910)について、動き検出において参照しない画像として画像(945)をマーキングするためのマーク(940)を格納する
ことを特徴とする請求項12〜請求項19のいずれか1項に記載のエンコーダ。 - マーキングされた参照画像(945)は、前記マーク(940)に基づき、新しい画像データで上書きされる
ことを特徴とする請求項12〜請求項20のいずれか1項に記載のエンコーダ。 - 前記エンコーダは、さらに、
動き検出の対象とならない前記画像(630)を、当該画像(630)における空間的冗長性の利用に基づいて符号化する符号化手段を備える
ことを特徴とする請求項12〜請求項21のいずれか1項に記載のエンコーダ。 - 符号化されたビデオ画像のシーケンス(180)を復号化する方法であって、当該復号化方法は、復号化対象画像の画像領域を複数の参照画像(910)の画像領域から予測するための動きベクトル(195)に基づいた動き補償を用い、前記参照画像(910)は、前記画像シーケンスに含まれる復号化済みの画像であり、前記方法は、
所定の各画像(630)を除く画像の復号化の際に、前記画像シーケンスに含まれる全ての画像に対して動き補償を行うステップと、
現在の参照画像(945)を、参照画像とならないように使用不可にするステップとを含み、
前記使用不可にするステップは、
動き検出の対象とならない前記所定の各画像のうち1つの画像(630)の復号化後、所定の遅延(820)の後で実行され、
動き検出の対象とならない前記画像(930)を除く全ての現在の参照画像(945)を、参照画像とならないように使用不可にする
ことを特徴とする方法。 - 前記方法は、さらに、
前記画像シーケンスに含まれる、動き補償の対象とならない前記所定の画像(630)より前に表示されるBタイプ画像(620)を復号化するステップを含み、
前記Bタイプ画像(620)は、動き補償の対象とならない前記所定の画像(630)を参照する
ことを特徴とする請求項23に記載の方法。 - 前記所定の遅延(820)は、動き補償の対象とならない前記画像(630)の復号化を行う時間的位置(810)と、前記使用不可にするステップを実行する時間的位置(830)との間にある画像の特定数を示す
ことを特徴とする請求項23又は請求項24に記載の方法。 - 前記使用不可にするステップは、
動き検出の対象とならない前記画像(630)の符号化済み画像データ(180)に付加された遅延値に応じて実行される
ことを特徴とする請求項23〜請求項25のいずれか1項に記載の方法。 - 前記使用不可にするステップは、
現在の復号化対象画像の符号化済み画像データ(180)に対して付加されたフラグに応じて実行され、前記フラグは、デコーダ側で前記使用不可にするステップを実行する、前記画像シーケンスにおける位置(830)を示す
ことを特徴とする請求項23〜請求項25のいずれか1項に記載の方法。 - 前記使用不可にするステップは、
動き補償の対象とならない前記画像(630)の復号化の後、最初のPタイプ画像(650)の復号化の直前に実行される
ことを特徴とする請求項23〜請求項25のいずれか1項に記載の方法。 - 前記複数の参照画像(910)は、マルチフレームバッファ(200)に格納されている
ことを特徴とする請求項23〜請求項28のいずれか1項に記載の方法。 - 前記使用不可にするステップにおいて、
前記マルチフレームバッファ(200)に格納されている現在の前記参照画像(945)を、動き補償において参照されない画像としてマーキングする
ことを特徴とする請求項29に記載の方法。 - 前記方法は、さらに、
前記使用不可にするステップが実行されると、動き補償において使用されない画像としてマーキングされた参照画像(945)を、前記マルチフレームバッファ(200)における新しい参照画像データで上書きするステップを含む
ことを特徴とする請求項30に記載の方法。 - 前記方法は、さらに、
前記使用不可にするステップが実行されると、動き補償において使用されない画像としてマーキングされた参照画像(945)を、前記マルチフレームバッファ(200)から削除するステップを含む
ことを特徴とする請求項30に記載の方法。 - 符号化済みのビデオ画像のシーケンス(180)を復号化するデコーダであって、
前記符号化済みのビデオ画像シーケンスに含まれる復号化済みの画像である複数の参照画像(910)を格納するマルチフレームバッファ(200)と、
復号化対象画像の画像領域を複数の前記参照画像(910)の画像領域から予測し、所定の各画像(630)を除く画像の復号化の際に、前記符号可済み画像のシーケンスに含まれる全ての画像に対して動き補償を行う動き補償部(210)と、
現在の参照画像(945)を、参照画像とならないように使用不可にするバッファコントローラ(230)とを備え、
前記バッファコントローラ(230)は、
動き補償の対象とならない前記所定の各画像のうち1つの画像(630)の復号化後、所定の遅延(820)の後に前記参照画像(945)を使用不可にし、
動き補償の対象とならない前記画像(930)を除く全ての現在の参照画像(945)を、参照画像とならないように使用不可にする
ことを特徴とするデコーダ。 - 前記補償部(210)は、さらに、
前記符号化済みのビデオ画像のシーケンスに含まれる、動き検出の対象とならない前記所定の画像(630)より前に位置するBタイプ画像(620)を復号化し、
前記Bタイプ画像(620)は、動き補償の対象とならない前記所定の画像(630)を参照する
ことを特徴とする請求項33に記載のデコーダ。 - 前記所定の遅延(820)は、動き補償の対象とならない前記画像(630)の復号化と、前記参照画像(945)に対する前記使用不可処理との間にある画像の特定数を示す
ことを特徴とする請求項13又は請求項14に記載のデコーダ。 - 前記デコーダは、さらに、
動き補償の対象とならない前記画像(630)の符号化済み画像データに付加された遅延値を検出する検出部を備え、前記遅延値は、前記参照画像(945)を使用不可にするための前記遅延(820)を示す
ことを特徴とする請求項33〜請求項35のいずれか1項に記載のデコーダ。 - 前記デコーダは、さらに、
前記符号化済み画像データに付加されたフラグを検出する検出部を備え、前記フラグは、前記参照画像(945)を使用不可にするための前記時間的位置(830)を示す
ことを特徴とする請求項33〜請求項35のいずれか1項に記載のデコーダ。 - 前記バッファコントローラ(230)は、
動き補償の対象とならない前記画像(630)が復号化された後、最初のPタイプ画像(650)が復号化される直前に前記参照画像(945)を使用不可にする
ことを特徴とする請求項33〜請求項35のいずれか1項に記載のデコーダ。 - 前記マルチフレームバッファ(200)には、
各前記参照画像(910)について、動き補償において参照されない画像として参照画像(945)をマーキングするためのマーク(940)が格納されている
ことを特徴とする請求項33〜請求項38のいずれか1項に記載のデコーダ。 - マーキングされた参照画像(945)は、前記マーク(940)に基づき、新しい画像データで上書きされる
ことを特徴とする請求項39に記載のデコーダ。 - クレーム1及び/又はクレーム23に記載の全てのステップを実行するコード手段を備えるコンピュータプログラム。
- クレーム1及び/又はクレーム23に記載の全てのステップを実行するコンピュータ読み取り可能なプログラムコードが実装された、コンピュータ読み取り可能な媒体を備えるコンピュータプログラム製品。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP03015477A EP1496707A1 (en) | 2003-07-09 | 2003-07-09 | Encoding and decoding of video images with delayed reference picture refresh |
| PCT/EP2004/005575 WO2005006763A1 (en) | 2003-07-09 | 2004-05-24 | Encoding and decoding of video images with delayed reference picture refresh |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2007507128A true JP2007507128A (ja) | 2007-03-22 |
Family
ID=33442765
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2006517987A Pending JP2007507128A (ja) | 2003-07-09 | 2004-05-24 | 参照ピクチャのリフレッシュを遅延させて行うビデオ画像の符号化および復号化 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US20060140271A1 (ja) |
| EP (1) | EP1496707A1 (ja) |
| JP (1) | JP2007507128A (ja) |
| WO (1) | WO2005006763A1 (ja) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2011115045A1 (ja) * | 2010-03-17 | 2011-09-22 | 株式会社エヌ・ティ・ティ・ドコモ | 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法、及び動画像予測復号プログラム |
| US8731065B2 (en) | 2008-01-24 | 2014-05-20 | Nec Corporation | Dynamic image stream processing method and device, and dynamic image reproduction device and dynamic image distribution device using the same |
| JP2014132759A (ja) * | 2014-01-30 | 2014-07-17 | Ntt Docomo Inc | 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法、及び動画像予測復号プログラム |
| JP2015133742A (ja) * | 2015-03-16 | 2015-07-23 | 株式会社Nttドコモ | 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法、及び動画像予測復号プログラム |
| JP2016184978A (ja) * | 2016-07-22 | 2016-10-20 | 株式会社Nttドコモ | 動画像予測復号方法及び動画像予測復号装置 |
| JP2018026872A (ja) * | 2017-10-16 | 2018-02-15 | 株式会社Nttドコモ | 動画像予測復号方法及び動画像予測復号装置 |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008500760A (ja) * | 2004-05-25 | 2008-01-10 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | ディジタルビデオデータをエンコードする方法及び装置 |
| US8023568B2 (en) * | 2005-04-15 | 2011-09-20 | Avid Technology, Inc. | Capture, editing and encoding of motion pictures encoded with repeating fields or frames |
| US8155185B2 (en) * | 2005-12-05 | 2012-04-10 | Canon Kabushiki Kaisha | Image coding apparatus and method |
| CN101321284B (zh) * | 2007-06-10 | 2012-01-04 | 华为技术有限公司 | 一种编解码方法、设备及系统 |
| US9648325B2 (en) * | 2007-06-30 | 2017-05-09 | Microsoft Technology Licensing, Llc | Video decoding implementations for a graphics processing unit |
| KR100939917B1 (ko) | 2008-03-07 | 2010-02-03 | 에스케이 텔레콤주식회사 | 움직임 예측을 통한 부호화 시스템 및 움직임 예측을 통한부호화 방법 |
| US20120287999A1 (en) * | 2011-05-11 | 2012-11-15 | Microsoft Corporation | Syntax element prediction in error correction |
| US9819949B2 (en) | 2011-12-16 | 2017-11-14 | Microsoft Technology Licensing, Llc | Hardware-accelerated decoding of scalable video bitstreams |
| US9979958B2 (en) * | 2012-04-20 | 2018-05-22 | Qualcomm Incorporated | Decoded picture buffer processing for random access point pictures in video sequences |
| US9479776B2 (en) | 2012-07-02 | 2016-10-25 | Qualcomm Incorporated | Signaling of long-term reference pictures for video coding |
| US9351011B2 (en) * | 2012-11-28 | 2016-05-24 | Intel Corporation | Video pipeline with direct linkage between decoding and post processing |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08265774A (ja) * | 1995-03-27 | 1996-10-11 | Sony Corp | 画像圧縮方法及び画像圧縮装置 |
| US6570922B1 (en) * | 1998-11-24 | 2003-05-27 | General Instrument Corporation | Rate control for an MPEG transcoder without a priori knowledge of picture type |
-
2003
- 2003-07-09 EP EP03015477A patent/EP1496707A1/en not_active Withdrawn
-
2004
- 2004-05-24 JP JP2006517987A patent/JP2007507128A/ja active Pending
- 2004-05-24 US US10/559,133 patent/US20060140271A1/en not_active Abandoned
- 2004-05-24 WO PCT/EP2004/005575 patent/WO2005006763A1/en not_active Ceased
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8731065B2 (en) | 2008-01-24 | 2014-05-20 | Nec Corporation | Dynamic image stream processing method and device, and dynamic image reproduction device and dynamic image distribution device using the same |
| US9113171B2 (en) | 2010-03-17 | 2015-08-18 | Ntt Docomo Inc. | Moving image prediction encoding/decoding system |
| KR20130016289A (ko) * | 2010-03-17 | 2013-02-14 | 가부시키가이샤 엔.티.티.도코모 | 동화상 예측 부호화 장치, 동화상 예측 부호화 방법, 동화상 예측 부호화 프로그램, 동화상 예측 복호 장치, 동화상 예측 복호 방법, 및 동화상 예측 복호 프로그램 |
| JP2011199396A (ja) * | 2010-03-17 | 2011-10-06 | Ntt Docomo Inc | 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法、及び動画像予測復号プログラム |
| WO2011115045A1 (ja) * | 2010-03-17 | 2011-09-22 | 株式会社エヌ・ティ・ティ・ドコモ | 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法、及び動画像予測復号プログラム |
| US10715829B2 (en) | 2010-03-17 | 2020-07-14 | Ntt Docomo, Inc. | Moving image prediction encoding/decoding system |
| US10298953B2 (en) | 2010-03-17 | 2019-05-21 | Ntt Docomo, Inc | Moving image prediction encoding/decoding system |
| KR101640872B1 (ko) | 2010-03-17 | 2016-07-19 | 가부시키가이샤 엔.티.티.도코모 | 동화상 예측 부호화 장치, 동화상 예측 부호화 방법, 동화상 예측 부호화 프로그램, 동화상 예측 복호 장치, 동화상 예측 복호 방법, 및 동화상 예측 복호 프로그램 |
| US10567794B2 (en) | 2010-03-17 | 2020-02-18 | Ntt Docomo, Inc. | Moving image prediction encoding/decoding system |
| KR20170066709A (ko) * | 2010-03-17 | 2017-06-14 | 가부시키가이샤 엔.티.티.도코모 | 동화상 예측 부호화 장치, 동화상 예측 부호화 방법, 동화상 예측 부호화 프로그램, 동화상 예측 복호 장치, 동화상 예측 복호 방법, 및 동화상 예측 복호 프로그램 |
| KR101747195B1 (ko) * | 2010-03-17 | 2017-06-14 | 가부시키가이샤 엔.티.티.도코모 | 동화상 예측 부호화 장치, 동화상 예측 부호화 방법, 동화상 예측 부호화 프로그램, 동화상 예측 복호 장치, 동화상 예측 복호 방법, 및 동화상 예측 복호 프로그램 |
| US10390042B2 (en) | 2010-03-17 | 2019-08-20 | Ntt Docomo, Inc. | Moving image prediction encoding/decoding system |
| KR101867461B1 (ko) * | 2010-03-17 | 2018-06-14 | 가부시키가이샤 엔.티.티.도코모 | 동화상 예측 부호화 장치, 동화상 예측 부호화 방법, 동화상 예측 부호화 프로그램, 동화상 예측 복호 장치, 동화상 예측 복호 방법, 및 동화상 예측 복호 프로그램 |
| US10178407B2 (en) | 2010-03-17 | 2019-01-08 | Ntt Docomo, Inc | Moving image prediction encoding/decoding system |
| JP2014132759A (ja) * | 2014-01-30 | 2014-07-17 | Ntt Docomo Inc | 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法、及び動画像予測復号プログラム |
| JP2015133742A (ja) * | 2015-03-16 | 2015-07-23 | 株式会社Nttドコモ | 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法、及び動画像予測復号プログラム |
| JP2016184978A (ja) * | 2016-07-22 | 2016-10-20 | 株式会社Nttドコモ | 動画像予測復号方法及び動画像予測復号装置 |
| JP2018026872A (ja) * | 2017-10-16 | 2018-02-15 | 株式会社Nttドコモ | 動画像予測復号方法及び動画像予測復号装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| EP1496707A1 (en) | 2005-01-12 |
| WO2005006763A1 (en) | 2005-01-20 |
| US20060140271A1 (en) | 2006-06-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102058759B1 (ko) | 디코딩된 픽쳐 버퍼 및 참조 픽쳐 목록들에 관한 상태 정보의 시그널링 기법 | |
| JP6318158B2 (ja) | 参照ピクチャ・リスト変更情報の条件付きシグナリング | |
| EP3244613B1 (en) | Video encoding and decoding with improved error resilience | |
| US6819714B2 (en) | Video encoding apparatus that adjusts code amount by skipping encoding of image data | |
| US9473790B2 (en) | Inter-prediction method and video encoding/decoding method using the inter-prediction method | |
| US20070199011A1 (en) | System and method for high quality AVC encoding | |
| JP2007507128A (ja) | 参照ピクチャのリフレッシュを遅延させて行うビデオ画像の符号化および復号化 | |
| EP1383339A1 (en) | Memory management method for video sequence motion estimation and compensation | |
| US9113174B2 (en) | Predictive coding apparatus, control method thereof, and computer program | |
| EP1134981A1 (en) | Automatic setting of optimal search window dimensions for motion estimation | |
| KR20070033364A (ko) | 디지털 비디오 데이터 인코딩 방법 및 장치 | |
| JP2002027483A (ja) | 画像符号化装置、画像復号化装置および記憶媒体 | |
| JPH06350995A (ja) | 動画像処理方法 | |
| JP2010130402A (ja) | 映像符号化装置及び映像復号化装置 | |
| US9491483B2 (en) | Inter-prediction method and video encoding/decoding method using the inter-prediction method | |
| JP3387985B2 (ja) | 動画像伝送装置 | |
| US8358694B2 (en) | Effective error concealment in real-world transmission environment | |
| JPH06276482A (ja) | 画像信号符号化方法、装置、復号化方法及び装置 | |
| EP1387587A1 (en) | Image encoder and decoder with error concealment of motion vector losses | |
| JP2006295705A (ja) | 動画像符号化装置、動画像復号化装置、動画像符号化方法、動画像復号化方法、動画像符号化プログラム及び動画像復号化プログラム |