JP2012186847A - 複数の参照ピクチャの高速動き推定 - Google Patents
複数の参照ピクチャの高速動き推定 Download PDFInfo
- Publication number
- JP2012186847A JP2012186847A JP2012124742A JP2012124742A JP2012186847A JP 2012186847 A JP2012186847 A JP 2012186847A JP 2012124742 A JP2012124742 A JP 2012124742A JP 2012124742 A JP2012124742 A JP 2012124742A JP 2012186847 A JP2012186847 A JP 2012186847A
- Authority
- JP
- Japan
- Prior art keywords
- reference pictures
- picture
- image block
- reference picture
- scene
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 claims abstract description 32
- 230000008859 change Effects 0.000 claims abstract description 14
- 238000001514 detection method Methods 0.000 claims abstract description 8
- 238000004891 communication Methods 0.000 claims description 14
- 238000010586 diagram Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 12
- 230000006835 compression Effects 0.000 description 9
- 238000007906 compression Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 7
- 230000008901 benefit Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 101100458287 Saguinus oedipus MSPE gene Proteins 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 229910003460 diamond Inorganic materials 0.000 description 1
- 239000010432 diamond Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000004615 ingredient Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 238000010845 search algorithm Methods 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/142—Detection of scene cut or scene change
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/58—Motion compensation with long-term prediction, i.e. the reference frame for a current frame not being the temporally closest one
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
【課題】複数の参照ピクチャを備える高速動き推定の装置、及び対応する方法を提供する。
【解決手段】複数の参照ピクチャに対して、画像ブロックのビデオ信号データを符号化する例示的なビデオ符号器(100)は、シーン変更に及ぶ参照ピクチャを除外する一方で高速動き推定を行うシーン検出部分を含む、参照ピクチャのうちの1つに相当する動きベクトルを供給する高速動き推定器(180)を含む。複数の参照ピクチャを有する画像ブロックのビデオ信号データを符号化する、対応する方法(200)は、ほぼ非圧縮の画像ブロックを受信する工程(210)と、シーン変更を検出する工程(215)と、シーン変更に及ぶ参照ピクチャを除外する工程(225)と、画像ブロックと、複数の参照ピクチャのうちの1つとの間の差に相当する動きベクトルを計算する工程(235)とを含む。
【選択図】図2
【解決手段】複数の参照ピクチャに対して、画像ブロックのビデオ信号データを符号化する例示的なビデオ符号器(100)は、シーン変更に及ぶ参照ピクチャを除外する一方で高速動き推定を行うシーン検出部分を含む、参照ピクチャのうちの1つに相当する動きベクトルを供給する高速動き推定器(180)を含む。複数の参照ピクチャを有する画像ブロックのビデオ信号データを符号化する、対応する方法(200)は、ほぼ非圧縮の画像ブロックを受信する工程(210)と、シーン変更を検出する工程(215)と、シーン変更に及ぶ参照ピクチャを除外する工程(225)と、画像ブロックと、複数の参照ピクチャのうちの1つとの間の差に相当する動きベクトルを計算する工程(235)とを含む。
【選択図】図2
Description
本出願によって、内容全体を本明細書及び特許請求の範囲に援用する、「FAST MOTION ESTIMATION FOR MULTIPLE REFERENCE PICTURES」と題する西暦2004年8月31日付け出願の米国仮出願第60/605,903号(代理人整理番号PU040241)の利益を主張する。
本発明は、ビデオ符号器に関し、特に、ビデオ符号器における複数の参照ピクチャの動き推定アルゴリズムに関する。
ビデオ・データは一般に、ビット・ストリームの形式で処理され、転送される。通常のビデオ圧縮符号器は、符号化する対象のピクチャの参照ピクチャ予測を構成し、現在のピクチャと、予測との間の差を符号化することによってその圧縮効率の大部分を得る。現在のピクチャと予測との相関が高いほど、そのピクチャの圧縮に必要なビット数は減少し、それによって、処理の効率が向上する。よって、構成する対象の参照ピクチャ予測は可能な限り最良のものであることが望ましい。
動画像専門家グループ(「MPEG」)−1、MPEG−2及びMPEG−4を含む多くのビデオ圧縮標準では、先行参照ピクチャと現在のピクチャとの間の動きが、先行参照ピクチャの動き補償バージョンを構成するよう推定される。先行参照ピクチャの動き補償バージョンを現在のピクチャの予測に用い、現在のピクチャと、予測との間の差のみが符号化される。
動き推定は、現在のビデオ符号化システムにおいて重要な役割を果たし、一般に、符号器の中で計算量が最も大きい部分である。ブロック・マッチング・アルゴリズムが、現在の大半のビデオ符号化標準によって利用されている。ブロック単位で動きの量を推定する完全なサーチのストラテジは、一般的な動き推定手法である。残念ながら、完全なサーチのストラテジの計算量は、特に、高度なビデオ符号化標準(H.264など。複数の参照ピクチャ、及びマルチブロックのタイプを利用する)の場合、非常に大きい。いくつかの高速サーチ・アルゴリズム(3ステップ・サーチ、より新たな3ステップ・サーチ、ダイアモンド・サーチ、ゾーン・サーチ、階層やマルチ分解能サーチなど)、又はそれらの組み合わせが提案されている。前述のアルゴリズムは、サーチ点の数を削減することによって計算量を削減する。残念ながら、前述のアルゴリズムは、エラー面上の局所最小値にトラップされる傾向にある。よって、その性能は一般に、完全なサーチのストラテジよりも悪い。
ブロック動き推定が、ビット・レートを削減するために、現在の大半のビデオ符号化標準によって利用されている。ビデオ符号化のためのブロック動き推定は、かなり調べられている。しかし、複数参照ピクチャ及びマルチブロック・タイプの選択に提案されているアルゴリズムはあまりない(例えば、H.263++標準やJVT/H.264/MPEG AVC標準において用いることができるものなど)。
JVT/H.264標準では、動き補償に種々のモードが備えられている。各動き補償マクロブロック・モードは、固定サイズのブロックに対応する。ブロックは、16x16、16x8、8x16及び8x8にパーティション化することが可能である。8x8ブロックは、8x4、4x8又は4x4のブロック・サイズに更にサブパーティション化することが可能である。よって、合計7個のブロック・タイプがサポートされる。予測符号化されたmxn個のブロック毎の予測信号は、対応する参照ピクチャの領域を変位させることによって得られる。これは、動きベクトル予測子から差分符号化される平行移動動きベクトルによって規定される。JVT/H.264は、マルチピクチャ動き補償予測もサポートする。すなわち、先行して符号化された2つ以上のピクチャを、予測符号化ブロックの予測信号の構築のための参照として用いることが可能である。よって、動き推定の場合、符号器は、選択すべきブロック・タイプ及び参照ピクチャに関する決定を行わなければならない。この複数参照ピクチャ及びマルチブロック・タイプの選択によって、動きサーチが更に複雑化する。
より良好な圧縮を達成するために、複数の参照ピクチャをビデオ符号化に用いる。例えば、JVT/H.264標準によって、最大15個の参照フレームを用いることが可能である。通常、予測ブロックの動きベクトルは、参照ピクチャ全てから算出され、次いで、ブロックに最良の仮現予測(apparent prediction)が選ばれる。よって、この例では、上記動き推定処理の計算量負荷は、単一の参照ピクチャのものの最大15倍になり得る。このことによって、更に多くの参照フレームを用いること、符号器の計算量を増加させること、又はソフトウェア符号化速度を下げることが妨げられる。
残念ながら、複数の参照ピクチャの低速及び/又は大量の計算は、システムの性能及び/又は費用それぞれに不利な影響を及ぼす。予測ブロックの動き推定は、参照ピクチャ全てに施されるからである。よって、複数の参照ピクチャを用いる動き推定処理の速度を増加させる方法が必要である。
従来技術の前述並びにその他の欠点及び弱点は、ビデオ符号器において複数の参照ピクチャを用いる高速動き推定の装置及び方法によって解決される。
参照ピクチャのうちの1つに対応する動きベクトルを供給する高速動き推定器と、シーン変更に及ぶ参照ピクチャを除外する一方で高速動き推定を行うシーン検出部分とを含む、複数の参照ピクチャに対して画像ブロックのビデオ信号データを符号化するビデオ符号器を提供する。
ほぼ非圧縮の画像ブロックを受信する工程と、シーン変更を検出する工程と、シーン変更に及ぶ参照ピクチャを除外する工程と、画像ブロックと、複数の参照ピクチャのうちの1つとの間の差に相当する動きベクトルを計算する工程とを含む、複数の参照ピクチャを有する画像ブロックのビデオ信号データを符号化する、対応する方法を提供する。
本発明の前述並びにその他の局面、特徴及び利点は、添付図面とともに検討するものとする、以下の、例示的な実施例の説明から明らかになるであろう。
本発明は、以下の例示的な図によって、ビデオ符号器の、複数の参照ピクチャの高速動き推定を提供する。
本発明は、複数の参照ピクチャを備える高速動き推定の装置及び方法である。本発明の実施例は、ビデオ圧縮を達成するために、複数の参照ピクチャの高速動き推定に用いられる。複数の参照ピクチャからブロックが予測される場合、動き推定は、前述の参照ピクチャから行われる。したがって、本発明の前述の実施例では、動きサーチの計算量負荷を削減することができる。
好ましい実施例では、シーン検出が、シーン変更に及ぶ参照フレームが何らないように用いられる。最も近い参照フレームからの予測が算出される。最も遠い参照フレームは、バッファ・サイズによって判定される。現在の推定が十分であるか否かを判定するために閾値を用いる。
本明細書は、本発明の原理を例証するに過ぎない。よって、本明細書及び特許請求の範囲に明示的に説明されているものでないか、又は示されているものでないが、本発明の原理を実施し、その趣旨及び範囲内に含まれる種々の配置を当業者が考え出すことができるであろうことが分かる。更に、本明細書及び特許請求の範囲記載の、例、及び条件付き文言は全て、特に、技術を促進するために本願の発明者が寄与する、本発明の原理及び概念の理解を支援するという説明の目的のためであるに過ぎないことが主に意図されており、前述の特に記載された例及び条件に対する限定がないものと解されることとする。更に、本発明の原理、局面及び実施例、並びにその特定の例を記載した、本明細書及び特許請求の範囲内の記載は全て、その構造的な均等物及び機能的な均等物を包含することが意図されている。更に、現在知られている均等物、及び、将来において開発される均等物(構造に係わらず、同じ機能を行う、開発された何れかの構成要素)を前述の均等物が含むことが意図されている。
よって、例えば、本明細書記載の構成図が、本発明の原理を実施する例証的な回路の概念図を表すことは当業者によって分かるであろう。同様に、コンピュータ又はプロセッサを明示的に示しているか否かに係わらず、コンピュータ読み取り可能媒体において実質的に表し、コンピュータ又はプロセッサによってそのように実行することができる種々の処理を、何れかのフローチャート、フロー図、状態遷移図、疑似コード、及び同様なものが表すことが分かるであろう。
図に示す種々の構成要素の機能は、専用ハードウェア、並びに適切なソフトウェアと関連してソフトウェアを実行することができるハードウェアを用いることによって備えることができる。プロセッサによって備えられる場合、機能は、単一の専用プロセッサによって、単一の共有プロセッサによって、又は複数の個々のプロセッサ(一部は共有され得る)によって備えることができる。更に、「プロセッサ」又は「コントローラ」の語を明示的に用いていることは、ソフトウェアを実行することができるハードウェアを排他的に表すものと解されないものとし、ディジタル信号プロセッサ(「DSP」)ハードウェア、ソフトウェアを記憶するリード・オンリー・メモリ(「ROM」)、ランダム・アクセス・メモリ(「RAM」)、及び不揮発性記憶装置を限定なしで暗黙的に含み得る。他のハードウェア(通常のハードウェア及び/又はカスタム)も含むことができる。同様に、図に示すスイッチは何れも、概念的なものに過ぎない。その機能は、プログラム・ロジックの処理によって、専用ロジックによって、若しくはプログラム制御と専用ロジックとの相互作用によって行うことができ、又は手作業によっても行うことができる。特定の手法は、意味合いから、より具体的に理解されるように実施者によって選択可能である。
本願の特許請求の範囲では、特定された機能を行う手段として記載された構成要素は何れも、上記機能を行う何れかの手段(例えば、a)その機能を行う回路要素の組み合わせ、b)何れかの形態のソフトウェア(よって、上記機能を行うために上記ソフトウェアを実行する適切な回路と組み合わせた、ファームウェア、マイクロコード、又は同様なものを含む)を含む)を包含することが意図されている。前述の特許請求の範囲記載の本発明は、特許請求の範囲が要求するやり方で、記載された種々の手段によって提供される機能が組み合わせられ、集約されることにある。よって、出願人は、前述の機能を提供することが可能な如何なる手段も、本明細書及び特許請求の範囲記載のものと均等であるものとする。
図1に示すように、複数の参照ピクチャの高速動き推定を備えるビデオ符号器は、参照符号100によって全体を示す。符号器100への入力が、信号通信によって加算接続部110の非反転入力と接続される。加算接続部110の出力が、信号通信によってブロック変換器120と接続される。変換器120は、信号通信によって量子化器130と接続される。量子化器130の出力は、信号通信によって可変長符号器(「VLC」)140と接続される。VLC140の出力は、外部で利用可能な、符号器100の出力である。
量子化器130の出力は、信号通信によって逆量子化器150と更に接続される。逆量子化器150は、信号通信によって逆ブロック変換器160と接続される。逆ブロック変換器160は同様に、信号通信によって参照ピクチャ記憶装置170と接続される。参照ピクチャ記憶装置170の第1の出力は、信号通信によって、複数の参照ピクチャの高速動き推定器180の第1の入力と接続される。符号器100への入力は、信号通信によって高速動き推定器180の第2の入力と更に接続される。
本明細書記載の本発明は概念的に動き推定ブロックの一部である。しかし、複数の参照ピクチャに対する別個の高速動き推定部分が、他の実施例における動き推定器部分に供給することができ、上記部分間のシグナリングが、どの動作点の検査を必要とするか、又は必要としないかを示すことが分かる。高速サーチ・ブロック・マッチング動き推定器180の出力は、信号通信によって動き補償器190の第1の出力と接続される。参照ピクチャ記憶装置170の第2の出力は、信号通信によって動き推定器190の第2の入力と接続される。動き補償器190の出力は、信号通信によって加算接続部110の反転入力と接続される。
図2に移れば、本発明による、複数の参照ピクチャの高速動き推定を備える例示的な符号化処理全体を参照符号200によって示す。本明細書及び特許請求の範囲記載の語「ブロック」は、概括的な意味を有しており、例えば、マクロブロック、ブロック、サブブロック、又はサブブロック・パーティションを意味し得る。処理200は、次のピクチャを符号器非圧縮バッファに読み込む入力工程210を有しており、機能工程215に制御を移す。工程215は、シーン変更が生じたか否かを検出し、機能工程220に制御を移す。
工程220は、ピクチャをイントラ・ピクチャとして符号化すべきか、又はインター・ピクチャとして符号化すべきかを検査する。これは、符号器の設定によって変わってくる。ピクチャのイントラ符号化が強いられる場合、参照ピクチャは何ら用いられず、制御は工程230に移される。さもなければ、制御は工程225に移される。工程225では、前述のピクチャの直前の参照ピクチャが、このピクチャと同じシーン内にあるか否かを検査する。否定の場合、Pピクチャ位置にあるか、又はBピクチャ位置にあるかに応じて、シーン変更においてイントラ・ピクチャを作成するよう符号器が設定された場合、このピクチャはイントラ符号化され得る。そして、制御は工程230に移る。工程230では、ピクチャはイントラ符号化される。さもなければ、制御は工程235に移る。工程235では、インター符号化ブロック毎に、このピクチャの直前の参照ピクチャからの動きベクトルが算出される。双方向符号化ブロックの場合、次の参照ピクチャからの動きベクトルも算出される。重み付け関数が用いられる場合、このピクチャの直前の第2の参照ピクチャからの動きベクトルも、この参照ピクチャが、符号化対象ピクチャと同じシーン内にあれば、算出される。
次に、制御が工程240に移る。工程240は、動きベクトル精度が充足されるか否か、又はエラー信号が十分小さいか否かを検査する。充足される場合、このブロックの動き推定はもう必要なく、制御は工程245に移る。さもなければ、制御は工程250に移る。工程245では、ブロックは、適宜、インター符号化されるか、又は飛ばされる。工程250は、符号化対象のピクチャと同じシーンに属する、バッファ内の最も遠くにある利用可能参照ピクチャを探索する。通常、この参照ピクチャは短期のものであるが、他の実施例では、長期の参照ピクチャは排除されるものでない。次に、工程255は、前述の参照ピクチャが存在しないかを判定し、否定の場合、制御を工程260に移す。さもなければ、制御は工程265に移る。工程260は、このブロックが、イントラ符号化されるか、インター符号化されるか、又は飛ばされるかを判定するのに用いる。それぞれの費用が算出され、比較される。
工程265では、この参照ピクチャから動きベクトルが算出される。例えば、双方向予測であるか、又は重み付けられるかによって、他の参照ピクチャから動きベクトルを算出することもできる。工程270では、動きベクトル精度が充足される場合、インター符号化が行われる。イントラ符号化か、又はインター符号化かについての決定は、一部の場合、なお行うことができる。工程275では、動きベクトル精度が充足されない場合、エラー信号は、他の参照ピクチャからのものと比較するために保存される。次いで、次の参照ピクチャが選択される。参照ピクチャを選択する手法は違ったものであり得る。例示的な実施例の1つを本明細書において説明するが、当業者は他の同等な手法によって置き換えることができる。工程280ではブロックがインター符号化され、制御は工程285に移る。工程285は、ピクチャ内に更なるブロックが存在している場合に、次のブロックを符号化し、さもなければ、次のピクチャを符号化する。
次に図3に移れば、本発明の原理による、複数の参照ピクチャのデータ・ダイヤグラム全体を参照符号300によって示す。データ・ダイヤグラム300は、シーンに相当し、現在のピクチャ302、非参照ピクチャ304、参照ピクチャ310、311、312、313、314、315、316、317、318及び319、並びにシーン変更320を含む。
図4に示すように、本発明の原理による、複数の参照ピクチャの別データ・ダイヤグラム全体を参照符号400によって示す。データ・ダイヤグラム400は、シーンに相当し、現在のピクチャ402、非参照ピクチャ404、参照ピクチャ410、411、412、414及び418、並びにシーン変更420を含む。
より良好な圧縮(JVT標準の場合に最大15個の参照フレームなど)を達成するために、複数の参照ピクチャをビデオ符号化に用いる。予測ブロックの動きベクトルは、参照ピクチャ全てから算出することが可能であり、次いで、そのブロックに最良の予測を選ぶことが可能である。よって、動き推定の計算量負荷は、1つの参照ピクチャの場合の15倍になり得る。
動作上、本発明の実施例によって、複数の参照ピクチャの圧縮の利点も高速動き推定の圧縮の利点も達成される。好ましい実施例は、シーン検出、及び賢明に選ばれた参照ピクチャを利用し、十分になると動き推定処理を終結させる。
シーン検出は、シーン変更を検出するために利用される。例えば、絶対差閾値平均シーン検出(「AADTSD」)は次にように実施される。すなわち、
(式1)
であり、
ここで、AADは絶対差の平均であり、Nはピクチャ内の画素数であり、Piは現在のピクチャ内の画素iの成分の値であり、Priは参照ピクチャ内の値である。全ての成分を用いることが可能である。すなわち、
(式2)である。
であり、
ここで、AADは絶対差の平均であり、Nはピクチャ内の画素数であり、Piは現在のピクチャ内の画素iの成分の値であり、Priは参照ピクチャ内の値である。全ての成分を用いることが可能である。すなわち、
ここで、Mは、成分数(1乃至4)である。
当業者によって認識されるように、ここで、シーン検出の種々の他の形態によって、例示的なAADTSD手法を置き換えることができる。
絶対差の平均が閾値よりも大きい場合、現在のピクチャと参照ピクチャは別々のシーンに属する。さもなければ、同じシーン内にある。現在のピクチャ、及び参照ピクチャが、隣接しており、別々のシーンに属する場合、それらの間にシーン変更が存在している。閾値は、予め設定することが可能であるか、又は、適応的に変えることが可能である。
例示的な実施例は、参照ピクチャを選択するために次の基準を用いる。参照ピクチャは常に、予測ピクチャと同じシーンに属する。前述の参照ピクチャが何ら存在しない場合、予測ピクチャはイントラ・ピクチャとして符号化される。最も近い参照ピクチャの動きは、存在している場合、常に算出される。
最も遠い参照ピクチャは、符号化バッファ・サイズ、又はバッファ内に記憶可能なピクチャの数によって判定される。例えば、バッファが、5個の参照ピクチャを収容することが可能である場合、最も近い5個の参照ピクチャを記憶することが可能である。別の実施例を図3に示す。ここで、シーン320の最も遠いピクチャ、すなわち第1のピクチャ319、及び最も近い参照ピクチャ310乃至318が記憶される。更なる例を図4に示す。ここで、図4に示すように、第1の参照ピクチャからの距離が2n(n=0,1,2,…)である参照ピクチャ(ref0、ref1、ref2、ref4など)を動き推定に用いることが可能である。
動き推定サーチは、最も近い参照ピクチャ(すなわち、ref0)から始まる。特定のブロックの場合、予測エラー(「PE」)が限度内の場合、更なる動き推定は何ら必要なく、又は行われない。PEは、例えば、絶対差和(「SAD」)、又は平均2乗予測エラー(「MSPE」)によって算出することが可能であるが、置換する算出を当業者によって用いることができる。PEが閾値を超える場合、2つのオプションが存在する。一方のオプションは、最も遠い参照ピクチャを用いて、予測を算出し、次いで、必要な場合、最も近い参照ピクチャに向けて実施することである。他方のオプションは、最も近い参照ピクチャを用い、次いで、必要な場合、最も遠い参照ピクチャに向けて実施することである。
本発明の実施例の計算量上の節減は、他のアプリケーション(例えば、サーチ範囲を拡張するか、又は他の利用に、アルゴリズムをよりうまく適合させること)に適用することが可能である。本発明の実施例は、動き推定(例えば、H.261、H.263、H.264、MPEG−1、MPEG−2やMPEG−4など)を利用する多くの種々のビデオ圧縮標準に直接用いることが可能である。
本発明の前述並びにその他の特徴及び利点は、本明細書及び特許請求の範囲記載の教示に基づいて当業者によって容易に確かめることができる。本発明の原理は、ハードウェア、ソフトウェア、ファームウェア、特定用途向プロセッサ、又はこれらの組み合わせの種々の形態で実施することができる。
最も好ましくは、本発明の原理はハードウェア及びソフトウェアの組み合わせとして実施される。更に、ソフトウェアは好ましくは、プログラム記憶装置上に有形的に実施されたアプリケーション・プログラムとして実現される。アプリケーション・プログラムは、何れかの適切なアーキテクチャを備えるマシンにアップロードし得るものであり、かつ、前述のマシンによって実行し得る。好ましくは、マシンは、ハードウェア(1つ又は複数の中央処理装置(「CPU」)、ランダム・アクセス・メモリ(「RAM」)や入出力(「I/O」)インタフェースなど)を有するコンピュータ・プラットフォーム上に実現される。コンピュータ・プラットフォームは、オペレーティング・システム及びマイクロ命令コードも含み得る。本明細書及び特許請求の範囲記載の種々の処理及び機能は、マイクロ命令コードの一部若しくはアプリケーション・プログラムの一部、又はそれらの何れかの組み合わせ(CPUによって実行することができる)であり得る。更に、種々の他の周辺装置(更なるデータ記憶装置や印刷装置など)をコンピュータ・プラットフォームに接続することができる。
更に、添付図面に表した構成システム部分及び構成方法の一部は好ましくはソフトウェアで実現されるので、システム構成部分間又は処理機能ブロック間の実際の接続は、本発明がプログラムされるやり方によって変わり得る。本明細書及び特許請求の範囲に記載の教示を前提とすれば、当業者は、本発明の前述及び同様の実現形態又は構成を考え出すことができるであろう。
添付図面を参照して例証的な実施例を本明細書及び特許請求の範囲において説明したが、本発明は前述のまさにその実施例に限定されるものでなく、本発明の範囲又は趣旨から逸脱することなく、当業者によって種々の変更及び修正を行うことができる。前述の変更及び修正は全て、特許請求の範囲記載の本発明の範囲内に含まれることが意図されている。
100 ビデオ符号器
180 高速動き推定器
180 高速動き推定器
Claims (22)
- 複数の参照ピクチャに対して、画像ブロックのビデオ・データを符号化するビデオ符号器であって、前記複数の参照ピクチャのうちの1つに対応する動きベクトルを供給する高速動き推定器を備え、前記高速動き推定器は、シーン変更に及ぶ参照ピクチャを除外する一方で高速動き推定を行うシーン検出部分を備え、前記画像ブロックと同じシーンに属する参照ピクチャが存在しない場合、前記画像ブロックに前記ビデオ・データにイントラ符号化を使用するビデオ符号器。
- 請求項1記載のビデオ符号器であって、前記複数の参照ピクチャのうちの1つに対する動き予測が十分か否かを判定する閾値部分を更に備えるビデオ符号器。
- 請求項1記載のビデオ符号器であって、最も近い参照ピクチャからの予測が算出されるビデオ符号器。
- 請求項1記載のビデオ符号器であって、最も遠い参照ピクチャからの予測が算出されるビデオ符号器。
- 請求項4記載のビデオ符号器であって、前記最も遠い参照ピクチャが、バッファ・サイズによって判定されるビデオ符号器。
- 請求項1記載のビデオ符号器であって、前記高速動き推定は、絶対差の和、又は平均二乗予測エラーを使用することによって行われるビデオ符号器。
- 請求項1記載のビデオ符号器であって、前記複数の参照ピクチャのうちの前記1つを供給するために、前記高速動き推定器と信号通信する参照ピクチャ記憶装置を更に備えるビデオ符号器。
- 請求項1記載のビデオ符号器であって、前記高速動き推定器に応じて動き補償参照ピクチャを供給するために、前記高速動き推定器と信号通信する動き補償器を更に備えるビデオ符号器。
- 複数の参照ピクチャを有する画像ブロックのビデオ・データを符号化する方法であって、
ほぼ非圧縮の画像ブロックを受信する工程と、
シーン変更を検出する工程と、
前記シーン変更に及ぶ参照ピクチャを除外する工程と、
前記画像ブロックと、前記複数の参照ピクチャのうちの1つとの間の差に対応する動きベクトルを計算する工程と、
前記画像ブロックと同じシーンに属する参照ピクチャが存在しない場合、イントラ符号化を使用して前記画像ブロックの前記ビデオ・データを符号化する工程と
を含む方法。 - 請求項9記載の方法であって、
前記複数の参照ピクチャのうちの前記1つの予測エラーを計算する工程と、
前記計算された予測エラーを閾値と比較する工程と、
前記予測エラーが前記閾値を超える場合に前記複数の参照ピクチャのうちの別の1つを選択する工程とを更に備える方法。 - 複数の参照ピクチャに対して、画像ブロックのビデオ信号データを符号化するよう適合させた、請求項9記載の方法であって、
前記複数の参照ピクチャのうちの別の1つを現在のシーンから選択する工程と、
前記複数の参照ピクチャのうちの前記別の1つに対応する動きベクトルを計算する工程と、
前記複数の参照ピクチャのうちの前記別の1つの予測エラーを計算する工程とを更に備える方法。 - 請求項11記載の方法であって、
前記計算された予測エラーを閾値と比較する工程と、
前記予測エラーが前記閾値を超える場合に現在のピクチャをイントラ符号化する工程とを更に備える方法。 - 請求項10記載の方法であって、
前記複数の参照ピクチャのうちの前記1つの前記計算された予測エラーを前記複数の参照ピクチャの前記別の1つの前記計算された予測エラーと比較する工程と、
前記計算された予測エラーがより低い参照ピクチャを選択する工程とを更に備える方法。 - 請求項9記載の方法であって、前記複数の参照ピクチャのうちの前記1つが、現在のシーン内の現在のピクチャに最も近い参照ピクチャとして選択される方法。
- 請求項9記載の方法であって、前記複数の参照ピクチャのうちの前記1つが、現在のシーン内の現在のピクチャから最も遠い参照ピクチャとして選択される方法。
- 請求項10記載の方法であって、前記複数の参照ピクチャのうちの前記選択された前記別の1つが、現在のシーン内の現在のピクチャに最も近い参照ピクチャの次に近い参照ピクチャである方法。
- 請求項10記載の方法であって、前記複数の参照ピクチャのうちの前記選択された前記別の1つが、XのN乗に相当する位置だけ、前記複数の参照ピクチャのうちの前記1つから変位させられた次の参照ピクチャである方法。
- Xが2であり、Nが整数である請求項17記載の方法。
- 請求項9記載の方法であって、前記複数の参照ピクチャの数が15である方法。
- 請求項10記載の方法であって、前記予測エラーは、絶対差の和、及び平均二乗予測エラーのうちの少なくとも一方に応じる方法。
- 請求項9記載の方法であって、
現在のシーン内の前記複数の参照ピクチャのうちの前記1つに対応する前記画像ブロックのブロック・マッチングを行う工程と、
前記動きベクトルに対応する前記複数の参照ピクチャのうちの前記1つを動き補償する工程とを更に備える方法。 - 複数の参照ピクチャを有する画像ブロックのビデオ・データを符号化する装置であって、
ほぼ非圧縮の画像ブロックを受信する手段と、
シーン変更を検出する手段と、
前記シーン変更に及ぶ参照ピクチャを除外する手段と、
前記画像ブロックと、前記複数の参照ピクチャのうちの1つとの間の差に対応する動きベクトルを計算する手段と、
前記画像ブロックと同じシーンに属する参照ピクチャが存在しない場合、イントラ符号化を使用して前記画像ブロックの前記ビデオ・データを符号化する手段と
を備える装置。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US60590304P | 2004-08-31 | 2004-08-31 | |
| US60/605,903 | 2004-08-31 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007529829A Division JP2008512046A (ja) | 2004-08-31 | 2005-06-07 | 複数の参照ピクチャの高速動き推定 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2012186847A true JP2012186847A (ja) | 2012-09-27 |
Family
ID=34971740
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007529829A Pending JP2008512046A (ja) | 2004-08-31 | 2005-06-07 | 複数の参照ピクチャの高速動き推定 |
| JP2012124742A Pending JP2012186847A (ja) | 2004-08-31 | 2012-05-31 | 複数の参照ピクチャの高速動き推定 |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007529829A Pending JP2008512046A (ja) | 2004-08-31 | 2005-06-07 | 複数の参照ピクチャの高速動き推定 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US9253493B2 (ja) |
| EP (1) | EP1784984A1 (ja) |
| JP (2) | JP2008512046A (ja) |
| KR (1) | KR101200924B1 (ja) |
| CN (1) | CN101010963B (ja) |
| WO (1) | WO2006025904A1 (ja) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060146929A1 (en) * | 2005-01-06 | 2006-07-06 | Lg Electronics Inc. | Method and system for acceleration of lossy video encoding owing to adaptive discarding poor-informative macroblocks |
| US7957610B2 (en) * | 2006-04-11 | 2011-06-07 | Panasonic Corporation | Image processing method and image processing device for enhancing the resolution of a picture by using multiple input low-resolution pictures |
| US8228991B2 (en) * | 2007-09-20 | 2012-07-24 | Harmonic Inc. | System and method for adaptive video compression motion compensation |
| US20100303155A1 (en) * | 2008-01-29 | 2010-12-02 | Yuki Maruyama | Image coding device, image coding method, image coding integrated circuit and image coding program |
| US20100220786A1 (en) * | 2009-02-27 | 2010-09-02 | Hong Kong Applied Science and Technology Research Institute Company Limited | Method and apparatus for multiple reference picture motion estimation |
| US8855205B2 (en) | 2010-05-26 | 2014-10-07 | Newratek Inc. | Method of predicting motion vectors in video codec in which multiple references are allowed, and motion vector encoding/decoding apparatus using the same |
| US12114009B2 (en) * | 2021-09-22 | 2024-10-08 | Tencent America LLC | Method and apparatus for adaptive reordering for reference frames |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001078196A (ja) * | 1999-09-03 | 2001-03-23 | Nec Corp | 動画像符号化方法及び動画像符号化装置 |
| JP2004040512A (ja) * | 2002-07-03 | 2004-02-05 | Matsushita Electric Ind Co Ltd | 画像符号化方法および画像復号方法 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6870884B1 (en) | 1992-01-29 | 2005-03-22 | Mitsubishi Denki Kabushiki Kaisha | High-efficiency encoder and video information recording/reproducing apparatus |
| US5592226A (en) * | 1994-01-26 | 1997-01-07 | Btg Usa Inc. | Method and apparatus for video data compression using temporally adaptive motion interpolation |
| JPH08307860A (ja) * | 1995-04-28 | 1996-11-22 | Toshiba Corp | シーン再エンコード装置 |
| JPH10271514A (ja) * | 1997-03-23 | 1998-10-09 | Tadayoshi Enomoto | 動画像情報の信号処理方法及びその装置 |
| CN1650633A (zh) | 2002-04-29 | 2005-08-03 | 皇家飞利浦电子股份有限公司 | 用于小波编码的基于多参考帧的运动补偿时间过滤 |
| KR100491530B1 (ko) * | 2002-05-03 | 2005-05-27 | 엘지전자 주식회사 | 모션 벡터 결정 방법 |
| WO2004004359A1 (en) * | 2002-07-01 | 2004-01-08 | E G Technology Inc. | Efficient compression and transport of video over a network |
| EP1422928A3 (en) | 2002-11-22 | 2009-03-11 | Panasonic Corporation | Motion compensated interpolation of digital video signals |
| WO2004064373A2 (en) * | 2003-01-09 | 2004-07-29 | The Regents Of The University Of California | Video encoding methods and devices |
| EP1588548B1 (en) * | 2003-01-28 | 2010-10-13 | Thomson Licensing | Robust mode staggercasting |
-
2005
- 2005-06-07 EP EP05756212A patent/EP1784984A1/en not_active Ceased
- 2005-06-07 US US11/660,473 patent/US9253493B2/en active Active
- 2005-06-07 KR KR1020077004216A patent/KR101200924B1/ko not_active Expired - Lifetime
- 2005-06-07 JP JP2007529829A patent/JP2008512046A/ja active Pending
- 2005-06-07 CN CN2005800291557A patent/CN101010963B/zh not_active Expired - Lifetime
- 2005-06-07 WO PCT/US2005/019852 patent/WO2006025904A1/en not_active Ceased
-
2012
- 2012-05-31 JP JP2012124742A patent/JP2012186847A/ja active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001078196A (ja) * | 1999-09-03 | 2001-03-23 | Nec Corp | 動画像符号化方法及び動画像符号化装置 |
| JP2004040512A (ja) * | 2002-07-03 | 2004-02-05 | Matsushita Electric Ind Co Ltd | 画像符号化方法および画像復号方法 |
Non-Patent Citations (1)
| Title |
|---|
| JPN6010048005; Yu-Wen Huang, Bing-Yu Hsieh, Tu-Chih Wang, Shao-Yi Chien, Shyh-Yih Ma, Chun-Fu Shen, and Liang-Gee C: 'Analysis and reduction of reference frames for motion estimation in MPEG-4 AVC/JVT/H.264' Proceedings of 2003 International Conference on Multimedia and * |
Also Published As
| Publication number | Publication date |
|---|---|
| US20080063065A1 (en) | 2008-03-13 |
| CN101010963B (zh) | 2012-07-04 |
| EP1784984A1 (en) | 2007-05-16 |
| WO2006025904A1 (en) | 2006-03-09 |
| CN101010963A (zh) | 2007-08-01 |
| KR20070046882A (ko) | 2007-05-03 |
| KR101200924B1 (ko) | 2012-11-14 |
| US9253493B2 (en) | 2016-02-02 |
| JP2008512046A (ja) | 2008-04-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN1723706B (zh) | 用于宏块分割部分的混合块间/块内编码的装置和方法 | |
| JP2012186847A (ja) | 複数の参照ピクチャの高速動き推定 | |
| JP5224459B2 (ja) | 動き補償予測のための適応重み選択を行う方法および装置 | |
| JP5474838B2 (ja) | 改善された効率及び主観的な品質をサポートする予測フレームの選択方法及び装置 | |
| JP4724351B2 (ja) | 画像符号化装置、画像符号化方法、画像復号装置、画像復号方法、および通信装置 | |
| CN101099394B (zh) | 用于视频编码器中b帧的快速模式决策的方法和装置 | |
| JP5897218B2 (ja) | 映像符号化方法、およびこの方法を用いる映像符号化装置 | |
| JP2011528533A (ja) | 動き推定反復検索のための推測的開始点選択 | |
| CN100555253C (zh) | 利用快速搜索块匹配的运动估计 | |
| JP2010220265A (ja) | ビデオ・エンコーダにおける参照画像の陰解法による重みづけ | |
| TW200942045A (en) | Method for video coding | |
| JP2011528534A (ja) | 動き推定反復検索のための簡単な次検索位置選択 | |
| CN108989818B (zh) | 一种图像编码参数调整方法及装置 | |
| WO2011075096A1 (en) | Method and apparatus for bi-directional prediction within p-slices | |
| JP2009260421A (ja) | 動画像処理システム、符号化装置、符号化方法、符号化プログラム、復号化装置、復号化方法および復号化プログラム | |
| JP2010268199A (ja) | 動画像符号化方法、動画像符号化装置、及び、画像符号化プログラム | |
| JP5513333B2 (ja) | 動画像符号化装置、動画像符号化方法、およびプログラム | |
| CN119363979B (zh) | 帧类型确定方法、装置、电子设备及存储介质 | |
| JP2004140794A (ja) | 画像符号化方法および画像符号化装置 | |
| Lixin et al. | A Fast Block-Matching Motion Estimation Algorithm For H. 264/AVC | |
| JP2007259206A (ja) | 動画像符号化装置および動画像符号化プログラム | |
| KR20090108567A (ko) | 동화상 처리 시스템, 부호화 장치, 부호화 방법, 복호화 장치, 복호화 방법, 및 기억 매체 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130213 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130226 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130523 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20140107 |
