JPH09154134A - ビデオ信号処理方式 - Google Patents

ビデオ信号処理方式

Info

Publication number
JPH09154134A
JPH09154134A JP8248143A JP24814396A JPH09154134A JP H09154134 A JPH09154134 A JP H09154134A JP 8248143 A JP8248143 A JP 8248143A JP 24814396 A JP24814396 A JP 24814396A JP H09154134 A JPH09154134 A JP H09154134A
Authority
JP
Japan
Prior art keywords
matrix
dct
block
array
spatial frequency
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP8248143A
Other languages
English (en)
Other versions
JP3469724B2 (ja
Inventor
Ahmad Sadjadian
アマド サジャディアン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Europe BV United Kingdom Branch
Original Assignee
Sony United Kingdom Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony United Kingdom Ltd filed Critical Sony United Kingdom Ltd
Publication of JPH09154134A publication Critical patent/JPH09154134A/ja
Application granted granted Critical
Publication of JP3469724B2 publication Critical patent/JP3469724B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10Complex mathematical operations
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10Complex mathematical operations
    • G06F17/14Fourier, Walsh or analogous domain transformations, e.g. Laplace, Hilbert, Karhunen-Loeve, transforms
    • G06F17/147Discrete orthonormal transforms, e.g. discrete cosine transform, discrete sine transform, and variations therefrom, e.g. modified discrete cosine transform, integer transforms approximating the discrete cosine transform
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10Complex mathematical operations
    • G06F17/16Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Software Systems (AREA)
  • Algebra (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Discrete Mathematics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

(57)【要約】 【課題】 所要のアレイによって重ねられる映像空間周
波数係数の入力アレイから映像空間周波数係数の出力ア
レイを発生する改良された方式を得ること。 【解決手段】 入力アレイにマトリックス乗算される
と、入力アレイの重ねられる部分を出力アレイの重ねる
位置に翻訳したものを与える翻訳マトリックスに、所定
の空間周波数変換を施して得られる係数をもつ1以上の
マトリックスを各入力アレイにマトリックス乗算する手
段180と、重ねられる入力アレイから発生されたマト
リックス積をマトリックス加算する手段190とを設け
る。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、周波数領域信号の
処理、詳しくは、空間周波数領域におけるビデオ信号処
理方式(方法及び装置)に関するものである。
【0002】
【従来の技術】送信又は記憶すべき一連の映像(例えば
フィールド又はフレーム)を表すデータの量を減らすた
め、動き推定が多くのビデオ信号処理システム、詳しく
はビデオ圧縮システムにおいて使用されている。この利
益は、ビデオ信号列にはしばしば多くの冗長性が存在す
るために得ることができるものである。詳しくいうと、
映像の多くの部分は、映像毎に同じ位置に留まるか或い
は単に変位するにすぎない。よって、或るフレームの程
よい複製を前のフレームの適正に選択された領域から構
成することができる。この前のフレームを本明細書では
参照フレームと呼ぶ。
【0003】このタイプの処理のため、フレームを一般
に、マクロ(大きい)ブロックとして知られている正方
形又は長方形の領域(ピクセルのアレイ)に分割してい
る。例えば、或る以前に提案された方式では、マクロブ
ロックは16×16のピクセルアレイより成っている。
各マクロブロックに対し、1以上の動きベクトルが計算
されて送信又は記憶されている。動きベクトルは、その
マクロブロックの内容に最もよく似た、前のフレームの
領域を指している。
【0004】復号器で、動きベクトルは、誤差データ
(実際の又は元のフレームと、動きベクトルを使って参
照フレームから予告された複製との差を表す。)と共に
各フレームを再構成するのに使用される。
【0005】符号化器で動きベクトルを計算する過程
は、一般に動き推定(motion estimation)と呼ばれ、複
製又は再構成されたフレームを発生する過程は、一般に
動き補正(motion compensation)と呼ばれる。
【0006】動きを基にした処理を用いる多くのビデオ
圧縮方式も、ビデオデータに存在する冗長性を更に減ら
そうとしており、そのやり方は、まず空間領域データ
を、該ビデオデータの種々異なる空間周波数成分を表
す、対応する周波数領域係数の組に変換し、それからこ
れらの係数を量子化することによって情報量を減らす、
というものである。ビデオデータを周波数領域へ及びこ
れよりビデオデータに変換する通常の技法は、離散コサ
イン変換(DCT)である。
【0007】離散コサイン変換はブロックを基にした処
理であるから、DCT係数のアレイは、映像内の他のマ
クロブロックとは無関係に、各マクロブロックから発生
される。通常、該係数のアレイ(以下、DCTブロック
という。)は原マクロブロックと同じサイズ(即ち、要
素の数が同じ)である。
【0008】したがって、異なるブロック構造に基くD
CT係数のブロックを発生する必要があるときは、DC
Tデータを復号して空間(ピクセル)データに戻し、そ
れから所要のブロック構造に従って符号化し直す必要が
ある。これは、処理がプロセッサに集中され、多くの時
間を要する。
【0009】
【発明が解決しようとする課題】よって、本発明の課題
は、異なるブロック構造に基くDCT係数ブロックを発
生する場合、DCTデータを復号して空間領域で再符号
化することなく、DCT領域で発生できるようにするこ
とである。
【0010】
【課題を解決するための手段】本発明は、所要のアレイ
によって重ねられる映像空間周波数係数の入力アレイか
ら映像空間周波数係数の出力アレイを発生する方法であ
って、該空間周波数係数が所定の空間周波数変換によっ
て映像ピクセル値に変換可能なものである、上記の方法
を提供する。その方法は、所定の空間周波数変換の逆変
換を夫々の翻訳マトリックスに適用することによって得
られる係数をもつ1以上の夫々のマトリックスを各入力
アレイにマトリックス乗算するステップであって、上記
翻訳マトリックスは、当該入力アレイにマトリックス乗
算されると、当該入力アレイの重ねられる部分を出力ア
レイの重ねる位置に翻訳したものを与えるものである、
上記のステップと、重ねられた各入力アレイから発生さ
れた夫々のマトリックス積をマトリックス加算するステ
ップとを含む。
【0011】本発明は、DCT係数の如き空間周波数係
数の特徴、即ち、幾つかの係数の入力アレイと重なる所
要のアレイを、出力アレイ内のアレイ位置によって重ね
られる各入力アレイを適当なプリ(前)又はポスト
(後)マトリックスとマトリックス乗算することにより
簡単に発生できるという直観に反する特徴の認識に基い
ている。
【0012】これは、DCT領域において動き補正を実
行できることを意味する。このことは、例えば、或るG
OP(画像グループ)フォーマットを他のGOPフォー
マットに変換する如き応用例において極めて有用となる
可能性がある。
【0013】所定の空間周波数変換は、逆離散コサイン
変換であるのがよい。
【0014】動き補正技法に使うには、上記方法が、出
力アレイに関連する動きベクトルに応答して出力アレイ
によって重ねられる入力アレイの部分を検出するステッ
プを含むのがよい。
【0015】上記1以上のマトリックスは、前乗算マト
リックス(pre-multiplying matrix)及び後乗算マトリ
ックス(post-multiplying matrix)を含むのがよい。
【0016】本発明はまた、所要アレイによって重ねら
れる映像空間周波数の入力アレイから映像空間周波数係
数の出力アレイを発生するビデオ信号処理装置であっ
て、該空間周波数係数は、所定の空間周波数変換によっ
て映像ピクセル値に変換可能なものである、上記の装置
を提供する。その装置は、上記所定の空間周波数変換の
逆変換を夫々の翻訳マトリックスに適用することによっ
て得られる係数をもつ1以上の夫々のマトリックスを各
入力アレイにマトリックス乗算する手段であって、上記
翻訳マトリックスは、当該入力アレイにマトリックス乗
算されると、当該入力アレイの重ねられた部分を出力ア
レイ内の重ねる位置に翻訳したものを与えるものであ
る、上記の手段と、重ねられた入力アレイの各々から発
生された夫々のマトリックス積をマトリックス加算する
手段とを具える。
【0017】
【発明の実施の形態】以下、図面を参照して本発明を具
体的に説明する。
【0018】図1は、以前に提案されたビデオデータ圧
縮装置を示す模式図である。図1において、入力(未圧
縮)ビデオデータはまず動き推定器10に供給され、該
推定器は、現在のフィールド又はフレームの各マクロブ
ロックに対する動きベクトルで、前(先行)及び(又
は)後(後続)のフィールド又はフレームの、当該マク
ロブロックに最もよく似た部分を示す動きベクトルを発
生する。
【0019】現在のマクロブロックと、参照フィールド
又はフレーム(単数又は複数)の該動きベクトルが指す
部分との差が、DCT符号化器20内で離散コサイン変
換(DCT)によって符号化される。DCT符号化器2
0は、各マクロブロックに関連する差データからDCT
係数のアレイ又はブロックを発生する。
【0020】終わりに、DCT係数のブロックは符号化
器30に供給され、該符号化器30は、DCT係数を量
子化し、ランレングス及びエントロピー(例えばハフマ
ン)符号化を行って、圧縮されたビデオデータのデータ
ストリームを発生する。
【0021】図2は、以前に提案された相補的なビデオ
データ伸長(圧縮復号)装置を示す模式図で、この装置
は、図1の装置により出力される圧縮されたビデオデー
タの圧縮を解除(復号)する動作をする。
【0022】図2において、圧縮されたビデオデータは
まず、図1の符号化器30と相補的な動作をする復号器
40に供給される。したがって、詳しくいえば、復号器
40は、逆エントロピー符号化、逆ランレングス符号化
及び逆量子化を行って、その出力にDCT係数のブロッ
クを発生する。
【0023】これらDCT係数のブロックは、DCT係
数を空間ビデオ情報に変換する逆DCT符号化器50に
供給される。逆DCT符号化器50の出力は、現在のマ
クロブロックと、該マクロブロックと関連する動きベク
トルが指している参照フレーム(単数又は複数)のピク
セルのブロックとの差を表す。したがって、動き補正の
段階60が、該動きベクトルによって指されるブロック
(単数又は複数)を得てそれらを差データと結合し、出
力ビデオデータを発生するのに必要である。
【0024】図3は、ピクセルのブロックを表すビデオ
データからの離散コサイン変換(DCT)係数の発生を
模式的に示すものである。詳しくは、図3のAは、8×
8ピクセル80のブロック70に分割された映像の一部
を示す(他の実施態様では、勿論異なるサイズのブロッ
クを使用できる。)。
【0025】DCT処理は、ほかの所で詳しく述べられ
ており、それによって8×8DCT係数100のブロッ
ク90が発生される(図3のB)。DCT係数の各ブロ
ック90は、原映像の対応する夫々のブロック70の空
間周波数内容を表し、この点が重要である。換言する
と、映像ブロック70とDCTブロック90との間に1
対1のマッピング(対応)がある。DCT処理は、ブロ
ック構造に関して自給自足的であるから、特定のDCT
ブロック90の係数は、当該係数ブロックに対応する特
定ブロック70以外の入力映像のブロック70内のピク
セルによって影響されない。
【0026】図4は、本発明の実施態様によるビデオデ
ータ伸長装置を示す模式図である。実のところ、図4は
本発明技法の1応用例のみを示し、それに含まれる原理
を説明するためのものである。これらの技法の他の応用
例は、あとで述べる。
【0027】図4において、圧縮されたビデオデータは
まず復号器40(図2に用いたものと同一でよい。)に
供給され、そこで、図1の符号化器30に対し相補的な
動作が行われる。したがって、前述の如く、復号器40
は、逆エントロピー符号化、逆ランレングス符号化及び
逆量子化を行って、その出力にDCT係数のブロックを
発生する。
【0028】しかし、図2の装置と対照的に、DCT係
数のブロックは動き補正器110に供給され、該補正器
は、後述する技法を用いてDCTデータについて動き補
正を行う。
【0029】終わりに、動き補正されたDCTデータ
は、図2の逆DCT符号化器と類似又は同一の逆DCT
符号化器50に供給される。
【0030】DCT(空間周波数)領域における動き補
正の新しい技法の目標は、復号器40から出力されるD
CTデータ及び最初に図1の動き推定器10によって発
生される動きベクトルを用いて、最終映像の8×8マク
ロブロック毎に、空間周波数領域において当該マクロブ
ロックを最もよく表す64個のDCT係数のブロックを
発生することである。1つの動きベクトルが最終的出力
映像の各マクロブロックに対して供給されるので、動き
ベクトルが指すDCT領域内の位置からDCT係数の組
を、所要出力映像のための各マクロブロックの中に投影
する必要がある。
【0031】この処理を図5に模式的に示す。図5の左
側に、復号器40から出力されたDCTデータのブロッ
ク90のアレイが示され、図5の右側に、逆DCT符号
化器50に供給されるべきDCTデータのブロック9
0′のアレイが示される。
【0032】所要のDCTデータの各ブロック90′に
は、これに対応する動きベクトル120がある(実際に
は、厳密にいえば、動きベクトルはピクセルブロックに
対応するが、既に述べたとおり、ピクセルブロック70
とDCTブロック90(90′)との間には1対1の対
応がある。)。
【0033】領域140は、所要のDCTブロック13
0が、使用可能なDCTデータのブロック90に逆投影
された概念的な位置を示す。概念上の位置140が実際
には、復号器40から出力されたDCTブロックの4個
と重なっていることが見られるであろう。これより、所
要ブロック130を4つの現存する重ねられたDCTデ
ータのブロックから発生しうる技法を説明しよう。要す
るに、DCTデータの個々の所要ブロックに対し、当該
所要ブロック130の係数は、復号器40から出力され
たDCTブロック90のアレイから発生される。そのア
レイは、所要ブロック130に関連する夫々の動きベク
トル120に沿って進路を逆にたどることにより示され
るものである。
【0034】もし、動きベクトルが水平及び垂直方向に
8ピクセルの倍数の動き成分を常にもつならば、この動
き補正処理は極めて簡単であろう。というのは、DCT
ブロック90の1つが直接所要ブロック130上にマッ
プ(対応)するからである。しかし、実際には動きベク
トルがどんな値(即ち、少なくとも単なる8ピクセルの
倍数よりもっとありうる値)をも取りうるので、一般に
概念的領域140は、少なくとも2つの、通常は4つの
DCTブロック90と重なることになる。したがって、
更に処理を行って係数を所要ブロック130上に割当て
る必要がある。図6は、図5の左側の領域140の拡大
図である。該領域140が4つのDCTブロック90と
実際に重なっていることが認められよう。詳しくいう
と、領域140は、別個のDCTブロック90と夫々重
なる4つの部分領域141,142,143及び144
より成ると考えることができる。
【0035】したがって、4つの部分領域141〜14
4のDCT係数から所望ブロック130の64個のDC
T係数を計算できる技法が要求される。ただし、4つの
重ねられたブロック90をピクセル領域に変換して該領
域140を記録するという複雑で処理がプロセッサに集
中する解決法に訴えることなくである。
【0036】DCT処理がブロック毎に行われ、ピクセ
ルのブロックと対応するDCT係数ブロックとの間に1
対1の対応がある場合、次の事項が認められる。
【0037】(i)図6の4つの重ねられたDCTブロ
ックの各々が、ピクセル領域内の夫々のピクセルブロッ
クと対応すること、及び(ii)所要のDCTブロックが
実際に、4つの部分領域141〜144に対応する位置
におけるピクセルより成る複合ピクセルブロックのDC
T変換を表すこと。
【0038】これを説明的なマトリックスの形で示し、
DCT処理の個別的な特性を用いると、
【0039】ただし、この等式の右側の各マトリックス
内の「x」は、部分領域141〜144に対応するピク
セル部分領域からのピクセル値(所要DCTアレイ内の
所要位置に翻訳されている。)を示し、「0」は単にゼ
ロ値を表す。
【0040】上式の右側の4つの各マトリックスは実際
に適当なプリ(前)及びポスト(後)マトリックスによ
る前及び後の乗算によって、夫々のピクセルブロック全
体から発生することができる。換言すると、ピクセル領
域において、例えば所要マトリックスRは次のようにし
て発生できる。
【0041】
【0042】ただし、ドットはマトリックス乗算処理を
表し、「y」はピクセル値を表す。
【0043】DCT処理をこの式の両側に適用すると、
上記第1式の右側の4つのDCTマトリックスは夫々、
3つのマトリックスの積として書くことができる。
【0044】DCT〔R〕=DCT〔(前マトリック
ス)・(ビデオマトリックス)・(後マトリックス)〕 この例における前及び後マトリックスのすべての非ゼロ
要素は、識別サブマトリックス(付記1参照)を構成す
るので、これは違う形に書き直すことができる。
【0045】DCT〔R〕=DCT〔(前マトリック
ス)〕・DCT〔(ビデオマトリックス)〕・DCT
〔(後マトリックス)〕 ただし、DCT〔(ビデオマトリックス)〕は単に、所
要部分領域141〜144によって重ねられたDCT係
数のブロックである。
【0046】したがって、これは、ブロックR、即ちD
CT〔R〕に対するDCT係数が、適当な周波数領域の
プリ及びポストマトリックスを現存の重ねられた各DC
Tブロック90に前及び後の乗算をすることによって得
られることを示す。これらの周波数領域のプリ及びポス
トマトリックスは、後述の如く、ブロックの翻訳を行う
ピクセル領域のプリ及びポストマトリックスにDCT変
換を適用することによって得られる。
【0047】ピクセル領域のプリ及びポストマトリック
スの導出については、本明細書の付記1にて説明する。
周波数領域マトリックスは、それからピクセル領域マト
リックスにDCT処理を施すことによって得られる。
【0048】図7は、4つのピクセル・ブロックの諸部
分141〜144を翻訳するピクセル領域翻訳プリ及び
ポストマトリックスの作用を模式的に要約したものであ
る。既知のマトリックス乗算ルール(例えば、正方形マ
トリックスの結合性質(associativity))を適用して、
ここで述べた乗算ステップの順序を変えることもでき
る。説明したプリ及びポストマトリックスの特定の配列
は、例として示しただけである。
【0049】図8は、図4の動き補正器110内で所要
のマトリックス計算を行う装置を示す模式図である。
【0050】図8において、復号器40からのDCTブ
ロック90は、DCTフレームメモリ160に記憶され
る。現在の出力ブロック130に対する動きベクトル
は、概念的領域140の左上隅が配置されるブロック
(図6に、これをブロック91で示した。)を表すDC
Tブロック番号と、0及び7(ブロックサイズ−1)ピ
クセルの中のピクセルのxオフセット及びyオフセット
とを計算するのに使用される。
【0051】ブロック番号、xオフセット及びyオフセ
ットはDCTフレームメモリ160に供給され、xオフ
セット及びyオフセットの値はマトリックス発生器17
0に供給される。
【0052】ブロック番号に応答して、DCTフレーム
メモリからの係数ブロックは、4つのマトリックス乗算
器180に供給される。夫々のマトリックス乗算器18
0に供給される4つのブロック90は、上記領域140
の左上隅が配置されるブロック、該ブロックの右隣りの
ブロック、該ブロックの直ぐ下のブロック、及び該ブロ
ックの斜め右下のブロックである。即ち、所要領域14
0と重なる図6の4つのブロックが、夫々のマトリック
ス乗算器180に供給される。
【0053】マトリックス発生器170は、周波数領域
のプリ及びポストマトリックスを発生して、これを夫々
のマトリックス乗算器180に供給する。これらのマト
リックスは、付記1で与えられるルールに従って発生さ
れ、次いで付記1により生成されるピクセル領域マトリ
ックスにDCT変換が適用される。或いは、マトリック
ス発生器170は、マトリックス係数(上述の技法によ
り前もって発生される。)がx及びyオフセットの各順
列に対して記憶された参照表にアクセスするだけでもよ
い。
【0054】各マトリックス乗算器は、夫々のマトリッ
クスによりプリ及びポスト乗算を行い、マトリックス出
力をマトリックス加算器190に供給する。該加算器
は、マトリックス乗算器180の4つの出力を加算し
て、所要の出力ブロック130を発生する。
【0055】概念的領域140が、DCTフレームメモ
リ160内に記憶された単一のDCTブロック90だけ
と重なる場合、4つのマトリックス乗算及びそのあとの
加算が必要ないではないか、という疑問が生じるかも知
れない。それはそのとおりであるが、プリ及びポストマ
トリックスの残りの3組(隣接するが重ならないブロッ
ク)は、付記1のルールによって全部ゼロの係数をもつ
ので、マトリックス加算器190は単に、所要ブロック
130と3組のゼロ・マトリックスを受入れるだけとな
る。したがって、単一のブロック90と完全に重なる特
別のケースを区別せず、マトリックス処理にこの状態を
始末させる方が簡単である。
【0056】上述の実施態様では、動き補正とDCT復
号の順序を入れ替えて、DCT復号器から出力ビデオを
生成したが、上述の技法は、例えばMPEG符号化され
たビデオストリームのGOPフォーマットを変えるなど
の応用例にも使用できる。例えば、12フレームGOP
から2フレームGOPへ変換したい場合、12フレーム
GOPのB又はPフレームの幾つかを、2フレームGO
Pの幾つかに対してIフレームに変換しなければならな
い。Iフレームは、他のフレームに関連する動き補正を
使用しない(それらはフレーム内部符号化されてい
る。)ので、データの動き補正をしてはならない。以前
これは、この基礎領域に逆変換して再符号化することに
よって行われてきたが、ここで提示した技法を使えば、
PCT領域で処理を行うことができる。
【0057】この技法は、DCT符号化されたデータに
加えられるデジタルビデオデータ効果にも使用できよ
う。例えば、画像が切取られたり、拡大されたりしてい
て新しい画像の境界がDCTブロックの境界と沿わない
場合、以前は、DCTデータを復号してこの操作を空間
(ピクセル)領域で行うようにしていた。しかし、上述
の新しい技法を使えば、映像の新しい境界にある新しい
DCTブロックをDCT領域で発生できるので、復号し
て記録する処理が不要となる。
【0058】付記1 この付記は、ピクセル領域翻訳マトリックスの発生につ
いて説明するものである。これに対応する周波数領域プ
リ及びポストマトリックスは、ピクセル領域マトリック
スにDCT変換を適用して発生する。
【0059】まず、ルールの説明を助ける幾つかの定義
及び表現法を考えるに、識別マトリックス(identity m
atrix)とは、先頭の対角線上の要素を除く要素がすべて
ゼロのマトリックスである。例えば、2×2識別マトリ
ックスは、
【0060】であり、3×3識別マトリックスは、
【0061】である。
【0062】K×Kピクセルのブロックは、K×K要素
のマトリックスとして処理される。まず、プリマトリッ
クスによるプリ(前)乗算が行われ、次にポストマトリ
ックスによるポスト(後)乗算が行われる。この処理を
下に示す。
【0063】
【0064】ここで、プリ又はポストマトリックスは、
サイズがl×l(lはKより小)の1つの識別サブ
(小)マトリックスを含むK×Kの正方形マトリックス
である。プリ又はポストマトリックスの他の要素は、す
べてゼロである。
【0065】プリ及びポストマトリックスを発生するル
ールは、次のとおりである。
【0066】1.サイズがm×mの識別サブマトリック
スとしてのポストマトリックスの非ゼロ要素を発生す
る。ただし、mは、所要の概念的ブロックにおける、非
ゼロ要素を含む縦列の数に等しい。
【0067】2.サイズがn×nの識別サブマトリック
スとしてのプリマトリックスの非ゼロ要素を発生する。
ただし、nは、所要の概念的ブロックにおける、非ゼロ
要素を含む横列の数に等しい。
【0068】3.ポストマトリックスについては、概念
的ブロックの縦列を左方向にx縦列だけ動かす必要があ
る場合、識別サブマトリックスをx横列だけ下方に動か
す。 4.ポストマトリックスについては、概念的ブロックの
縦列を右方向にx縦列だけ動かす必要がある場合、識別
サブマトリックスをx縦列だけ右方向に動かす。
【0069】5.プリマトリックスについては、概念的
ブロックの横列をx横列だけ下方に動かす必要がある場
合、識別サブマトリックスをx横列だけ下方に動かす。
【0070】6.プリマトリックスについては、概念的
ブロックの横列をx横列だけ上方に動かす必要がある場
合、識別サブマトリックスをx縦列だけ右方向に動か
す。
【0071】(例1)説明を容易にするため、本例及び
次の例では4×4マトリックス(即ち、K=4)を用い
る。ただし、多くのDCTに基くシステムでは、もっと
大きなブロックサイズが一般に用いられる。しかし、K
の値がどうあれ、原理は同じである。したがって、最初
のピクセルブロックを
【0072】とし、最終(所望)のマトリックスを
【0073】とすると、プリ及びポストマトリックス
は、次のようにして決定される。
【0074】a)プリマトリックスの場合、所要の識別
サブマトリックスは3×3サブマトリックスである。最
初のマトリックスの横列を1横列だけ下方に動かすため
には、1横列だけ下方に動かねばならない。したがっ
て、プリマトリックスは、
【0075】となる。
【0076】b)ポストマトリックスの場合、所要の識
別サブマトリックスは2×2サブマトリックスである。
最初のマトリックスの縦列を2縦列だけ左方向に動かす
ためには、2横列だけ下方に動かねばならない。したが
って、ポストマトリックスは、
【0077】となる。
【0078】(例2)同じ最初のマトリックス
【0079】でスタートし、最終マトリックス
【0080】を目指すと、所要プリマトリックスは、
【0081】となり、所要ポストマトリックスは、
【0082】となる。
【0083】
【発明の効果】以上説明したとおり、本発明によれば、
異なるブロック構造に基くDCT係数ブロックを発生す
る場合、DCTデータを復号して空間領域で再符号化す
ることなくDCT領域で発生できるので、処理が簡単に
なり所要時間も短縮される。
【図面の簡単な説明】
【図1】以前に提案されたビデオデータ圧縮装置を示す
模式図である。
【図2】以前に提案された相補的なビデオデータ伸長装
置を示す模式図である。
【図3】ピクセルのブロックを表すビデオデータから離
散コサイン変換(DCT)係数を発生する様子を示す模
式図である。
【図4】本発明によるビデオデータ伸長装置の例を示す
模式図である。
【図5】DCT領域における動き補正の動作を示す模式
図である。
【図6】4つの現存するDCTブロックと重なる所望の
DCTブロックを示す模式図である。
【図7】4つの現存するブロックから所望のDCTブロ
ックを発生する翻訳マトリックスの作用を示す模式図で
ある。
【図8】所望のDCTブロックを発生する装置を示す模
式図である。
【符号の説明】
90 入力アレイのブロック、90′ 出力アレイのブ
ロック、130 所要アレイのブロック、140 入力
アレイの重ねられる部分、180 マトリックス乗算手
段、190 マトリックス加算手段

Claims (5)

    【特許請求の範囲】
  1. 【請求項1】 所要のアレイによって重ねられる映像空
    間周波数係数の入力アレイから映像空間周波数係数の出
    力アレイを発生する方法であって、上記空間周波数係数
    が所定の空間周波数変換によって映像ピクセル値に変換
    可能なものである、上記の方法において、 上記所定の空間周波数変換の逆変換を夫々の翻訳マトリ
    ックスに適用することによって得られる係数をもつ1以
    上の夫々のマトリックスを各入力アレイにマトリックス
    乗算するステップであって、上記翻訳マトリックスは、
    当該入力アレイにマトリックス乗算されると、当該入力
    アレイの重ねられる部分を上記出力アレイの重ねる位置
    に翻訳したものを与えるものである、上記のステップ
    と、 夫々の重ねられた入力アレイから発生された夫々のマト
    リックス積をマトリックス加算するステップとを含む上
    記の方法。
  2. 【請求項2】 上記所定の空間周波数変換は、逆離散コ
    サイン変換である請求項1の方法。
  3. 【請求項3】 上記出力アレイに関連する動きベクトル
    に応答して、上記入力アレイの上記出力アレイによって
    重ねられる部分を検出するステップを含む請求項1又は
    2の方法。
  4. 【請求項4】 上記1以上のマトリックスは、前に乗算
    するマトリックス及び後で乗算するマトリックスを含む
    請求項1〜3のいずれか1項の方法。
  5. 【請求項5】 所要のアレイによって重ねられる映像空
    間周波数係数の入力アレイから映像空間周波数係数の出
    力アレイを発生する装置であって、上記映像空間周波数
    係数が所定の空間周波数変換によって映像ピクセル値に
    変換可能なものである、上記の装置において、 上記所定の空間周波数変換の逆変換を夫々の翻訳マトリ
    ックスに適用することによって得られる係数をもつ1以
    上の夫々のマトリックスを各入力アレイにマトリックス
    乗算する手段であって、上記翻訳マトリックスは、当該
    入力アレイにマトリックス乗算されると、当該入力アレ
    イの重ねられる部分を上記出力アレイの重ねる位置に翻
    訳したものを与えるものである、上記の手段と、 夫々の重ねられた入力アレイから発生された夫々のマト
    リックス積をマトリックス加算する手段とを具えた上記
    の装置。
JP24814396A 1995-09-28 1996-09-19 ビデオ信号処理方法及びビデオ信号処理装置 Expired - Fee Related JP3469724B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
GB9519795A GB2305798B (en) 1995-09-28 1995-09-28 Spatial frequency-domain video signal processing
GB9519795:0 1995-09-28

Publications (2)

Publication Number Publication Date
JPH09154134A true JPH09154134A (ja) 1997-06-10
JP3469724B2 JP3469724B2 (ja) 2003-11-25

Family

ID=10781414

Family Applications (1)

Application Number Title Priority Date Filing Date
JP24814396A Expired - Fee Related JP3469724B2 (ja) 1995-09-28 1996-09-19 ビデオ信号処理方法及びビデオ信号処理装置

Country Status (3)

Country Link
US (1) US6181831B1 (ja)
JP (1) JP3469724B2 (ja)
GB (1) GB2305798B (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011509538A (ja) * 2007-09-26 2011-03-24 クゥアルコム・インコーポレイテッド ビデオコーディングのための効率的な変換技術

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2449219B (en) * 1997-06-06 2009-04-08 Matra Bae Dynamics Apparatus for the evaluation of polynomials
US6128047A (en) * 1998-05-20 2000-10-03 Sony Corporation Motion estimation process and system using sparse search block-matching and integral projection
JP3772604B2 (ja) * 1999-10-04 2006-05-10 株式会社日立製作所 監視システム
US6799192B1 (en) * 2001-01-09 2004-09-28 Apple Computer, Inc. Method and apparatus for inverse discrete cosine transform
US7046855B2 (en) * 2001-10-29 2006-05-16 Parthusceva Ltd. Method and apparatus for performing spatial-to-frequency domain transform
US7620674B2 (en) * 2003-03-07 2009-11-17 Sensys Medical, Inc. Method and apparatus for enhanced estimation of an analyte property through multiple region transformation
ATE402456T1 (de) * 2004-05-10 2008-08-15 Koninkl Philips Electronics Nv Verfahren zur erfassung von wasserzeichen
US20130101023A9 (en) * 2007-03-12 2013-04-25 Vixs Systems, Inc. Video encoder with video decoder reuse and method for use therewith
TWI382768B (zh) * 2008-03-24 2013-01-11 Novatek Microelectronics Corp 具有執行重疊濾波以及核心轉換的運算方法及其裝置
US9426434B1 (en) * 2014-04-21 2016-08-23 Ambarella, Inc. Two-dimensional transformation with minimum buffering
US11284112B2 (en) 2018-12-06 2022-03-22 Tencent America LLC Method and apparatus for a primary transform using an 8-bit transform core

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3706071A (en) * 1970-06-22 1972-12-12 Information Int Inc Binary image processor
JPS5279747A (en) * 1975-12-26 1977-07-05 Sony Corp Noise removal circuit
DE2625973C3 (de) * 1976-06-10 1981-12-24 Philips Patentverwaltung Gmbh, 2000 Hamburg Verfahren und Anordnung zur redundanzvermindernden Transformation von Bildern
US4245248A (en) 1979-04-04 1981-01-13 Bell Telephone Laboratories, Incorporated Motion estimation and encoding of video signals in the transform domain
US4447886A (en) * 1981-07-31 1984-05-08 Meeker G William Triangle and pyramid signal transforms and apparatus
US4442454A (en) * 1982-11-15 1984-04-10 Eastman Kodak Company Image processing method using a block overlap transformation procedure
US4751742A (en) * 1985-05-07 1988-06-14 Avelex Priority coding of transform coefficients
US4754492A (en) * 1985-06-03 1988-06-28 Picturetel Corporation Method and system for adapting a digitized signal processing system for block processing with minimal blocking artifacts
US5170264A (en) * 1988-12-10 1992-12-08 Fuji Photo Film Co., Ltd. Compression coding device and expansion decoding device for a picture signal
JP2945487B2 (ja) * 1990-12-26 1999-09-06 株式会社日立製作所 行列乗算器
US5428693A (en) * 1991-04-12 1995-06-27 Mitsubishi Denki Kabushiki Kaisha Motion compensation predicting coding method and apparatus
EP0514663A3 (en) * 1991-05-24 1993-07-14 International Business Machines Corporation An apparatus and method for motion video encoding employing an adaptive quantizer
US5539836A (en) * 1991-12-20 1996-07-23 Alaris Inc. Method and apparatus for the realization of two-dimensional discrete cosine transform for an 8*8 image fragment
US5663763A (en) * 1992-10-29 1997-09-02 Sony Corp. Picture signal encoding method and apparatus and picture signal decoding method and apparatus
US5414780A (en) * 1993-01-27 1995-05-09 Immix Method and apparatus for image data transformation

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011509538A (ja) * 2007-09-26 2011-03-24 クゥアルコム・インコーポレイテッド ビデオコーディングのための効率的な変換技術
US8654833B2 (en) 2007-09-26 2014-02-18 Qualcomm Incorporated Efficient transformation techniques for video coding

Also Published As

Publication number Publication date
JP3469724B2 (ja) 2003-11-25
GB2305798B (en) 1999-10-20
US6181831B1 (en) 2001-01-30
GB2305798A (en) 1997-04-16
GB9519795D0 (en) 1995-11-29

Similar Documents

Publication Publication Date Title
US6650708B1 (en) Video signal encoding apparatus
GB2211691A (en) Picture coding and interpolation apparatus
JP3469724B2 (ja) ビデオ信号処理方法及びビデオ信号処理装置
JPH06205388A (ja) 画像符号化装置
US7876969B2 (en) Video decoding with reduced IDCT calculations
US8594189B1 (en) Apparatus and method for coding video using consistent regions and resolution scaling
KR20130129418A (ko) 픽처들의 압축
JP2007502561A (ja) ビデオエンコードおよびデコードの方法および対応する装置
CN114556943B (zh) 变换方法、编码器、解码器以及存储介质
KR101480412B1 (ko) 영상의 변환 방법 및 장치, 역변환 방법 및 장치
US20090175348A1 (en) Lifting-based implementations of orthonormal spatio-temporal transformations
JPS622721A (ja) 画像信号の符号化・復号化装置
KR20180136481A (ko) 디지털 이미지를 디코딩하기 위한 방법, 코딩 방법, 디바이스들, 및 연관된 컴퓨터 프로그램들
JP2002314998A (ja) 同時的フォーマット縮小方法、及びエンコード・ビデオ信号のデコード方法
CN1981534B (zh) 图像编码装置、图像解码装置以及用于其中的集成电路
KR20060113666A (ko) 양자화 잡음 전파 효과의 감소를 위한 최적의 시공간 변환
JPH09275561A (ja) 映像圧縮装置及び映像圧縮方法
US6038345A (en) Apparatus for encoding/decoding image data
TWI887555B (zh) 視訊編碼方法及裝置
CN101110955B (zh) 用于恢复图像的设备和方法
KR100788971B1 (ko) 통합 코덱을 위한 역 트랜스폼 모듈 및 방법
KR20010033550A (ko) 압축 비디오 시퀀스들의 부분 디코딩
JP2005184525A (ja) 画像処理装置
CN100544438C (zh) 信号变换、逆变换方法和图象编码、译码装置及方法
JPH11146403A (ja) 映像信号符号化装置、映像信号符号化方法、および映像信号符号化プログラム記憶媒体

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080905

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090905

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees