JPH09331532A - 画像縮小サンプリング方法 - Google Patents
画像縮小サンプリング方法Info
- Publication number
- JPH09331532A JPH09331532A JP9038950A JP3895097A JPH09331532A JP H09331532 A JPH09331532 A JP H09331532A JP 9038950 A JP9038950 A JP 9038950A JP 3895097 A JP3895097 A JP 3895097A JP H09331532 A JPH09331532 A JP H09331532A
- Authority
- JP
- Japan
- Prior art keywords
- dct
- image
- matrix
- compressed
- equation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
- G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
- G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4084—Scaling of whole images or parts thereof, e.g. expanding or contracting in the transform domain, e.g. fast Fourier transform [FFT] domain scaling
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/48—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
(57)【要約】
【課題】ＤＣＴ領域表現データを直接取り扱うことによ
って圧縮領域における画像処理を迅速に実行する手段を
提供する。 【解決手段】圧縮領域表現形式に対する縮小サンプリン
グおよび逆動き補償を実行する方式を提供する。縮小サ
ンプリングの場合、伸張および空間領域上の縮小サンプ
リングを行うことなく、圧縮されたＤＣＴ領域で圧縮ス
トリームを直接処理し、所望の尺度に縮小された画像を
出力する。逆動き補償の場合、動き補償処理が行われた
圧縮ビデオを現在時ピクチャのみの空間領域ブロックに
対応するＤＣＴ領域ブロック・シーケンスに変換する。
すなわち、各ピクチャは、他のフレームのデータに依存
することのないＤＣＴブロック・シーケンスとして表現
される。逆動き補償を圧縮領域において直接実行するこ
とによって、圧縮されたデータから動き補償を逆算する
必要性が除去される。
って圧縮領域における画像処理を迅速に実行する手段を
提供する。 【解決手段】圧縮領域表現形式に対する縮小サンプリン
グおよび逆動き補償を実行する方式を提供する。縮小サ
ンプリングの場合、伸張および空間領域上の縮小サンプ
リングを行うことなく、圧縮されたＤＣＴ領域で圧縮ス
トリームを直接処理し、所望の尺度に縮小された画像を
出力する。逆動き補償の場合、動き補償処理が行われた
圧縮ビデオを現在時ピクチャのみの空間領域ブロックに
対応するＤＣＴ領域ブロック・シーケンスに変換する。
すなわち、各ピクチャは、他のフレームのデータに依存
することのないＤＣＴブロック・シーケンスとして表現
される。逆動き補償を圧縮領域において直接実行するこ
とによって、圧縮されたデータから動き補償を逆算する
必要性が除去される。
Description
【０００１】
【発明の属する技術分野】本発明は、データ圧縮に関す
るもので、特に、圧縮領域表現に対する縮小サンプリン
グおよび逆動き補償等の操作の直接実行に関するもので
ある。
るもので、特に、圧縮領域表現に対する縮小サンプリン
グおよび逆動き補償等の操作の直接実行に関するもので
ある。
【０００２】
【従来の技術】多くの画像およびビデオ操作アプリケー
ションは、合成、および、(ズームインまたはズームア
ウトという)縮小サンプリング、コントラストまたは輝
度修正、変換、フィルタリング、マスキング、回転およ
び逆動き補償等の特殊効果を実施するためデジタル画像
またはビデオ・データのリアル・タイム操作を必要とす
る。画像およびビデオ・データのリアルタイム操作は、
多くの場合データが圧縮形式の状態でのみ使用可能であ
るため、問題が多い。画像およびビデオ・データは、典
型的には、ＪＰＥＧ、ＭＰＥＧ−１、ＭＰＥＧ−２、
Ｈ.２６１またはＨ.２６３のような圧縮標準の１つに従
って圧縮される。これら標準を本明細書において集合的
に「圧縮規格」と呼ぶ。
ションは、合成、および、(ズームインまたはズームア
ウトという)縮小サンプリング、コントラストまたは輝
度修正、変換、フィルタリング、マスキング、回転およ
び逆動き補償等の特殊効果を実施するためデジタル画像
またはビデオ・データのリアル・タイム操作を必要とす
る。画像およびビデオ・データのリアルタイム操作は、
多くの場合データが圧縮形式の状態でのみ使用可能であ
るため、問題が多い。画像およびビデオ・データは、典
型的には、ＪＰＥＧ、ＭＰＥＧ−１、ＭＰＥＧ−２、
Ｈ.２６１またはＨ.２６３のような圧縮標準の１つに従
って圧縮される。これら標準を本明細書において集合的
に「圧縮規格」と呼ぶ。
【０００３】圧縮領域データを取り扱う伝統的アプロー
チは、先ずデータを伸張して空間領域表示を作成し、次
に所望の合成または特別な効果に適した画像またはビデ
オ操作技術を適用し、最後に操作されたデータを圧縮し
て圧縮規格に準拠するビットストリームを生成する。
チは、先ずデータを伸張して空間領域表示を作成し、次
に所望の合成または特別な効果に適した画像またはビデ
オ操作技術を適用し、最後に操作されたデータを圧縮し
て圧縮規格に準拠するビットストリームを生成する。
【０００４】図１は、画像データ操作に関する伝統的ア
プローチを示す流れ図である。最初に画像がディスク１
１２上に記憶される。画像は、画像の記憶に必要なメモ
リ空間量を減少させるため、業界圧縮規格のいずれかの
方式を使用した圧縮形式で記憶される。これらの圧縮方
式の多くは、オリジナルの画像データを空間領域から圧
縮領域へ変換するためいわゆる離散コサイン変換(Discr
ete Cosine Transformの頭文字をとってＤＣＴと呼ばれ
る)を使用する。８×８の２次元ＤＣＴ変換は、空間領
域におけるブロック{x(n,m)}を以下の数１の方程式に従
って対応する周波数成分マトリックス{X(k,l)}へ変換す
る。(注：次式において、c(0)=1/21/2およびk>0の場合c
(k)=1である)。
プローチを示す流れ図である。最初に画像がディスク１
１２上に記憶される。画像は、画像の記憶に必要なメモ
リ空間量を減少させるため、業界圧縮規格のいずれかの
方式を使用した圧縮形式で記憶される。これらの圧縮方
式の多くは、オリジナルの画像データを空間領域から圧
縮領域へ変換するためいわゆる離散コサイン変換(Discr
ete Cosine Transformの頭文字をとってＤＣＴと呼ばれ
る)を使用する。８×８の２次元ＤＣＴ変換は、空間領
域におけるブロック{x(n,m)}を以下の数１の方程式に従
って対応する周波数成分マトリックス{X(k,l)}へ変換す
る。(注：次式において、c(0)=1/21/2およびk>0の場合c
(k)=1である)。
【０００５】
【数１】
【０００６】伝統的アプローチは、圧縮されたデータに
対する操作を行わない。その代わりに、画像データは圧
縮領域から空間領域へ変換される(ステップ１１４)。圧
縮方式がＤＣＴを使用する場合、伸張方式は、以下の数
２の方程式によって与えられる逆ＤＣＴ変換を使用す
る。
対する操作を行わない。その代わりに、画像データは圧
縮領域から空間領域へ変換される(ステップ１１４)。圧
縮方式がＤＣＴを使用する場合、伸張方式は、以下の数
２の方程式によって与えられる逆ＤＣＴ変換を使用す
る。
【０００７】
【数２】
【０００８】データが空間領域に戻されると、周知の画
像操作技術を使用して所望の画像が生成される(ステッ
プ１１６)。逆動き補償を行う場合、ステップ１１６は
既存の逆動き補償技術を使用する。次に、処理されたデ
ータは同じ圧縮方式を使用して再び圧縮され(ステップ
１１８)、ディスク１２０上の記憶へ戻される。図１に
はディスク１１２および１２０が別々に示されている
が、実際には同じ１つのものとすることができる。
像操作技術を使用して所望の画像が生成される(ステッ
プ１１６)。逆動き補償を行う場合、ステップ１１６は
既存の逆動き補償技術を使用する。次に、処理されたデ
ータは同じ圧縮方式を使用して再び圧縮され(ステップ
１１８)、ディスク１２０上の記憶へ戻される。図１に
はディスク１１２および１２０が別々に示されている
が、実際には同じ１つのものとすることができる。
【０００９】(1)伸張および圧縮計算処理が高度に複雑
であり、(2)取り扱うべき空間領域データが大量である
ため、伝統的アプローチの使用は厄介である。伝統的ア
プローチは、多くの実際のアプリケーションにおいて、
実行することができない場合がある。このため、圧縮さ
れた領域の中でこれらのタスクを直接実行し、それによ
って伸張の必要性を避けることができる迅速なアルゴリ
ズムを開発する努力が近年払われてきた。そのようなア
ルゴリズムのいくつかの例は、S. F. Chang、D.G. Mess
erschmitt両氏著の"Manipulation and Compositing of
MC-DCT Compressed Video, IEEE journal on Selected
Areas of Communications, vol. 13, No.1, pp. 111, 1
994"、同じく上記両氏著の"A New Approach to Decodin
g and Compositing Motion-Compensated DCT Based Ima
ges, Proc. ICASSP '93,Minneapolis, April 1993"、W.
Kou、T. Fjalbrant両氏著の"A Direct Computation of
DCT Coefficients for a Signal Block Taken from Tw
o Adjacent Blocks, IEEETrans. Signal Proc., Vol. S
P-39, pp. 16921695, JulY 1991"およびJ. B. Lee、B.
G. Lee両氏著の" Transform Domain Filtering Based o
n Pipelining Structure, IEEE Trans. Signal Proc.,
Vol- SP-40, pp. 2061-2064, August 1992"に記載され
ている。
であり、(2)取り扱うべき空間領域データが大量である
ため、伝統的アプローチの使用は厄介である。伝統的ア
プローチは、多くの実際のアプリケーションにおいて、
実行することができない場合がある。このため、圧縮さ
れた領域の中でこれらのタスクを直接実行し、それによ
って伸張の必要性を避けることができる迅速なアルゴリ
ズムを開発する努力が近年払われてきた。そのようなア
ルゴリズムのいくつかの例は、S. F. Chang、D.G. Mess
erschmitt両氏著の"Manipulation and Compositing of
MC-DCT Compressed Video, IEEE journal on Selected
Areas of Communications, vol. 13, No.1, pp. 111, 1
994"、同じく上記両氏著の"A New Approach to Decodin
g and Compositing Motion-Compensated DCT Based Ima
ges, Proc. ICASSP '93,Minneapolis, April 1993"、W.
Kou、T. Fjalbrant両氏著の"A Direct Computation of
DCT Coefficients for a Signal Block Taken from Tw
o Adjacent Blocks, IEEETrans. Signal Proc., Vol. S
P-39, pp. 16921695, JulY 1991"およびJ. B. Lee、B.
G. Lee両氏著の" Transform Domain Filtering Based o
n Pipelining Structure, IEEE Trans. Signal Proc.,
Vol- SP-40, pp. 2061-2064, August 1992"に記載され
ている。
【００１０】ビデオ会議は、画像操作に関する適切な例
を提供する。いくつかのグループが参加するビデオ会議
では、各グループは、そのグループのワークステーショ
ンの画面上の別々のウィンドウで他のグループすべてを
見ることができる。すべてのユーザがウィンドウのサイ
ズを変更したり、画面上でウインドウの位置を変更した
りすることができる自在性を持つことができれば望まし
い。しかし、ワークステーション内の計算能力が限られ
ているため、ただ１つのビデオ・ストリームだけしか効
率的に取り扱うことができない場合がある。このような
状況では、複数グループのビデオ会議を行うため、すべ
てのグループからビデオ・ストリームを先ずネットワー
ク・サーバに送信し、サーバがそれらを１つのストリー
ムに合成するという方法をとることがある。伝統的アプ
ローチでは、すべての圧縮ビデオ・ストリームがサーバ
において先ず伸張され、次に適切な合成によって単一ス
トリームを形成するために必要な変更が、伸張されたビ
デオ・ストリームに対する適切な算術演算に変換され、
最後に合成ストリームが再び圧縮されて、ユーザへ送れ
られる。サーバへ入力されるビデオ・ストリームおよび
サーバによって出力される合成ストリームは特定の圧縮
規格に準拠する必要があるかもしれない点に注意すべき
であろう。標準準拠のシステム環境においては、伸張プ
ロセスの間の逆離散コサイン変換(Inverse Discrete Co
sine Transformの頭文字をとってＩＤＣＴと略称され
る)の計算および圧縮プロセスの間のＤＣＴ計算に関す
るサーバの計算負荷が非常に大きい。ＤＣＴおよびＩＤ
ＣＴ演算の計算負荷が大きいため、ＤＣＴ領域で直接合
成ストリームを生成することができるならば、その利益
は大きい。従って、ＩＤＣＴ、ストリーム合成およびＤ
ＣＴ機能が所望の規格準拠の単一合成ストリームを生成
するため効果的に結合されているサーバを持つことが望
まれる。そのようなサーバは、伝統的画像ストリーム合
成を実施するサーバほど複雑でないという特長を持つで
あろう。そのようなサーバの別の特長として、ユーザ・
ワークステーションが単一の合成ストリームだけを取り
扱うだけでよく、従って単一の伸張プロセスのみを実行
すればよいので、この方法はユーザ・ワークステーショ
ンに重い負荷をかけないという利点がある。更に、サー
バとユーザ・ワークステーションの間の通信が、高い通
信バンド幅資源を必要としないという特長もあげられる
であろう。
を提供する。いくつかのグループが参加するビデオ会議
では、各グループは、そのグループのワークステーショ
ンの画面上の別々のウィンドウで他のグループすべてを
見ることができる。すべてのユーザがウィンドウのサイ
ズを変更したり、画面上でウインドウの位置を変更した
りすることができる自在性を持つことができれば望まし
い。しかし、ワークステーション内の計算能力が限られ
ているため、ただ１つのビデオ・ストリームだけしか効
率的に取り扱うことができない場合がある。このような
状況では、複数グループのビデオ会議を行うため、すべ
てのグループからビデオ・ストリームを先ずネットワー
ク・サーバに送信し、サーバがそれらを１つのストリー
ムに合成するという方法をとることがある。伝統的アプ
ローチでは、すべての圧縮ビデオ・ストリームがサーバ
において先ず伸張され、次に適切な合成によって単一ス
トリームを形成するために必要な変更が、伸張されたビ
デオ・ストリームに対する適切な算術演算に変換され、
最後に合成ストリームが再び圧縮されて、ユーザへ送れ
られる。サーバへ入力されるビデオ・ストリームおよび
サーバによって出力される合成ストリームは特定の圧縮
規格に準拠する必要があるかもしれない点に注意すべき
であろう。標準準拠のシステム環境においては、伸張プ
ロセスの間の逆離散コサイン変換(Inverse Discrete Co
sine Transformの頭文字をとってＩＤＣＴと略称され
る)の計算および圧縮プロセスの間のＤＣＴ計算に関す
るサーバの計算負荷が非常に大きい。ＤＣＴおよびＩＤ
ＣＴ演算の計算負荷が大きいため、ＤＣＴ領域で直接合
成ストリームを生成することができるならば、その利益
は大きい。従って、ＩＤＣＴ、ストリーム合成およびＤ
ＣＴ機能が所望の規格準拠の単一合成ストリームを生成
するため効果的に結合されているサーバを持つことが望
まれる。そのようなサーバは、伝統的画像ストリーム合
成を実施するサーバほど複雑でないという特長を持つで
あろう。そのようなサーバの別の特長として、ユーザ・
ワークステーションが単一の合成ストリームだけを取り
扱うだけでよく、従って単一の伸張プロセスのみを実行
すればよいので、この方法はユーザ・ワークステーショ
ンに重い負荷をかけないという利点がある。更に、サー
バとユーザ・ワークステーションの間の通信が、高い通
信バンド幅資源を必要としないという特長もあげられる
であろう。
【００１１】圧縮領域の画像操作によって利益を得る別
の応用分野は、画像キオスクおよび画像キオスクから家
庭への画像配達である。典型的には、ユーザが画像キオ
スクにネットワーク上で接続すると、ユーザは、所望の
画像の取得に先立ち、キオスクから配達可能な画像のカ
タログへ目を通したいことがあろう。そのような画像縦
覧の目的のためなら、６４０×４８０のサイズで画像キ
オスクにＪＰＥＧ圧縮形式に従って記憶されているオリ
ジナル画像を３２０×２４０という１／２に縮小サンプ
リングしたＪＰＥＧ圧縮画像をユーザに配送することで
十分であるかもしれないので、圧縮形式の縮小サンプリ
ング画像をユーザに提供することが適切である場合が存
在する。ＤＣＴ領域に基づく圧縮規格に準拠する圧縮画
像を縮小サンプリングする際に発生する問題は、もう１
つの圧縮画像を生成するため、４つの圧縮データ・ブロ
ックを取り出し単一の圧縮ブロックを作成することが必
要であるという点である。例えば、１／２解像度を達成
するため、１組の圧縮データ・ブロックを水平(Ｘ)およ
び垂直(Ｙ)の両方向において減少させることが必要であ
る(２圧縮データ・ブロック×２圧縮データ・ブロック
＝４圧縮データ・ブロック）。同様に、３単位縮小サン
プリングする場合、９つの圧縮データ・ブロックを結合
させることが必要である。すなわち、ＸおよびＹ方向そ
れぞれにおける３つの圧縮データ・ブロックから単一の
縮小された圧縮データ・ブロックが作成される。
の応用分野は、画像キオスクおよび画像キオスクから家
庭への画像配達である。典型的には、ユーザが画像キオ
スクにネットワーク上で接続すると、ユーザは、所望の
画像の取得に先立ち、キオスクから配達可能な画像のカ
タログへ目を通したいことがあろう。そのような画像縦
覧の目的のためなら、６４０×４８０のサイズで画像キ
オスクにＪＰＥＧ圧縮形式に従って記憶されているオリ
ジナル画像を３２０×２４０という１／２に縮小サンプ
リングしたＪＰＥＧ圧縮画像をユーザに配送することで
十分であるかもしれないので、圧縮形式の縮小サンプリ
ング画像をユーザに提供することが適切である場合が存
在する。ＤＣＴ領域に基づく圧縮規格に準拠する圧縮画
像を縮小サンプリングする際に発生する問題は、もう１
つの圧縮画像を生成するため、４つの圧縮データ・ブロ
ックを取り出し単一の圧縮ブロックを作成することが必
要であるという点である。例えば、１／２解像度を達成
するため、１組の圧縮データ・ブロックを水平(Ｘ)およ
び垂直(Ｙ)の両方向において減少させることが必要であ
る(２圧縮データ・ブロック×２圧縮データ・ブロック
＝４圧縮データ・ブロック）。同様に、３単位縮小サン
プリングする場合、９つの圧縮データ・ブロックを結合
させることが必要である。すなわち、ＸおよびＹ方向そ
れぞれにおける３つの圧縮データ・ブロックから単一の
縮小された圧縮データ・ブロックが作成される。
【００１２】上述のようなＤＣＴ処理を基にした規格に
関して、ＤＣＴブロック仕様を８×８に制約する方式が
ある。この場合縮小サンプリングされた出力もまた８×
８ＤＣＴブロック仕様でなければならない。このように
することによって、ＪＰＥＧ、ＭＰＥＧ−１、ＭＰＥＧ
−２、Ｈ.２６１またはＨ.２６３準拠のビットストリー
ムを取り扱うことができる一般的伸張機構によって圧縮
ビットストリームを復号することができる。単に４×４
ＩＤＣＴを実行して２単位縮小サンプリングされた画像
を作成することによって所与の８×８ＤＣＴブロック仕
様画像を縮小サンプリングする既知の方法がある点に注
意する必要がある。例えばＪＰＥＧ、ＭＰＥＧ−１、Ｍ
ＰＥＧ−２、Ｈ.２６１およびＨ.２６３規格のための業
界標準ハードウェアおよびソフトウェアの大部分が標準
８×８ＤＣＴ形式でデータが保持されることを必要とし
ているにもかかわらず、上記のアプローチはオリジナル
の８×８ＤＣＴ形式を保持しない。従って、上記のよう
なアプローチが、データを非圧縮データに戻す変換を行
うことなく圧縮領域にあるデータを直接処理する能力を
提供しているにもかかわらず、圧縮領域表現に対して直
接縮小サンプリングを行うように開発されたアルゴリズ
ムは、業界規格のハードウエアおよびソフトウエア構成
に準拠しないデータ出力を生成する。
関して、ＤＣＴブロック仕様を８×８に制約する方式が
ある。この場合縮小サンプリングされた出力もまた８×
８ＤＣＴブロック仕様でなければならない。このように
することによって、ＪＰＥＧ、ＭＰＥＧ−１、ＭＰＥＧ
−２、Ｈ.２６１またはＨ.２６３準拠のビットストリー
ムを取り扱うことができる一般的伸張機構によって圧縮
ビットストリームを復号することができる。単に４×４
ＩＤＣＴを実行して２単位縮小サンプリングされた画像
を作成することによって所与の８×８ＤＣＴブロック仕
様画像を縮小サンプリングする既知の方法がある点に注
意する必要がある。例えばＪＰＥＧ、ＭＰＥＧ−１、Ｍ
ＰＥＧ−２、Ｈ.２６１およびＨ.２６３規格のための業
界標準ハードウェアおよびソフトウェアの大部分が標準
８×８ＤＣＴ形式でデータが保持されることを必要とし
ているにもかかわらず、上記のアプローチはオリジナル
の８×８ＤＣＴ形式を保持しない。従って、上記のよう
なアプローチが、データを非圧縮データに戻す変換を行
うことなく圧縮領域にあるデータを直接処理する能力を
提供しているにもかかわらず、圧縮領域表現に対して直
接縮小サンプリングを行うように開発されたアルゴリズ
ムは、業界規格のハードウエアおよびソフトウエア構成
に準拠しないデータ出力を生成する。
【００１３】第２の問題は、特にＤＣＴに基づくデータ
圧縮方式(以下ＤＣＴ型圧縮方式と呼ぶ)に関するもの
で、逆動き補償の概念に関係がある。ビデオはピクチャ
のシーケンスとみなされる。圧縮されたビデオに関し
て、典型的には、最初のピクチャは、ＭＰＥＧ規格によ
って定義されているように、ある圧縮方式で処理される
アンカー・ピクチャ(すなわち基底ピクチャ)とみなされ
る。第２のピクチャは、ビデオには連続するピクチャ間
に強い相関関係があるという事実を活用する。従って、
第２のピクチャには完全な情報が必要ではない。むし
ろ、圧縮方式は、２つのピクチャ間の差分に対応する情
報を送り出す。差分を計算するプロセスは動き補償とし
て知られていて、差分のピクチャは、典型的には、叙述
ピクチャまたは動き補償ピクチャと呼ばれる。そのよう
な方式は、時間的に冗長な情報を除外するので、かなり
のデータ圧縮を達成する。
圧縮方式(以下ＤＣＴ型圧縮方式と呼ぶ)に関するもの
で、逆動き補償の概念に関係がある。ビデオはピクチャ
のシーケンスとみなされる。圧縮されたビデオに関し
て、典型的には、最初のピクチャは、ＭＰＥＧ規格によ
って定義されているように、ある圧縮方式で処理される
アンカー・ピクチャ(すなわち基底ピクチャ)とみなされ
る。第２のピクチャは、ビデオには連続するピクチャ間
に強い相関関係があるという事実を活用する。従って、
第２のピクチャには完全な情報が必要ではない。むし
ろ、圧縮方式は、２つのピクチャ間の差分に対応する情
報を送り出す。差分を計算するプロセスは動き補償とし
て知られていて、差分のピクチャは、典型的には、叙述
ピクチャまたは動き補償ピクチャと呼ばれる。そのよう
な方式は、時間的に冗長な情報を除外するので、かなり
のデータ圧縮を達成する。
【００１４】そのような方式に関して、例えばビデオ・
エディタを使用する時、問題が発生する。アンカー・ピ
クチャが削除された場合、後続のピクチャは、アンカー
に依存しているため、すべてその内容を失う。従って、
例えば圧縮領域の中でビデオ編集を実行することは現在
の環境では実際的でない。従って、各ピクチャ間の依存
性がビットストリームに含まれる圧縮ストリームを取り
出し、ピクチャ間の依存性を取り除くことが必要とされ
る。このプロセスは、逆動き補償として知られている。
この依存性を除去する１つの方法は、各ピクチャを見る
ことができるようにビットストリームを完全に伸張させ
ることである。すなわち、ピクチャの各々はそのオリジ
ナルの状態に戻され、その後、ピクチャを編集すること
ができ、その後再び記憶または送信のため必要に応じて
圧縮される。このようなケースでは、あいにく、所望の
編集機能をサポートしなければならない伸張プロセスお
よび再圧縮プロセスは、非常に高価な命題である。
エディタを使用する時、問題が発生する。アンカー・ピ
クチャが削除された場合、後続のピクチャは、アンカー
に依存しているため、すべてその内容を失う。従って、
例えば圧縮領域の中でビデオ編集を実行することは現在
の環境では実際的でない。従って、各ピクチャ間の依存
性がビットストリームに含まれる圧縮ストリームを取り
出し、ピクチャ間の依存性を取り除くことが必要とされ
る。このプロセスは、逆動き補償として知られている。
この依存性を除去する１つの方法は、各ピクチャを見る
ことができるようにビットストリームを完全に伸張させ
ることである。すなわち、ピクチャの各々はそのオリジ
ナルの状態に戻され、その後、ピクチャを編集すること
ができ、その後再び記憶または送信のため必要に応じて
圧縮される。このようなケースでは、あいにく、所望の
編集機能をサポートしなければならない伸張プロセスお
よび再圧縮プロセスは、非常に高価な命題である。
【００１５】
【発明が解決しようとする課題】従って、上記の問題点
を解決するため、未圧縮領域(すなわち空間領域)におい
て縮小サンプリングや逆動き補償のような画像およびビ
デオ処理を実行する形態ではなく、ＤＣＴ領域表現デー
タを直接取り扱うことによって圧縮領域における処理を
実行する効率的手段が必要とされている。
を解決するため、未圧縮領域(すなわち空間領域)におい
て縮小サンプリングや逆動き補償のような画像およびビ
デオ処理を実行する形態ではなく、ＤＣＴ領域表現デー
タを直接取り扱うことによって圧縮領域における処理を
実行する効率的手段が必要とされている。
【００１６】
【課題を解決するための手段】本発明は、圧縮領域表現
形式に対する縮小サンプリングおよび逆動き補償を実行
する方式を提供する。本発明が開示する技術は、空間領
域表現形式の代わりに圧縮領域表現形式を直接操作する
ことによって、計算処理の複雑性を顕著に減少させる。
更に、本発明は、圧縮領域における処理を実行する技術
を提供するので、ＭＰＥＧまたはＪＰＥＧのような画像
非可逆性アルゴリズムを使用して画像を圧縮および再伸
張する場合に発生するであろう品質劣化が起きない。
形式に対する縮小サンプリングおよび逆動き補償を実行
する方式を提供する。本発明が開示する技術は、空間領
域表現形式の代わりに圧縮領域表現形式を直接操作する
ことによって、計算処理の複雑性を顕著に減少させる。
更に、本発明は、圧縮領域における処理を実行する技術
を提供するので、ＭＰＥＧまたはＪＰＥＧのような画像
非可逆性アルゴリズムを使用して画像を圧縮および再伸
張する場合に発生するであろう品質劣化が起きない。
【００１７】縮小サンプリングの場合、本発明の方法に
従って、圧縮ストリームが、伸張および空間領域上の明
示的縮小サンプリングを行うことなく、圧縮された領域
(すなわちＤＣＴ領域)で処理され所望の尺度に縮小され
た画像に対応した圧縮画像が出力される。本発明の方法
は、生成される圧縮ストリームが８×８ＤＣＴマトリッ
クスという標準的構文に準拠することを保証する。典型
的データ・セットに関する限り、データが先ず伸張され
次に空間領域において縮小サンプリングが行われ次に記
憶または伝送のため再圧縮されるという伝統的空間領域
縮小サンプリング手法に比較して、圧縮領域において縮
小サンプリングするという本発明の手段は、約８０％の
計算処理の節約を実現する。逆動き補償の場合、本発明
の手段は、動き補償された圧縮ビデオを現在時ピクチャ
のみの空間領域ブロックに対応するＤＣＴ領域ブロック
・シーケンスに変換する。すなわち、各ピクチャは、他
のフレームのデータに依存することのないＤＣＴブロッ
ク・シーケンスとして表現される。逆動き補償を圧縮領
域において直接実行することによって、圧縮されたデー
タから動き補償を逆算する伝統的空間領域法と比較して
計算の複雑性が約６８％減少する。縮小サンプリングお
よび逆動き補償の機能は、多地点ビデオ会議やビデオ編
集のような種々のアプリケーションにおいて使用される
ことができる。
従って、圧縮ストリームが、伸張および空間領域上の明
示的縮小サンプリングを行うことなく、圧縮された領域
(すなわちＤＣＴ領域)で処理され所望の尺度に縮小され
た画像に対応した圧縮画像が出力される。本発明の方法
は、生成される圧縮ストリームが８×８ＤＣＴマトリッ
クスという標準的構文に準拠することを保証する。典型
的データ・セットに関する限り、データが先ず伸張され
次に空間領域において縮小サンプリングが行われ次に記
憶または伝送のため再圧縮されるという伝統的空間領域
縮小サンプリング手法に比較して、圧縮領域において縮
小サンプリングするという本発明の手段は、約８０％の
計算処理の節約を実現する。逆動き補償の場合、本発明
の手段は、動き補償された圧縮ビデオを現在時ピクチャ
のみの空間領域ブロックに対応するＤＣＴ領域ブロック
・シーケンスに変換する。すなわち、各ピクチャは、他
のフレームのデータに依存することのないＤＣＴブロッ
ク・シーケンスとして表現される。逆動き補償を圧縮領
域において直接実行することによって、圧縮されたデー
タから動き補償を逆算する伝統的空間領域法と比較して
計算の複雑性が約６８％減少する。縮小サンプリングお
よび逆動き補償の機能は、多地点ビデオ会議やビデオ編
集のような種々のアプリケーションにおいて使用される
ことができる。
【００１８】発明の課題を解決するため、本発明は、Ｄ
ＣＴすなわち離散コサイン変換に基づく圧縮方式に従っ
て圧縮された圧縮領域中の画像情報を直接縮小サンプリ
ングする方法を含み、該方法は、圧縮ビットストリーム
を復号して複数のＮ×ＮのＤＣＴ型データ・ブロックを
抽出するハフマン復号ステップ、および少なくとも１つ
のサンプリング・マトリックスに従って上記データ・ブ
ロックのｎ個を処理して、単一のＮ×ＮのＤＣＴ型デー
タ・ブロックを抽出するステップからなり、上記ｎは所
望の縮小サンプリング因数によって決定され、上記単一
のデータ・ブロックは上記複数のＮ×ＮのＤＣＴ型デー
タ・ブロックの平均を表す。
ＣＴすなわち離散コサイン変換に基づく圧縮方式に従っ
て圧縮された圧縮領域中の画像情報を直接縮小サンプリ
ングする方法を含み、該方法は、圧縮ビットストリーム
を復号して複数のＮ×ＮのＤＣＴ型データ・ブロックを
抽出するハフマン復号ステップ、および少なくとも１つ
のサンプリング・マトリックスに従って上記データ・ブ
ロックのｎ個を処理して、単一のＮ×ＮのＤＣＴ型デー
タ・ブロックを抽出するステップからなり、上記ｎは所
望の縮小サンプリング因数によって決定され、上記単一
のデータ・ブロックは上記複数のＮ×ＮのＤＣＴ型デー
タ・ブロックの平均を表す。
【００１９】
【発明の実施の形態】本発明の１つの実施形態は、伝統
的なアプローチと比較して、２、３および４という単位
の縮小サンプリング等の画像処理演算を実行するために
必要な時間を減少させる。本明細書において、因数ｋと
いう単位での縮小サンプリングとは、入力画像の解像度
がＭ×Ｎピクセルであれば、縮小サンプリングした後結
果として生成される空間領域画像解像度は、(Ｍ／ｋ)×
(Ｎ／ｋ)であることを意味する。縮小サンプリング変換
は線形であるため、ＤＣＴ領域における全体的効果も線
形であり、従って、基本操作は固定マトリックスによる
乗算として表現することができる。エントリが大部分
０、１および−1であるような疎なマトリックスの積に
分解できれば、このマトリックスによる迅速な乗算は可
能である。
的なアプローチと比較して、２、３および４という単位
の縮小サンプリング等の画像処理演算を実行するために
必要な時間を減少させる。本明細書において、因数ｋと
いう単位での縮小サンプリングとは、入力画像の解像度
がＭ×Ｎピクセルであれば、縮小サンプリングした後結
果として生成される空間領域画像解像度は、(Ｍ／ｋ)×
(Ｎ／ｋ)であることを意味する。縮小サンプリング変換
は線形であるため、ＤＣＴ領域における全体的効果も線
形であり、従って、基本操作は固定マトリックスによる
乗算として表現することができる。エントリが大部分
０、１および−1であるような疎なマトリックスの積に
分解できれば、このマトリックスによる迅速な乗算は可
能である。
【００２０】本発明は、(W. B. Pennebaker, J. L. Mit
chell両氏著の"JPEG still Image Data Compression St
andard, Van Nostrand Reinhold, pp. 50-63, 1993"に
記載されている)迅速８点ＤＣＴ／ＩＤＣＴに対応する
ＤＣＴおよびＩＤＣＴ演算マトリックス分解の長所を活
用することによって、圧縮領域において効率的に画像処
理を実行する方式を提供する。
chell両氏著の"JPEG still Image Data Compression St
andard, Van Nostrand Reinhold, pp. 50-63, 1993"に
記載されている)迅速８点ＤＣＴ／ＩＤＣＴに対応する
ＤＣＴおよびＩＤＣＴ演算マトリックス分解の長所を活
用することによって、圧縮領域において効率的に画像処
理を実行する方式を提供する。
【００２１】本発明の方式は、縮小サンプリング因数が
２の場合約３７％、縮小サンプリング因数が３の場合約
３９％、縮小サンプリング係数が４の場合約５０％それ
ぞれ計算処理を節約する。計算処理という用語は、シフ
ト(SHIFT)、加算(ADD)、シフト加算(SHIFTand ADD)、１
シフト加算(SH1ADD)、２シフト加算(SH2ADD)、３シフト
加算(SH3ADD)Ｄ)のようなマイクロプロセッサの基本算
術演算に対応する。上記のような節約量は、ＤＣＴ領域
における疎の度合いについていかなる仮定も設けていな
いので、最悪の場合の推定値である。典型的には、ＤＣ
Ｔブロックの大部分では、垂直および水平方向において
低周波に対応する左上の４×４象現を除いて、ＤＣＴ係
数のすべてはゼロである。この事実を考慮に入れれば、
計算量節約は約８０％に達する。
２の場合約３７％、縮小サンプリング因数が３の場合約
３９％、縮小サンプリング係数が４の場合約５０％それ
ぞれ計算処理を節約する。計算処理という用語は、シフ
ト(SHIFT)、加算(ADD)、シフト加算(SHIFTand ADD)、１
シフト加算(SH1ADD)、２シフト加算(SH2ADD)、３シフト
加算(SH3ADD)Ｄ)のようなマイクロプロセッサの基本算
術演算に対応する。上記のような節約量は、ＤＣＴ領域
における疎の度合いについていかなる仮定も設けていな
いので、最悪の場合の推定値である。典型的には、ＤＣ
Ｔブロックの大部分では、垂直および水平方向において
低周波に対応する左上の４×４象現を除いて、ＤＣＴ係
数のすべてはゼロである。この事実を考慮に入れれば、
計算量節約は約８０％に達する。
【００２２】本発明のもう１つの利点は、伝統的アプロ
ーチと比較して計算の精度が向上することである。精度
向上の度合いは１.５から３ｄＢの間であることが観察
された。本発明は圧縮領域において画像処理を実行する
技術を提供するので、ＭＰＥＧまたはＪＰＥＧのような
非可逆アルゴリズムを使用して画像を一旦伸張し次に再
圧縮する場合に発生するような画像品質の損失がない。
ＭＰＥＧまたはＪＰＥＧのような非可逆アルゴリズムに
おいては、圧縮／伸張の各ステップは、高い圧縮度を達
成するため意図的にまた再現不可能なように画像の一部
を破棄する。
ーチと比較して計算の精度が向上することである。精度
向上の度合いは１.５から３ｄＢの間であることが観察
された。本発明は圧縮領域において画像処理を実行する
技術を提供するので、ＭＰＥＧまたはＪＰＥＧのような
非可逆アルゴリズムを使用して画像を一旦伸張し次に再
圧縮する場合に発生するような画像品質の損失がない。
ＭＰＥＧまたはＪＰＥＧのような非可逆アルゴリズムに
おいては、圧縮／伸張の各ステップは、高い圧縮度を達
成するため意図的にまた再現不可能なように画像の一部
を破棄する。
【００２３】本発明の別の実施形態が提供する方式は、
ＤＣＴ領域における動き補償演算を元に戻す迅速アルゴ
リズムを含む(上記動き補償演算は、S. F. Chang, D.
G. Messerschmitt両氏著"Manipulation and Compositin
g of MC-DCT Compressed Video, IEEE journalon Selec
ted Areas of Communications, Vol. 13, No. 1, pp.11
1, 1994"およびS. F. Chang, D. G. Messerschmitt両氏
著"A New Approach toDecoding and Compositing Motio
n-Compensated DCT Based Images,l Proc. ICASSP '93,
Minneapolis, April 1993"に記載されている)。本発明
のアルゴリズムは、動き補償された圧縮ビデオのＤＣＴ
ブロックを入力として受け取り、過去および将来のピク
チャを参照することなく現在ピクチャのみに対応する空
間領域ブロックのＤＣＴブロックを提供する。逆動き補
償の演算は、ＤＣＴ圧縮領域におけるビデオ合成を可能
にすると共に、縮小サンプリング、重ね合わせ、変換お
よびフィルタリングのような他のビデオ処理機能をも可
能にする。
ＤＣＴ領域における動き補償演算を元に戻す迅速アルゴ
リズムを含む(上記動き補償演算は、S. F. Chang, D.
G. Messerschmitt両氏著"Manipulation and Compositin
g of MC-DCT Compressed Video, IEEE journalon Selec
ted Areas of Communications, Vol. 13, No. 1, pp.11
1, 1994"およびS. F. Chang, D. G. Messerschmitt両氏
著"A New Approach toDecoding and Compositing Motio
n-Compensated DCT Based Images,l Proc. ICASSP '93,
Minneapolis, April 1993"に記載されている)。本発明
のアルゴリズムは、動き補償された圧縮ビデオのＤＣＴ
ブロックを入力として受け取り、過去および将来のピク
チャを参照することなく現在ピクチャのみに対応する空
間領域ブロックのＤＣＴブロックを提供する。逆動き補
償の演算は、ＤＣＴ圧縮領域におけるビデオ合成を可能
にすると共に、縮小サンプリング、重ね合わせ、変換お
よびフィルタリングのような他のビデオ処理機能をも可
能にする。
【００２４】本発明の１つの実施形態は、上記引用文献
において提案されている逆動き補償方式に対する改善を
提供する。そのような既存の方式においてはＤＣＴブロ
ックが十分疎である場合のみ計算処理が節約されるが、
基準ブロックの大部分がオリジナル・ブロック間の境界
に対し少なくとも１つの方向に配列されている限り、本
発明の方式は、従来技術の疎または完全な配列という仮
定を必要とすることなく、伝統的アプローチに比較して
計算の複雑性を４７％減少させる。更に、典型的な場合
がそうであるようにＤＣＴブロックの左上の４×４サブ
ブロックのみがゼロでないという意味において、ＤＣＴ
ブロックが疎であるという仮定に立てば、計算の複雑性
は６８％減少する。
において提案されている逆動き補償方式に対する改善を
提供する。そのような既存の方式においてはＤＣＴブロ
ックが十分疎である場合のみ計算処理が節約されるが、
基準ブロックの大部分がオリジナル・ブロック間の境界
に対し少なくとも１つの方向に配列されている限り、本
発明の方式は、従来技術の疎または完全な配列という仮
定を必要とすることなく、伝統的アプローチに比較して
計算の複雑性を４７％減少させる。更に、典型的な場合
がそうであるようにＤＣＴブロックの左上の４×４サブ
ブロックのみがゼロでないという意味において、ＤＣＴ
ブロックが疎であるという仮定に立てば、計算の複雑性
は６８％減少する。
【００２５】本発明の圧縮領域縮小サンプリングにおい
ては、４つのＤＣＴ領域の８×８サイズ・ブロックを所
与として、それらを尺度縮小して単一の８×８ＤＣＴブ
ロックを生成することが目的である。本発明は、空間領
域演算の周波数領域表現形式を使用し、この形式をＤＣ
Ｔマトリックス分解プロセスに組み入れる。圧縮領域逆
動き補償において、本発明は、２つのピクチャのブロッ
ク間の差分のＤＣＴおよび一方のピクチャのブロックの
ＤＣＴを所与として、第２の対応するブロックのＤＣＴ
を抽出することが目的である。ブロックが２つのピクチ
ャにおいて共置されていないという事実のためこの計算
は容易ではない。
ては、４つのＤＣＴ領域の８×８サイズ・ブロックを所
与として、それらを尺度縮小して単一の８×８ＤＣＴブ
ロックを生成することが目的である。本発明は、空間領
域演算の周波数領域表現形式を使用し、この形式をＤＣ
Ｔマトリックス分解プロセスに組み入れる。圧縮領域逆
動き補償において、本発明は、２つのピクチャのブロッ
ク間の差分のＤＣＴおよび一方のピクチャのブロックの
ＤＣＴを所与として、第２の対応するブロックのＤＣＴ
を抽出することが目的である。ブロックが２つのピクチ
ャにおいて共置されていないという事実のためこの計算
は容易ではない。
【００２６】ＪＰＥＧ、ＭＰＥＧまたはＰｘ６４圧縮方
式で圧縮された画像およびビデオ・データに関して、本
発明は、縮小サンプリング機能が空間領域で実施される
場合に必要とされるものより少ない演算で画像またはビ
デオ・データを縮小サンプリングすることができる技術
を提供する。逆動き補償に関しては、本発明の方法は、
空間領域方法に比較して顕著な計算節約を生み出す。縮
小サンプリングおよび逆動き補償に関する本発明の方法
は、効率的ビデオ編集システムおよび可変画面サのビデ
オ会議システムに十分適するものである。
式で圧縮された画像およびビデオ・データに関して、本
発明は、縮小サンプリング機能が空間領域で実施される
場合に必要とされるものより少ない演算で画像またはビ
デオ・データを縮小サンプリングすることができる技術
を提供する。逆動き補償に関しては、本発明の方法は、
空間領域方法に比較して顕著な計算節約を生み出す。縮
小サンプリングおよび逆動き補償に関する本発明の方法
は、効率的ビデオ編集システムおよび可変画面サのビデ
オ会議システムに十分適するものである。
【００２７】画像／ビデオ・エディタ 本発明に従った画像縮小サンプリングおよび逆動き補償
の詳細に進む前に、このような機能を備えるシステムを
図２に示す。図２のシステムは、事前処理された画像１
２６をファイル１２４に記憶するディスクを含む。画像
１２６は、例えばＪＰＥＧ、ＭＰＥＧ、Ｈ.２６１また
はＨ.２６３のようなＤＣＴ型圧縮方式の１つに従う圧
縮エンジン１２８によって圧縮される。画像は、例えば
写真処理ショップで作成される。次に、圧縮された画像
がファイル１２４に記憶され、写真の所有者が画像／ビ
デオ・エディタ１３０を使用してその写真を編集するこ
とが可能となる。画像／ビデオ・エディタ１３０は、本
発明に従った画像縮小サンプリングまたは逆動き補償機
能性を含み、ファイル１２４に記憶された圧縮画像デー
タに対して操作を行い、処理された画像データをＤＣＴ
領域に作成し、別のファイル１２９へ記憶する。画像縮
小サンプリングまたは逆動き補償機能性を画像／ビデオ
・エディタ１３０内部に備えるような代替実施形態も可
能である。画像／ビデオ・エディタ１３０は、本発明に
従ってあらかじめ定められた複数の縮小サンプリング関
数を含むことができ、それによって、ユーザが所望の縮
小サンプリング関数を指定することができる。ファイル
１２９がファイル１２４とは別のディスク上に示されて
いるが、これらのディスクは論理的に別のものであれば
よい。実際両ファイルは同一物理ディスクに記憶される
ことができる。圧縮画像が画像／ビデオ・エディタ１３
０によって編集されたならば、写真処理ショップは編集
された画像を伸張エンジン１３２で伸張し、編集済み画
像１３４を作成し、それを所有者に渡すこともできる。
の詳細に進む前に、このような機能を備えるシステムを
図２に示す。図２のシステムは、事前処理された画像１
２６をファイル１２４に記憶するディスクを含む。画像
１２６は、例えばＪＰＥＧ、ＭＰＥＧ、Ｈ.２６１また
はＨ.２６３のようなＤＣＴ型圧縮方式の１つに従う圧
縮エンジン１２８によって圧縮される。画像は、例えば
写真処理ショップで作成される。次に、圧縮された画像
がファイル１２４に記憶され、写真の所有者が画像／ビ
デオ・エディタ１３０を使用してその写真を編集するこ
とが可能となる。画像／ビデオ・エディタ１３０は、本
発明に従った画像縮小サンプリングまたは逆動き補償機
能性を含み、ファイル１２４に記憶された圧縮画像デー
タに対して操作を行い、処理された画像データをＤＣＴ
領域に作成し、別のファイル１２９へ記憶する。画像縮
小サンプリングまたは逆動き補償機能性を画像／ビデオ
・エディタ１３０内部に備えるような代替実施形態も可
能である。画像／ビデオ・エディタ１３０は、本発明に
従ってあらかじめ定められた複数の縮小サンプリング関
数を含むことができ、それによって、ユーザが所望の縮
小サンプリング関数を指定することができる。ファイル
１２９がファイル１２４とは別のディスク上に示されて
いるが、これらのディスクは論理的に別のものであれば
よい。実際両ファイルは同一物理ディスクに記憶される
ことができる。圧縮画像が画像／ビデオ・エディタ１３
０によって編集されたならば、写真処理ショップは編集
された画像を伸張エンジン１３２で伸張し、編集済み画
像１３４を作成し、それを所有者に渡すこともできる。
【００２８】図３は、本発明に従って圧縮領域において
画像およびビデオ処理を実行するシステム１００のブロ
ック図である。画像処理システム１００は、ディスク・
ドライブ１１１、メモリ１５および画像／ビデオ・エデ
ィタ１３０を含む。画像／ビデオ・エディタ１３０は、
本発明の画像／ビデオ・エディタ機能を提供するように
プログラムされた専用コンピュータまたは汎用コンピュ
ータでもよい。
画像およびビデオ処理を実行するシステム１００のブロ
ック図である。画像処理システム１００は、ディスク・
ドライブ１１１、メモリ１５および画像／ビデオ・エデ
ィタ１３０を含む。画像／ビデオ・エディタ１３０は、
本発明の画像／ビデオ・エディタ機能を提供するように
プログラムされた専用コンピュータまたは汎用コンピュ
ータでもよい。
【００２９】画像／ビデオ・エディタ１３０は、圧縮画
像を部分的に復号するハフマン復号器１２を含む。図３
の例においては、ディスク・ドライブ１１１上の圧縮画
像ファイル１２４が圧縮ビットストリーム１１としてハ
フマン復号器１２へ入力される。圧縮ビットストリーム
１１は、ＭＰＥＧ、ＪＰＥＧ、Ｈ.２６１またはＨ,２６
３のような既知のＤＣＴ型圧縮方式に従って圧縮されて
いる。ハフマン復号器１２によって部分的に復号された
画像がメモリ１５に書き込まれ、その後画像／ビデオ・
エディタ１３０に提供される。
像を部分的に復号するハフマン復号器１２を含む。図３
の例においては、ディスク・ドライブ１１１上の圧縮画
像ファイル１２４が圧縮ビットストリーム１１としてハ
フマン復号器１２へ入力される。圧縮ビットストリーム
１１は、ＭＰＥＧ、ＪＰＥＧ、Ｈ.２６１またはＨ,２６
３のような既知のＤＣＴ型圧縮方式に従って圧縮されて
いる。ハフマン復号器１２によって部分的に復号された
画像がメモリ１５に書き込まれ、その後画像／ビデオ・
エディタ１３０に提供される。
【００３０】画像／ビデオ・エディタ１３０は、部分的
に復号された画像１２８を受け取るためメモリ１５に接
続される逆量子化器１４を含む。逆量子化器１４は、Ｄ
ＣＴ領域に８×８ブロックを生成する機能を含む。この
ように生成された８×８ＤＣＴブロックは、図３、図４
ならびに図５を参照して後述されるＤＣＴ領域縮小サン
プリングおよび図３、図６ならびに図７を参照して後述
される逆動き補償のようなＤＣＴ処理方法を利用して修
正することが可能な状態にある。
に復号された画像１２８を受け取るためメモリ１５に接
続される逆量子化器１４を含む。逆量子化器１４は、Ｄ
ＣＴ領域に８×８ブロックを生成する機能を含む。この
ように生成された８×８ＤＣＴブロックは、図３、図４
ならびに図５を参照して後述されるＤＣＴ領域縮小サン
プリングおよび図３、図６ならびに図７を参照して後述
される逆動き補償のようなＤＣＴ処理方法を利用して修
正することが可能な状態にある。
【００３１】画像／ビデオ・エディタ１００の中核は、
縮小サンプリング器１０および逆動き補償装モジュール
３０から形成される。縮小サンプリング器１０または逆
動き補償装モジュール３０のいずれか、あるいはその両
方を含む種々の代替的実施形態が可能である。縮小サン
プリング器１０および逆動き補償モジュール３０は、逆
量子化された画像マトリックスを受け取るように逆量子
化器１４に接続される。
縮小サンプリング器１０および逆動き補償装モジュール
３０から形成される。縮小サンプリング器１０または逆
動き補償装モジュール３０のいずれか、あるいはその両
方を含む種々の代替的実施形態が可能である。縮小サン
プリング器１０および逆動き補償モジュール３０は、逆
量子化された画像マトリックスを受け取るように逆量子
化器１４に接続される。
【００３２】縮小サンプリング器１０からの出力は、縮
小サンプリングされた画像２３であり、逆動き補償モジ
ュール３０からの出力は、逆動き補償フレーム４３であ
る。それらの出力それぞれは量子化器２６およびハフマ
ン符号化器２４によって更に処理される。ハフマン符号
化器２４は、ハフマン復号器１２によって実行された部
分的復号を逆にする。最後に、再符号化された画像が、
例えば処理済み圧縮画像ファイル１２９として、ディス
ク・ドライブ１１１へ戻される。
小サンプリングされた画像２３であり、逆動き補償モジ
ュール３０からの出力は、逆動き補償フレーム４３であ
る。それらの出力それぞれは量子化器２６およびハフマ
ン符号化器２４によって更に処理される。ハフマン符号
化器２４は、ハフマン復号器１２によって実行された部
分的復号を逆にする。最後に、再符号化された画像が、
例えば処理済み圧縮画像ファイル１２９として、ディス
ク・ドライブ１１１へ戻される。
【００３３】圧縮領域における縮小サンプリング 図４は、本発明に従って圧縮領域で縮小サンプリングを
実行する縮小サンプリング器１０のブロック図である。
上述のように、逆量子化器１４が、部分的に復号された
画像１２８をメモリ１５から受け取り、そこから一連の
８×８ＤＣＴブロック２２を抽出して縮小サンプリング
器１０へ提供する。詳細は後述するが、取り出し手段１
６によってメモリから一連の８×８ブロックX1,X2,...
が取り出され、、縮小サンプリング手段１７によって、
例えば、４つの８×８ＤＣＴブロックを結合して単一の
８×８ＤＣＴブロックを作成する場合には２という因子
１８による縮小サンプルまたは９つの８×８ＤＣＴブロ
ックを結合して単一の８×８ＤＣＴブロックを作成する
場合には３という因子１９による縮小サンプルというよ
うに所望の縮小サンプリング因子に基づいて、縮小サン
プリング値Xが計算される。縮小サンプリングされた画
像X２３は、次に、更に処理を行うためあるいは表示／
再生のため、必要に応じて、出力される。例えば、画像
２３は、図３に示されるように、圧縮ビットストリーム
２５の出力を生成するためハフマン符号化器２３に提供
され、最終的に圧縮画像ファイル１２９としてディスク
・ドライブ１１１に記憶される。
実行する縮小サンプリング器１０のブロック図である。
上述のように、逆量子化器１４が、部分的に復号された
画像１２８をメモリ１５から受け取り、そこから一連の
８×８ＤＣＴブロック２２を抽出して縮小サンプリング
器１０へ提供する。詳細は後述するが、取り出し手段１
６によってメモリから一連の８×８ブロックX1,X2,...
が取り出され、、縮小サンプリング手段１７によって、
例えば、４つの８×８ＤＣＴブロックを結合して単一の
８×８ＤＣＴブロックを作成する場合には２という因子
１８による縮小サンプルまたは９つの８×８ＤＣＴブロ
ックを結合して単一の８×８ＤＣＴブロックを作成する
場合には３という因子１９による縮小サンプルというよ
うに所望の縮小サンプリング因子に基づいて、縮小サン
プリング値Xが計算される。縮小サンプリングされた画
像X２３は、次に、更に処理を行うためあるいは表示／
再生のため、必要に応じて、出力される。例えば、画像
２３は、図３に示されるように、圧縮ビットストリーム
２５の出力を生成するためハフマン符号化器２３に提供
され、最終的に圧縮画像ファイル１２９としてディスク
・ドライブ１１１に記憶される。
【００３４】本発明の方式は、他の方式と異なり、圧縮
領域における縮小サンプリングを達成するため、少なく
とも４つのＤＣＴブロックを結合し、オリジナル・ブロ
ックの各々と同じサイズの１つのＤＣＴブロックを出力
する。すなわち、４個またはそれ以上の８×８ＤＣＴブ
ロックが結合され、それら結合されたブロックの平均で
ある単一の８×８ＤＣＴブロックが生成される。
領域における縮小サンプリングを達成するため、少なく
とも４つのＤＣＴブロックを結合し、オリジナル・ブロ
ックの各々と同じサイズの１つのＤＣＴブロックを出力
する。すなわち、４個またはそれ以上の８×８ＤＣＴブ
ロックが結合され、それら結合されたブロックの平均で
ある単一の８×８ＤＣＴブロックが生成される。
【００３５】８×８の２次元ＤＣＴは、空間領域にある
次の数３のブロックを数４の式(1)に従って数５で示さ
れる周波数成分マトリックスに変換する。但し、式(1)
においてC(0)=1/21/2で、k>0の場合c(k)=1である。
次の数３のブロックを数４の式(1)に従って数５で示さ
れる周波数成分マトリックスに変換する。但し、式(1)
においてC(0)=1/21/2で、k>0の場合c(k)=1である。
【００３６】
【数３】
【００３７】
【数４】
【００３８】
【数５】 逆変換は次の数６の式(2)によって与えられる。
【００３９】
【数６】 マトリックス形式において、
【００４０】
【数７】 および
【００４１】
【数８】 とし、次の数９の８点ＤＣＴマトリックスを定義すれ
ば、
ば、
【００４２】
【数９】 但し
【００４３】
【数１０】 X=SxSt (4) である。上式(4)において、肩文字tはマトリックス転移
を示す。同様に、肩文字-tが逆向き転移を示すとすれ
ば、 ｘ=S-1XS-t=StXS (5) である。
を示す。同様に、肩文字-tが逆向き転移を示すとすれ
ば、 ｘ=S-1XS-t=StXS (5) である。
【００４４】ここで、１６×１６四辺形を形成する４つ
の隣接する８×８空間領域データ・ブロックx1、x2、x3
およびx4が存在すると仮定する。x1は北西位置、x2は北
東位置、x3は南西、x4は南東にそれぞれ相当する位置に
あるとする。各次元における２という因子による縮小サ
ンプリング(間引き)は、小さい２×２ブロックを形成す
るあらゆる非オーバーラップの４ピクセル・グループ
が、その４つのオリジナル・ピクセルの平均である強度
を持つ１つのピクセルによって置き換えられるというこ
とを意味する。結果として、オリジナルのブロックx1、
x2、x3、x4は、それらの縮小サンプリングに対応する単
一の８×８出力ブロックｘによって置き換えられる。本
発明の目的は、オリジナルのブロックの所与のＤＣＴ
X1、X2、X3、X4から直接ｘのＤＣＴであるXを効率的に
計算することである。
の隣接する８×８空間領域データ・ブロックx1、x2、x3
およびx4が存在すると仮定する。x1は北西位置、x2は北
東位置、x3は南西、x4は南東にそれぞれ相当する位置に
あるとする。各次元における２という因子による縮小サ
ンプリング(間引き)は、小さい２×２ブロックを形成す
るあらゆる非オーバーラップの４ピクセル・グループ
が、その４つのオリジナル・ピクセルの平均である強度
を持つ１つのピクセルによって置き換えられるというこ
とを意味する。結果として、オリジナルのブロックx1、
x2、x3、x4は、それらの縮小サンプリングに対応する単
一の８×８出力ブロックｘによって置き換えられる。本
発明の目的は、オリジナルのブロックの所与のＤＣＴ
X1、X2、X3、X4から直接ｘのＤＣＴであるXを効率的に
計算することである。
【００４５】入力ブロックの数が９および１６の場合の
因数３および４による縮小サンプリングの課題も同様に
定義される。因数２の場合と同様に、因数３の場合はあ
らゆる３×３ピクセル非オーバーラップ・グループが、
因数４の場合はあらゆる４×４ピクセル非オーバーラッ
プ・グループが、それのピクセルの平均値を持つ単一の
ピクセルによって置き換えられる。
因数３および４による縮小サンプリングの課題も同様に
定義される。因数２の場合と同様に、因数３の場合はあ
らゆる３×３ピクセル非オーバーラップ・グループが、
因数４の場合はあらゆる４×４ピクセル非オーバーラッ
プ・グループが、それのピクセルの平均値を持つ単一の
ピクセルによって置き換えられる。
【００４６】説明の単純化のため、先ず１次元ケースで
因子２の縮小サンプリングを考察する。２次元ケース
は、各ブロックのすべての行に関する繰り返しを行い、
次にあらゆる列について繰り返しを行う。この場合、長
さ８、x1=S-1X1およびx2=S-1X2という隣接時間領域ベク
トルに対応するＤＣＴ係数の２つの８次元ベクトルX1お
よびX2が所与とされ、各コンポーネントがx1またはx2に
おける２つの適切な隣接コンポーネントの平均値を持つ
８次元ベクトルｘのＤＣＴであるXを計算することが必
要である。
因子２の縮小サンプリングを考察する。２次元ケース
は、各ブロックのすべての行に関する繰り返しを行い、
次にあらゆる列について繰り返しを行う。この場合、長
さ８、x1=S-1X1およびx2=S-1X2という隣接時間領域ベク
トルに対応するＤＣＴ係数の２つの８次元ベクトルX1お
よびX2が所与とされ、各コンポーネントがx1またはx2に
おける２つの適切な隣接コンポーネントの平均値を持つ
８次元ベクトルｘのＤＣＴであるXを計算することが必
要である。
【００４７】次式(6)のマトリックス形式で縮小サンプ
リング演算を記述することは便利である。 x=(Q1x1+Q2x2)/2 (6) 但し、上式においてQ1およびQ2は次の数１１および数１
２である。
リング演算を記述することは便利である。 x=(Q1x1+Q2x2)/2 (6) 但し、上式においてQ1およびQ2は次の数１１および数１
２である。
【００４８】
【数１１】
【００４９】
【数１２】
【００５０】従って X=(SQ1S-1X1+SQ2S-1X2) (7) である。次に、マトリックスU1=SQ1S-1およびU2=SQ2S-1
の効果的分解を考察する。８点ＤＣＴに関する既存の最
高速アルゴリズムに対応するＳの分解が使用される。こ
のアルゴリズムは、W. B. Pennebake, J. L. Mitchell
両氏著の"JPEG Still ImageData Compression Standar
d, Van Nostrand Reinhold, pp. 50-63, 1993"に記載さ
れている。この分解アルゴリズムに従って、Sは、 S=DPB1B2MA1A2A3 (8) として表記される。Ｄは、 D = diag{0.3536, 0.2549, 0.2706, 0.3007, 0.3536, 0.4500, 0.6533, 1.2814} (9a) によって与えられる対角線マトリックスである。Ｐは、
次式(9b)によって与えられる置換マトリックスである。
の効果的分解を考察する。８点ＤＣＴに関する既存の最
高速アルゴリズムに対応するＳの分解が使用される。こ
のアルゴリズムは、W. B. Pennebake, J. L. Mitchell
両氏著の"JPEG Still ImageData Compression Standar
d, Van Nostrand Reinhold, pp. 50-63, 1993"に記載さ
れている。この分解アルゴリズムに従って、Sは、 S=DPB1B2MA1A2A3 (8) として表記される。Ｄは、 D = diag{0.3536, 0.2549, 0.2706, 0.3007, 0.3536, 0.4500, 0.6533, 1.2814} (9a) によって与えられる対角線マトリックスである。Ｐは、
次式(9b)によって与えられる置換マトリックスである。
【００５１】
【数１３】 残りのマトリックスは、以下の式(9c)ないし式(9h)のよ
うに定義される。
うに定義される。
【００５２】
【数１４】
【００５３】
【数１５】
【００５４】
【数１６】
【００５５】
【数１７】
【００５６】
【数１８】
【００５７】
【数１９】 かくして、i=1,2に関して、次式(10)が得られる。
【００５８】
【数２０】
【００５９】本発明の縮小サンプリング・アルゴリズム
は、次式(11)の積がかなり疎なマトリックスであり、対
応するエレメントの大部分は同じもので時々符号が異な
るという観察に基づいている。これは、それらの和F+=F
1+F2およびそれらの差F-=F1-F2は一層疎であることを意
味する。
は、次式(11)の積がかなり疎なマトリックスであり、対
応するエレメントの大部分は同じもので時々符号が異な
るという観察に基づいている。これは、それらの和F+=F
1+F2およびそれらの差F-=F1-F2は一層疎であることを意
味する。
【００６０】
【数２１】 このようなマトリックスは次の数２２および数２３のよ
うに与えられる。
うに与えられる。
【００６１】
【数２２】
【００６２】
【数２３】 最後に、式(10)および式(11)を使用して、式(7)は次式
(12)のように書き換えられる。
(12)のように書き換えられる。
【００６３】
【数２４】
【００６４】次に、式(12)の最右辺を実施するために必
要とされるマイクロプロセッサ上の基本算術演算の数を
数え、それを空間領域アプローチと比較する。上述のよ
うに、ここでいう演算は、シフト(SHIFT)、加算(ADD)、
シフト加算(SHIFTand ADD)、１シフト加算(SH1ADD)、２
シフト加算(SH2ADD)、３シフト加算(SH3ADD)Ｄ)のよう
なマイクロプロセッサの基本算術に対応する演算を指
す。例えば、計算z=1.375x+1.125yは、次のように実施
される。先ずu=x+0.5x(SHlADD)を計算して、次にv=x+0.
25u(SH2ADD)を計算し、その後w=v+y(ADD)を計算し、最
後にz=w+0.125yを計算する。 このように、全体で４回
の基本演算が必要とされる。
要とされるマイクロプロセッサ上の基本算術演算の数を
数え、それを空間領域アプローチと比較する。上述のよ
うに、ここでいう演算は、シフト(SHIFT)、加算(ADD)、
シフト加算(SHIFTand ADD)、１シフト加算(SH1ADD)、２
シフト加算(SH2ADD)、３シフト加算(SH3ADD)Ｄ)のよう
なマイクロプロセッサの基本算術に対応する演算を指
す。例えば、計算z=1.375x+1.125yは、次のように実施
される。先ずu=x+0.5x(SHlADD)を計算して、次にv=x+0.
25u(SH2ADD)を計算し、その後w=v+y(ADD)を計算し、最
後にz=w+0.125yを計算する。 このように、全体で４回
の基本演算が必要とされる。
【００６５】演算を数える時、DとD-1の乗算は、それら
が逆量子化器１４および量子化器２６によってそれぞれ
吸収されるので、無視することができるという事実を使
用する。マトリックスPおよびP-1はコンポーネントの順
序の変化のみを発生させるので、同様に無視することが
できる。かくして、以下の演算が残る。( )内は加算／
減算の数および意味のある乗算の数を示す。 ＊ X1+X2および X1-X2作成演算：１６演算(１６加
算)。 ＊ ２回のB-1 1による乗算：８演算(８加算) ＊ ２回のB-1 2による乗算：８演算(８加算) ＊ F+による乗算：２３演算(５乗算＋５加算)。 ＊ F-による乗算：２８演算(６乗算＋４加算)。 ＊ 積の加算：８演算(８加算)。 ＊ B2による乗算：４演算(４加算)。 ＊ B1による乗算：４演算(４加算)。 ＊ 合計：１１５演算(１１乗算＋５７加算)。
が逆量子化器１４および量子化器２６によってそれぞれ
吸収されるので、無視することができるという事実を使
用する。マトリックスPおよびP-1はコンポーネントの順
序の変化のみを発生させるので、同様に無視することが
できる。かくして、以下の演算が残る。( )内は加算／
減算の数および意味のある乗算の数を示す。 ＊ X1+X2および X1-X2作成演算：１６演算(１６加
算)。 ＊ ２回のB-1 1による乗算：８演算(８加算) ＊ ２回のB-1 2による乗算：８演算(８加算) ＊ F+による乗算：２３演算(５乗算＋５加算)。 ＊ F-による乗算：２８演算(６乗算＋４加算)。 ＊ 積の加算：８演算(８加算)。 ＊ B2による乗算：４演算(４加算)。 ＊ B1による乗算：４演算(４加算)。 ＊ 合計：１１５演算(１１乗算＋５７加算)。
【００６６】一方、空間領域アプローチでは次の演算が
必要である。 ＊ ２つのＩＤＣＴ：１１４演算(１０乗算＋６０加
算)。 ＊ 時間領域における縮小サンプリング：８演算(８加
算)。 ＊ ＤＣＴ：４２演算(５乗算＋３０加算)。 ＊ 合計：１６１演算(１５乗算＋９８加算)。 このように、本発明の方式は、１次元のケースにおいて
演算の約３０％を節約する。２次元ケースにおいても複
雑性を大幅に減少させることが可能である。
必要である。 ＊ ２つのＩＤＣＴ：１１４演算(１０乗算＋６０加
算)。 ＊ 時間領域における縮小サンプリング：８演算(８加
算)。 ＊ ＤＣＴ：４２演算(５乗算＋３０加算)。 ＊ 合計：１６１演算(１５乗算＋９８加算)。 このように、本発明の方式は、１次元のケースにおいて
演算の約３０％を節約する。２次元ケースにおいても複
雑性を大幅に減少させることが可能である。
【００６７】本発明の方式の副産物として、演算の精度
向上が得られる。直接アプローチにおいては、マトリッ
クスの各々１つが式(11)の右辺で一時点で１つずつ乗算
されるので、これらのマトリックスのエレメントの有限
ワード長表現に関連して発生する丸め誤差が各ステップ
毎に累積される。一方、本発明の方式においては、Fiを
一度にかついかなる所望の精度についてもすべて事前計
算し、これらのマトリックスの各エレメントを所望の精
度に丸めることが可能である。詳細は後述するが、後者
の方が精度は高い。
向上が得られる。直接アプローチにおいては、マトリッ
クスの各々１つが式(11)の右辺で一時点で１つずつ乗算
されるので、これらのマトリックスのエレメントの有限
ワード長表現に関連して発生する丸め誤差が各ステップ
毎に累積される。一方、本発明の方式においては、Fiを
一度にかついかなる所望の精度についてもすべて事前計
算し、これらのマトリックスの各エレメントを所望の精
度に丸めることが可能である。詳細は後述するが、後者
の方が精度は高い。
【００６８】次に２次元ケースを考察する。２次元ＤＣ
Ｔは行単位のＤＣＴ操作として実行される。行単位ＤＣ
Ｔ操作は、空間領域画像ブロックの各行の１次元ＤＣＴ
をとり出すことを意味する。列単位ＤＣＴ操作は、行単
位ＤＣＴ操作の後のブロックの各列の１次元ＤＣＴを取
り出すことを意味する。従って、本発明は２次元のケー
スにも容易に適用することができる。以下に因数２、３
および４の縮小サンプリングの計算方式の詳細を記述す
る。
Ｔは行単位のＤＣＴ操作として実行される。行単位ＤＣ
Ｔ操作は、空間領域画像ブロックの各行の１次元ＤＣＴ
をとり出すことを意味する。列単位ＤＣＴ操作は、行単
位ＤＣＴ操作の後のブロックの各列の１次元ＤＣＴを取
り出すことを意味する。従って、本発明は２次元のケー
スにも容易に適用することができる。以下に因数２、３
および４の縮小サンプリングの計算方式の詳細を記述す
る。
【００６９】因子２の縮小サンプリング 次の式(13)は、式(6)を２次元へ拡張したものである。
【００７０】
【数２５】 上式において、ｘは、８×８ブロックx1, x2, x3および
x4によってカバーされた区域に関する因数２縮小サンプ
リングされた２次元８×８ブロックである。式(12)の対
応するＤＣＴ領域拡張は次式(14)である。
x4によってカバーされた区域に関する因数２縮小サンプ
リングされた２次元８×８ブロックである。式(12)の対
応するＤＣＴ領域拡張は次式(14)である。
【００７１】
【数２６】
【００７２】従って、本発明は、ＤＣＴ領域のデータを
直接操作することによってXを効率的に計算する。空間
領域アプローチは、x1, x2, x3およびx4を計算するため
の明示的ＩＤＣＴ実行、その後の式(13)を使用したｘの
計算およびXを得るためのｘのＤＣＴの取り出しを必要
とする。
直接操作することによってXを効率的に計算する。空間
領域アプローチは、x1, x2, x3およびx4を計算するため
の明示的ＩＤＣＴ実行、その後の式(13)を使用したｘの
計算およびXを得るためのｘのＤＣＴの取り出しを必要
とする。
【００７３】再び、式(14)の右辺を次の数２７および数
２８のように表すことが望ましい。
２８のように表すことが望ましい。
【００７４】
【数２７】
【００７５】
【数２８】
【００７６】また、次の式(15)ないし(18)を定義する。 X+++ = X1+X2+X3+X4 (15) X+-- = X1+X2-X3-X4 (16) X-+- = X1-X2+X3-X4 (17) X--+ = X1-X2-X3+X4 (18) 前述の線形組み合わせのすべてを作成する場合、周波数
成分毎に(１２ではなく)８個の加算／減算が必要なだけ
である点に注意する必要がある。すなわち、先ず(X1±X
2)および(X3±X4) を計算し、次に(X1+X2)±(X3+X4)お
よび(X1-X2)±(X3-X4)を計算する。式(14)は次の式(19
a)のように書き換えることができる。
成分毎に(１２ではなく)８個の加算／減算が必要なだけ
である点に注意する必要がある。すなわち、先ず(X1±X
2)および(X3±X4) を計算し、次に(X1+X2)±(X3+X4)お
よび(X1-X2)±(X3-X4)を計算する。式(14)は次の式(19
a)のように書き換えることができる。
【００７７】
【数２９】
【００７８】式(19a)の最右辺を実施する場合の演算の
数を数えると、合計２８２４回の演算である。一方、空
間領域アプローチは４５１２回の演算を必要とする。こ
れは、本発明の方式を使用すれば演算の３７.４％が節
約されることを意味する。
数を数えると、合計２８２４回の演算である。一方、空
間領域アプローチは４５１２回の演算を必要とする。こ
れは、本発明の方式を使用すれば演算の３７.４％が節
約されることを意味する。
【００７９】典型的な画像において大部分のＤＣＴブロ
ックXiが、通常は低周波係数である２、３の非ゼロ係数
だけを持つという事実を利用することによって更に計算
量を節約することができる。このような計算量の一層の
節約を実施するアプローチの１つは次のような２つのス
テップで動作するメカニズムを使用する。第１のステッ
プにおいて、ＤＣＴブロックがローパスまたは非ローパ
スに分類される。ローパスは左上４×４サブブロックだ
け非ゼロであるブロックとして定義される。第２のステ
ップは、ローパス・ブロックに関する上述の計算方式、
または、上述のマトリックス乗算の事前計算に関するロ
ーパス仮定を使用する一層迅速な方式のいずれかを使用
する。X1,...X4がすべてローパス・ブロックであれば、
計算量の減少は約８０％であることが判明する。この同
じアプローチを後述される３および４因子の縮小サンプ
リングにも適用できる。
ックXiが、通常は低周波係数である２、３の非ゼロ係数
だけを持つという事実を利用することによって更に計算
量を節約することができる。このような計算量の一層の
節約を実施するアプローチの１つは次のような２つのス
テップで動作するメカニズムを使用する。第１のステッ
プにおいて、ＤＣＴブロックがローパスまたは非ローパ
スに分類される。ローパスは左上４×４サブブロックだ
け非ゼロであるブロックとして定義される。第２のステ
ップは、ローパス・ブロックに関する上述の計算方式、
または、上述のマトリックス乗算の事前計算に関するロ
ーパス仮定を使用する一層迅速な方式のいずれかを使用
する。X1,...X4がすべてローパス・ブロックであれば、
計算量の減少は約８０％であることが判明する。この同
じアプローチを後述される３および４因子の縮小サンプ
リングにも適用できる。
【００８０】図５は、図４の縮小サンプリング手段１７
による因子２の縮小サンプリングを示すブロック図であ
る。図５の回路は、デジタル画像処理技術における式(1
9a)の実際の応用である。
による因子２の縮小サンプリングを示すブロック図であ
る。図５の回路は、デジタル画像処理技術における式(1
9a)の実際の応用である。
【００８１】マトリックスX1、X2、X3およびX4は取り出
し手段１６から送られ、マトリックス加算ネットワーク
４０１へ入力され、Ｘ+++、X+--、X-+-およびX--+が生成
される。マトリックス加算ネットワーク４０１は、式(1
5)、(16)、(17)および(18)を実施する。Ｘ+++は乗算器
４０３、４０５、４０７および４０９によって、またX
+--は乗算器４１１ないし４２９によって、それぞれ
P-1、B-1 1、B-1 2およびF+を乗じられる。同様に、X-+-
およびX--+は、乗算器４１７ないし４３１および乗算器
４２３ないし４３３によってそれぞれP-1、B-1 1、B-1 2
およびF-を乗じられる。
し手段１６から送られ、マトリックス加算ネットワーク
４０１へ入力され、Ｘ+++、X+--、X-+-およびX--+が生成
される。マトリックス加算ネットワーク４０１は、式(1
5)、(16)、(17)および(18)を実施する。Ｘ+++は乗算器
４０３、４０５、４０７および４０９によって、またX
+--は乗算器４１１ないし４２９によって、それぞれ
P-1、B-1 1、B-1 2およびF+を乗じられる。同様に、X-+-
およびX--+は、乗算器４１７ないし４３１および乗算器
４２３ないし４３３によってそれぞれP-1、B-1 1、B-1 2
およびF-を乗じられる。
【００８２】マトリックス加算ネットワーク４０１およ
びマトリックス乗算器４０３ないし４３３によって生成
されたこれらの結果のマトリックスは加算器４３５およ
び４３７によって加算される。マトリックス加算器４３
５によって加算される項目は、数量Ｘ+++P-1B-1 1B-1 2F+
およびX+--P-1B-1 1B-1 2F-であり、マトリックス加算器
４３７によって加算される項目は数量Ｘ-+-P-1B-1 1B-1 2
F+およびX--+P-1B-1 1B-1 2F-である。
びマトリックス乗算器４０３ないし４３３によって生成
されたこれらの結果のマトリックスは加算器４３５およ
び４３７によって加算される。マトリックス加算器４３
５によって加算される項目は、数量Ｘ+++P-1B-1 1B-1 2F+
およびX+--P-1B-1 1B-1 2F-であり、マトリックス加算器
４３７によって加算される項目は数量Ｘ-+-P-1B-1 1B-1 2
F+およびX--+P-1B-1 1B-1 2F-である。
【００８３】マトリックス加算器４３５および４３７に
よって生成された和の各々にマトリックス乗算器４３９
ないし４４９によってマトリックスP-tB-t 1B-t 2が乗じ
られる。マトリックス乗算器４４３によって生成された
積にはマトリックス乗算器４５１によってマトリックス
F+が更に乗じられ、また、マトリックス乗算器４４９に
よって生成された積にはマトリックス乗算器４５３によ
ってマトリックスF-が更に乗じられる。次に、乗算器４
４９および４５１の結果がマトリックス加算器４５５に
よって加算される。この加算結果は次の式(19b)とな
る。
よって生成された和の各々にマトリックス乗算器４３９
ないし４４９によってマトリックスP-tB-t 1B-t 2が乗じ
られる。マトリックス乗算器４４３によって生成された
積にはマトリックス乗算器４５１によってマトリックス
F+が更に乗じられ、また、マトリックス乗算器４４９に
よって生成された積にはマトリックス乗算器４５３によ
ってマトリックスF-が更に乗じられる。次に、乗算器４
４９および４５１の結果がマトリックス加算器４５５に
よって加算される。この加算結果は次の式(19b)とな
る。
【００８４】
【数３０】 逆量子化器１４および量子化器２６は、式(19)のマトリ
ックスD、D-1、DtおよびDt-1を伴う計算を含む。従っ
て、縮小サンプリング手段１７において、これらのマト
リックスを乗算するためのマトリックス乗算器は必要と
されない。
ックスD、D-1、DtおよびDt-1を伴う計算を含む。従っ
て、縮小サンプリング手段１７において、これらのマト
リックスを乗算するためのマトリックス乗算器は必要と
されない。
【００８５】式(19b)の和は、次に、マトリックス乗算
器４５７ないし４６７によって式(19a)の残りのマトリ
ックスB2、Bt 2、B1、Bt 1、PおよびPtが乗じられ、最後
に乗算器４６９によって縮小サンプリング因子1/16が乗
じられる。
器４５７ないし４６７によって式(19a)の残りのマトリ
ックスB2、Bt 2、B1、Bt 1、PおよびPtが乗じられ、最後
に乗算器４６９によって縮小サンプリング因子1/16が乗
じられる。
【００８６】因子４の縮小サンプリング 因子４による縮小サンプリングの１つのアプローチは因
子２の縮小サンプリングを２回行うことである。しか
し、同様の方法を使用して因子４による縮小サンプリン
グを直接行う一層効率的方式を開発することができる。
因子４による縮小サンプリングは以下の数３１から数３
５までのマトリックスを含む。
子２の縮小サンプリングを２回行うことである。しか
し、同様の方法を使用して因子４による縮小サンプリン
グを直接行う一層効率的方式を開発することができる。
因子４による縮小サンプリングは以下の数３１から数３
５までのマトリックスを含む。
【００８７】
【数３１】
【００８８】
【数３２】
【００８９】
【数３３】
【００９０】
【数３４】
【００９１】
【数３５】 次に、以下の数３６および数３７に示される式(21)ない
し(28)を定義する。
し(28)を定義する。
【００９２】
【数３６】
【００９３】
【数３７】 また、入力データに関する以下の数３８および数３９に
おける式(29)ないし(36)の線形組み合わせを定義する。
おける式(29)ないし(36)の線形組み合わせを定義する。
【００９４】
【数３８】 但しi=1,2,3,4
【００９５】
【数３９】
【００９６】これらの組み合わせのすべてを作成するた
めには、周波数コンポーネントあたり６４回の加減算が
必要である。計算の結果、式(19a)と同様に、次式(37)
が得られる。
めには、周波数コンポーネントあたり６４回の加減算が
必要である。計算の結果、式(19a)と同様に、次式(37)
が得られる。
【００９７】
【数４０】
【００９８】この式を実行する際の演算数は、空間領域
アプローチにおける１６２２４回の演算に対して８２２
４回である。式(37)は、図４に関連して上述した形態と
同様なハードウェア・マトリクス乗算器および加算器を
使用して実施することが可能である。
アプローチにおける１６２２４回の演算に対して８２２
４回である。式(37)は、図４に関連して上述した形態と
同様なハードウェア・マトリクス乗算器および加算器を
使用して実施することが可能である。
【００９９】因子３による縮小サンプリング 因子３による縮小サンプリングは、平均されるべき３×
3ブロックのいくつかが１つの８×８ＤＣＴブロックの
範囲内に完全には位置しないので、因子２および４より
厄介でありそれほど優雅ではない。この場合、次の３種
類の縮小サンプリング・マトリックスがあり、ｘは数４
４の式(38)のように定義される。
3ブロックのいくつかが１つの８×８ＤＣＴブロックの
範囲内に完全には位置しないので、因子２および４より
厄介でありそれほど優雅ではない。この場合、次の３種
類の縮小サンプリング・マトリックスがあり、ｘは数４
４の式(38)のように定義される。
【０１００】
【数４１】
【０１０１】
【数４２】
【０１０２】
【数４３】
【０１０３】
【数４４】
【０１０４】因子２および４の場合と同様に、以下の式
(39)、(40)および(41)を定義する。計算方式は、下記式
(42)、(43)および(44)が相対的に疎であるという事実お
よび式(45)の認識に基づいている。
(39)、(40)および(41)を定義する。計算方式は、下記式
(42)、(43)および(44)が相対的に疎であるという事実お
よび式(45)の認識に基づいている。
【０１０５】
【数４５】 T = T1 + T2 + T3 (42) T+ = T1 + T3 (43) T- = (T1 - T3)/2 (44) T1X+T2Y+T3Z=TY+T+((X+Z)/2-Y)+T-(X-Z) (45) 式(38)がＤＣＴ領域に変換され、若干の代数的操作を行
った後式(45)を使用してT、T+およびT-に関して固定的
マトリックスを表現すれば、次式(46)が得られる。
った後式(45)を使用してT、T+およびT-に関して固定的
マトリックスを表現すれば、次式(46)が得られる。
【０１０６】
【数４６】 但し
【０１０７】
【数４７】 {X1,...X9}から{X'1,,...,X'9}への変換は、周波数成分
あたり１８回の演算で実行することができる。式(46)の
総演算回数は５７２８である。一方、空間領域アプロー
チの総演算回数は９３９２であるので、約３９％の計算
量節約である。
あたり１８回の演算で実行することができる。式(46)の
総演算回数は５７２８である。一方、空間領域アプロー
チの総演算回数は９３９２であるので、約３９％の計算
量節約である。
【０１０８】本発明の１つの実施形態において、因数３
の縮小サンプリングは、図4に関連して上述した因子２
の縮小サンプリングの場合と同様な形態のマトリックス
乗算器およびマトリックス加算器を使用して実施され
る。
の縮小サンプリングは、図4に関連して上述した因子２
の縮小サンプリングの場合と同様な形態のマトリックス
乗算器およびマトリックス加算器を使用して実施され
る。
【０１０９】本発明の計算方式は、標準的アプローチよ
りすぐれた演算精度を提供する。この事実は、因子２の
縮小サンプリングの場合に関する以下の両方式のテスト
によって確認できる。以下のテストでは、マトリックス
の各成分は８ビットである。
りすぐれた演算精度を提供する。この事実は、因子２の
縮小サンプリングの場合に関する以下の両方式のテスト
によって確認できる。以下のテストでは、マトリックス
の各成分は８ビットである。
【０１１０】第１のテストでは、成分x1,...x4は、セッ
ト{0,1,...,255}において一様に分散した統計学的に独
立したランダムの整数として選ばれた。基準のため
x1,...x4から直接まずxを、次にXを計算する。次に、所
与の量子化マトリックスΔに従ってすべてのＤＣＴ計数
が量子化され次に逆量子化されるようにＤＣＴX1,..,X4
を計算する。X1,...,X4を基に、標準および本発明両方
のアプローチを使用して、Xを計算し、その結果を基準
値と比較する。この場合、各アプローチの精度は、ＤＣ
Ｔ領域および空間領域における誤差の平方和(すなわち
ＭＳＥ)で測定される。Δがすべて１つのマトリックス
の場合、本発明方式のＭＳＥは、標準アプローチより約
３ｄＢすぐれている。Δが輝度に関してＪＰＥＧの推奨
された量子化マトリックスである場合には(この点につ
いてはW. B. Pennebaker, J. L. Mitchell両氏著"JPEG
still Image Data Compression Standard, Van Nostran
d Reinhold, 1993"を参照のこと)、本発明の方式は、
１.2ｄＢ標準方式を上回る。量子化器のステップのサイ
ズが増加する時、ＤＣＴ係数に関連する量子化誤差が不
正確な計算に関連する丸め誤差の大半の原因となる傾向
があるので、上記の結果は理にかなっている。
ト{0,1,...,255}において一様に分散した統計学的に独
立したランダムの整数として選ばれた。基準のため
x1,...x4から直接まずxを、次にXを計算する。次に、所
与の量子化マトリックスΔに従ってすべてのＤＣＴ計数
が量子化され次に逆量子化されるようにＤＣＴX1,..,X4
を計算する。X1,...,X4を基に、標準および本発明両方
のアプローチを使用して、Xを計算し、その結果を基準
値と比較する。この場合、各アプローチの精度は、ＤＣ
Ｔ領域および空間領域における誤差の平方和(すなわち
ＭＳＥ)で測定される。Δがすべて１つのマトリックス
の場合、本発明方式のＭＳＥは、標準アプローチより約
３ｄＢすぐれている。Δが輝度に関してＪＰＥＧの推奨
された量子化マトリックスである場合には(この点につ
いてはW. B. Pennebaker, J. L. Mitchell両氏著"JPEG
still Image Data Compression Standard, Van Nostran
d Reinhold, 1993"を参照のこと)、本発明の方式は、
１.2ｄＢ標準方式を上回る。量子化器のステップのサイ
ズが増加する時、ＤＣＴ係数に関連する量子化誤差が不
正確な計算に関連する丸め誤差の大半の原因となる傾向
があるので、上記の結果は理にかなっている。
【０１１１】第２のテストも同様であるが、テスト・デ
ータがランダム・データではなく実像に基づいている。
すべて１つのマトリックスの場合、標準アプローチは４
６.０８ｄＢのＳＮＲを派生するが、一方、本発明のア
プローチは４９.０２ｄＢで、やはり３ｄＢ改善されて
いる。ΔがＪＰＥＧデフォルト量子化器の場合、数値は
それぞれ３６.６３ｄＢおよび３６.８４ｄＢである。大
部分のＤＣＴ係数が両方の技術においてゼロに丸められ
ているので、ランダム・データの場合より改善の程度が
少ない。
ータがランダム・データではなく実像に基づいている。
すべて１つのマトリックスの場合、標準アプローチは４
６.０８ｄＢのＳＮＲを派生するが、一方、本発明のア
プローチは４９.０２ｄＢで、やはり３ｄＢ改善されて
いる。ΔがＪＰＥＧデフォルト量子化器の場合、数値は
それぞれ３６.６３ｄＢおよび３６.８４ｄＢである。大
部分のＤＣＴ係数が両方の技術においてゼロに丸められ
ているので、ランダム・データの場合より改善の程度が
少ない。
【０１１２】逆動き補償 図６は、本発明に従った画像／ビデオ・エディタ１３０
の圧縮画像領域において逆動き補償を実行する逆動き補
償モジュール３０を示すブロック図である。図３で示さ
れたように、画像／ビデオ・エディタ１３０は、縮小サ
ンプリング器１０を含む場合もある。図３に関連して述
べたように、ディスク１２４から取り出された圧縮ビッ
トストリーム１２８は、ハフマン復号器１２によって部
分的に復号される。ビットストリームは、ＭＰＥＧまた
はＨ.２６１のような既知のＤＣＴ型ビデオ圧縮方式に
従って圧縮されている。部分的に伸張されたビットスト
リーム１２８は、逆量子化器１４によって逆量子化され
る。
の圧縮画像領域において逆動き補償を実行する逆動き補
償モジュール３０を示すブロック図である。図３で示さ
れたように、画像／ビデオ・エディタ１３０は、縮小サ
ンプリング器１０を含む場合もある。図３に関連して述
べたように、ディスク１２４から取り出された圧縮ビッ
トストリーム１２８は、ハフマン復号器１２によって部
分的に復号される。ビットストリームは、ＭＰＥＧまた
はＨ.２６１のような既知のＤＣＴ型ビデオ圧縮方式に
従って圧縮されている。部分的に伸張されたビットスト
リーム１２８は、逆量子化器１４によって逆量子化され
る。
【０１１３】逆量子化器１４は、逆動き補償モジュール
３０に接続されている。逆動き補償モジュール３０のピ
クチャ取り出しモジュール３７−４１は、逆量子化され
部分的に伸張されたビットストリームX1,X2...から、
(時間Ｔにおける)現在時ピクチャに対応するＤＣＴ８×
８ブロック、および、(時間Ｔ−１における)アンカー・
ピクチャと現在時ピクチャの間の差分に対応する動きベ
クトルh、wを抜き出す。次に、ＤＣＴブロックおよび動
きベクトル情報は式(59)の計算を実行する処理装置４０
へ送られる。
３０に接続されている。逆動き補償モジュール３０のピ
クチャ取り出しモジュール３７−４１は、逆量子化され
部分的に伸張されたビットストリームX1,X2...から、
(時間Ｔにおける)現在時ピクチャに対応するＤＣＴ８×
８ブロック、および、(時間Ｔ−１における)アンカー・
ピクチャと現在時ピクチャの間の差分に対応する動きベ
クトルh、wを抜き出す。次に、ＤＣＴブロックおよび動
きベクトル情報は式(59)の計算を実行する処理装置４０
へ送られる。
【０１１４】詳細は以下に記述されるが、最高４つの８
×８ＤＣＴブロックが単一の８×８ＤＣＴブロックを生
成するため結合されるように、８×８ＤＣＴブロック
は、アンカー・ピクチャ(Ｔ−１)の範囲内の所望の区域
に位置を定めるように処理される。取り出しモジュール
３６がメモリ１５からh、wを取り出し、別のモジュール
４１が、ピクチャ(Ｔ−１)を構成する４つの８×８ＤＣ
ＴブロックX1,X2,X3,X4を取り出す。更に別のモジュー
ル３７が、hおよびwを使用して、必要とされるマトリッ
クスJ、Kを取り出し、それによって、一組の固定的マト
リックスを事前計算する。別のモジュール３８が、現在
時ピクチャ(Ｔ)に対応する８×８ＤＣＴブロックをメモ
リから取り出す。アンカー・ピクチャ(Ｔ−１)の適切な
区域の位置が定められると、逆動き補償計算(すなわち
後述の式59の計算)を実行するため、アンカー・ピクチ
ャ(Ｔ−１)を確立するために必要な情報を含む４つの８
×８ＤＣＴブロックが処理装置４０によって単一の８×
８ＤＣＴブロックに変換され、変換されたブロックがア
ンカー・ピクチャ(Ｔ−１)と現在時ピクチャ(Ｔ)の間の
差分を表す８×８ＤＣＴブロックと加算器３９によって
加算され、独立した画像が生成される。動き補償が行わ
れたＤＣＴブロック４３は、図３に示されるように量子
化器２６、次いでハフマン符号化器に送られ、出力２５
がディスク・ドライブ１１に記憶される。
×８ＤＣＴブロックが単一の８×８ＤＣＴブロックを生
成するため結合されるように、８×８ＤＣＴブロック
は、アンカー・ピクチャ(Ｔ−１)の範囲内の所望の区域
に位置を定めるように処理される。取り出しモジュール
３６がメモリ１５からh、wを取り出し、別のモジュール
４１が、ピクチャ(Ｔ−１)を構成する４つの８×８ＤＣ
ＴブロックX1,X2,X3,X4を取り出す。更に別のモジュー
ル３７が、hおよびwを使用して、必要とされるマトリッ
クスJ、Kを取り出し、それによって、一組の固定的マト
リックスを事前計算する。別のモジュール３８が、現在
時ピクチャ(Ｔ)に対応する８×８ＤＣＴブロックをメモ
リから取り出す。アンカー・ピクチャ(Ｔ−１)の適切な
区域の位置が定められると、逆動き補償計算(すなわち
後述の式59の計算)を実行するため、アンカー・ピクチ
ャ(Ｔ−１)を確立するために必要な情報を含む４つの８
×８ＤＣＴブロックが処理装置４０によって単一の８×
８ＤＣＴブロックに変換され、変換されたブロックがア
ンカー・ピクチャ(Ｔ−１)と現在時ピクチャ(Ｔ)の間の
差分を表す８×８ＤＣＴブロックと加算器３９によって
加算され、独立した画像が生成される。動き補償が行わ
れたＤＣＴブロック４３は、図３に示されるように量子
化器２６、次いでハフマン符号化器に送られ、出力２５
がディスク・ドライブ１１に記憶される。
【０１１５】圧縮ビデオの動き補償は、現在時ピクチャ
の各８×８空間領域ブロックを前のピクチャの対応する
基準ブロックxによって予測し、ＤＣＴを使用して予測
誤差ブロックe=x-xを符号化すること(上述の式(1)ない
し(5)参照)を意味する。例えばＢ−ピクチャのようない
くつかのピクチャにおいては、ブロックは、過去および
将来の基準ブロックから推定される。この点に関する技
術情報は、Audio. Committee Draft of Standard IS011
172, ISO/MPEG 90/176, December 1990Video Codec for
Audio Visual Services at px64 Kbits/s, CCITT Reco
mmendation H.261, 1990およびD. le Gall, MPEG:A Vid
eo Compression Standard for Multimedia Application
s, Commun. of the ACM, Vol. 34, No. 4, pp.47-58, A
pril 1991に記載されている。簡略化のため、過去(すな
わちＰ−ピクチャ)だけが使用され、拡張は直線的であ
ると仮定する。
の各８×８空間領域ブロックを前のピクチャの対応する
基準ブロックxによって予測し、ＤＣＴを使用して予測
誤差ブロックe=x-xを符号化すること(上述の式(1)ない
し(5)参照)を意味する。例えばＢ−ピクチャのようない
くつかのピクチャにおいては、ブロックは、過去および
将来の基準ブロックから推定される。この点に関する技
術情報は、Audio. Committee Draft of Standard IS011
172, ISO/MPEG 90/176, December 1990Video Codec for
Audio Visual Services at px64 Kbits/s, CCITT Reco
mmendation H.261, 1990およびD. le Gall, MPEG:A Vid
eo Compression Standard for Multimedia Application
s, Commun. of the ACM, Vol. 34, No. 4, pp.47-58, A
pril 1991に記載されている。簡略化のため、過去(すな
わちＰ−ピクチャ)だけが使用され、拡張は直線的であ
ると仮定する。
【０１１６】最もよく合致する基準ブロックは、基準ピ
クチャのオリジナルの８×８ブロックに合わないかもし
れない。一般的に、基準ブロックは、１６×１６平面を
構成するX1,X2,X3およびX4の４つの空間領域ブロックと
交差する可能性がある。
クチャのオリジナルの８×８ブロックに合わないかもし
れない。一般的に、基準ブロックは、１６×１６平面を
構成するX1,X2,X3およびX4の４つの空間領域ブロックと
交差する可能性がある。
【０１１７】目標は、所与の予測誤差ｅのＤＣＴ Eから
現在時ブロックx=x+eのＤＣＴ Xを計算し、x1,...,x4の
ＤＣＴX1,...,X4を計算することである。X=X+E(Xはxの
ＤＣＴ)であるので、残りの主要課題は、X1,...,X4から
Xを直接計算することである。
現在時ブロックx=x+eのＤＣＴ Xを計算し、x1,...,x4の
ＤＣＴX1,...,X4を計算することである。X=X+E(Xはxの
ＤＣＴ)であるので、残りの主要課題は、X1,...,X4から
Xを直接計算することである。
【０１１８】基準ブロックxとx1の共通部分が行hおよび
列wからなる長方形を形成すると仮定する(但し、1≦h≦
8、1≦w≦8とする)。これは、xとx2、x3およびx4の共通
部分がそれぞれh×(8-w)、(8-h)×wおよび(8-h)×(8-w)
の大きさの長方形であることを意味している。
列wからなる長方形を形成すると仮定する(但し、1≦h≦
8、1≦w≦8とする)。これは、xとx2、x3およびx4の共通
部分がそれぞれh×(8-w)、(8-h)×wおよび(8-h)×(8-w)
の大きさの長方形であることを意味している。
【０１１９】上記引用Chang、Messerschmitt両氏著の文
献によれば、xはx1,...x4の移動シフトしたものの重ね
合わせとして表現できることが容易にわかる。すなわ
ち、xは次式(56)のように表される。
献によれば、xはx1,...x4の移動シフトしたものの重ね
合わせとして表現できることが容易にわかる。すなわ
ち、xは次式(56)のように表される。
【０１２０】
【数４８】
【０１２１】但し、ci,j(i=1,...,4, j=1,2)は、移動シ
フト演算を実行するゼロと１の疎な８×８マトリックス
である。Chang、Messerschmitt両氏著の上記文献に記載
の技術の背後にある基本的思想は、ＤＣＴに関するマト
リックス乗算の分散的属性を活用することである。具体
的には、StS=Iであるので、式(56)は次式(57)のように
書き換えることができる。
フト演算を実行するゼロと１の疎な８×８マトリックス
である。Chang、Messerschmitt両氏著の上記文献に記載
の技術の背後にある基本的思想は、ＤＣＴに関するマト
リックス乗算の分散的属性を活用することである。具体
的には、StS=Iであるので、式(56)は次式(57)のように
書き換えることができる。
【０１２２】
【数４９】 次に、式(57)の両辺にSを乗じ、更にStを乗ずることに
よって、次式(58)が得られる。
よって、次式(58)が得られる。
【０１２３】
【数５０】
【０１２４】但し、CijはcijのＤＣＴである。Chang、M
esserschmitt両氏は、固定的マトリックスCijをwとhの
あらゆる可能な組合せに関して事前計算し、式(58)を使
用してＤＣＴ領域で直接計算することを提案した。マト
リックスCijの大部分は疎でないけれども、{Xi}の典型
的な疎に基き、また、w=8またはh=8いずれか１方向です
なわち式(58)の右辺が２項目のみを持つか、あるいは、
x=x1で計算が全く必要がないw=h=8という両方向に、基
準ブロックが配列されているという事実によって、計算
はなお節約できる。
esserschmitt両氏は、固定的マトリックスCijをwとhの
あらゆる可能な組合せに関して事前計算し、式(58)を使
用してＤＣＴ領域で直接計算することを提案した。マト
リックスCijの大部分は疎でないけれども、{Xi}の典型
的な疎に基き、また、w=8またはh=8いずれか１方向です
なわち式(58)の右辺が２項目のみを持つか、あるいは、
x=x1で計算が全く必要がないw=h=8という両方向に、基
準ブロックが配列されているという事実によって、計算
はなお節約できる。
【０１２５】xの計算は、次の２つの主な事実を使用す
ることによって、一層効果的に実行される。第１に、c
ijマトリックスのいくつかは所与のwおよびhのすべてに
ついて互いに等しい。すなわち、
ることによって、一層効果的に実行される。第１に、c
ijマトリックスのいくつかは所与のwおよびhのすべてに
ついて互いに等しい。すなわち、
【０１２６】
【数５１】
【０１２７】
【数５２】 である。但し、IhおよびIwは、それぞれ次元h×hおよび
w×wの識別マトリックスである。同様に、 c31=c41=L8-h および c2=c42=U8-w である。
w×wの識別マトリックスである。同様に、 c31=c41=L8-h および c2=c42=U8-w である。
【０１２８】計算節約に役立つ第２の事実は、Cijの完
全な事前計算を行うのではなく、これらのマトリックス
を比較的疎なマトリックスに分解しておく方が一層効率
的であるという点である。特に、本発明の方式は、Sと
いう因数に分解する(式8および９参照)。
全な事前計算を行うのではなく、これらのマトリックス
を比較的疎なマトリックスに分解しておく方が一層効率
的であるという点である。特に、本発明の方式は、Sと
いう因数に分解する(式8および９参照)。
【０１２９】上記２つの事実を使用する最良の形態は次
の通りである。第１に、次の数５３および数５４の固定
的マトリックスを事前計算する。
の通りである。第１に、次の数５３および数５４の固定
的マトリックスを事前計算する。
【０１３０】
【数５３】
【０１３１】
【数５４】 上記マトリックスは非常に構造的であるので、Kiまたは
Jiによる事前計算は非常に効率的に実行することができ
る。次に、次式(59)を使用してXを計算する。
Jiによる事前計算は非常に効率的に実行することができ
る。次に、次式(59)を使用してXを計算する。
【０１３２】
【数５５】 式(59)は、式(57)の使用あるいは次式(60)の２重形式の
いずれかを所与のwおよびhに対して計算量が少ない方を
使用することによって、容易に得ることができる。
いずれかを所与のwおよびhに対して計算量が少ない方を
使用することによって、容易に得ることができる。
【０１３３】
【数５６】
【０１３４】図７は、本発明に従ってＤＣＴ型逆動き補
償を実行するマトリックス演算ハードウェアのブロック
図である。上述のように、モジュール４１がマトリック
スX1, X2, X3およびX4を取り出す。別のモジュール３６
が動きベクトルhおよびwをメモリ１５から取り出す。動
きベクトルを使用して、該当するマトリックスJiおよび
Kiがメモリ１５から取り出される。
償を実行するマトリックス演算ハードウェアのブロック
図である。上述のように、モジュール４１がマトリック
スX1, X2, X3およびX4を取り出す。別のモジュール３６
が動きベクトルhおよびwをメモリ１５から取り出す。動
きベクトルを使用して、該当するマトリックスJiおよび
Kiがメモリ１５から取り出される。
【０１３５】マトリックスX1には、マトリックス乗算器
７０３，７０５，７０７、７０９によってマトリックス
およびマトリックスJt wが乗じられ、X2には、マトリッ
クス乗算器７０３'，７０５'，７０７'、７０９'によっ
てマトリックスP、B1、B2およびマトリックスKt 8-wが乗
じられ、X3には、マトリックス乗算器７０３"，７０
５"，７０７"、７０９"によってマトリックスP、B1、B2
およびマトリックスJt wが乗じられ、X4には、マトリッ
クス乗算器７０３"'，７０５"'，７０７"'、７０９"'に
よってマトリックスP、B1、B2およびマトリックスKt 8-w
が乗じられる。
７０３，７０５，７０７、７０９によってマトリックス
およびマトリックスJt wが乗じられ、X2には、マトリッ
クス乗算器７０３'，７０５'，７０７'、７０９'によっ
てマトリックスP、B1、B2およびマトリックスKt 8-wが乗
じられ、X3には、マトリックス乗算器７０３"，７０
５"，７０７"、７０９"によってマトリックスP、B1、B2
およびマトリックスJt wが乗じられ、X4には、マトリッ
クス乗算器７０３"'，７０５"'，７０７"'、７０９"'に
よってマトリックスP、B1、B2およびマトリックスKt 8-w
が乗じられる。
【０１３６】次に、乗算器７０９および７０９'の結果
が加算器７１１によって加算され、乗算器７０９"およ
び７０９"'の結果が加算器７１１'によって加算され
る。加算器７１１および７１１'の結果の各々にマトリ
ックス乗算器７１３，７１５，７１７および７１３'，
７１５'，７１７'によってそれぞれPtBt 1Bt 2が乗じられ
る。マトリックス乗算器７１７の結果には、マトリック
ス乗算器７１９によってJhが乗じられ、マトリックス乗
算器７１７'の結果には、マトリックス乗算器７１９'に
よってk8-hが乗じられる。マトリックス乗算器７１９お
よび７１９'の結果はマトリックス加算器７２１によっ
て加算され、出力ＤＣＴXが生成される。最後に加算器
７２３によってＤＣＴXにEが加算され、所望の結果のX
が生成される。 本発明の１つの実施形態において、
処理装置４０は、ハードウェア・マトリクス乗算器およ
び加算器を使用して実施される。代替的実施形態におい
ては、図６に示されたマトリックス操作は汎用コンピュ
ータ上で実行されるソフトウェアの形態で実施される。
プログラム可能論理装置およびファームウェアを備える
その他の装置で代替的に実施することもできる。
が加算器７１１によって加算され、乗算器７０９"およ
び７０９"'の結果が加算器７１１'によって加算され
る。加算器７１１および７１１'の結果の各々にマトリ
ックス乗算器７１３，７１５，７１７および７１３'，
７１５'，７１７'によってそれぞれPtBt 1Bt 2が乗じられ
る。マトリックス乗算器７１７の結果には、マトリック
ス乗算器７１９によってJhが乗じられ、マトリックス乗
算器７１７'の結果には、マトリックス乗算器７１９'に
よってk8-hが乗じられる。マトリックス乗算器７１９お
よび７１９'の結果はマトリックス加算器７２１によっ
て加算され、出力ＤＣＴXが生成される。最後に加算器
７２３によってＤＣＴXにEが加算され、所望の結果のX
が生成される。 本発明の１つの実施形態において、
処理装置４０は、ハードウェア・マトリクス乗算器およ
び加算器を使用して実施される。代替的実施形態におい
ては、図６に示されたマトリックス操作は汎用コンピュ
ータ上で実行されるソフトウェアの形態で実施される。
プログラム可能論理装置およびファームウェアを備える
その他の装置で代替的に実施することもできる。
【０１３７】JiおよびKiの乗算を如何に迅速に実行でき
るかを次に示す。例として、J6を考察する。その他のマ
トリックスも同様の形態で処理される。マトリックスJ6
は次の数５７の通りである。
るかを次に示す。例として、J6を考察する。その他のマ
トリックスも同様の形態で処理される。マトリックスJ6
は次の数５７の通りである。
【０１３８】
【数５７】
【０１３９】但し、a=0.7071, b=0.9239およびc=0.3827
である。U=(U1,...,U8)tおよびV=(V1,...,V8)tとして、
U=J6Vを計算するため、以下のステップに従って計算を
行う。 Y1=V1+V2 (61) Y2=V1-V2 (62) Y3=aV3 (63) Y4=aV6 (64) Y5=Y1-Y3 (65) Y6=Y5-V4 (66) Y7=Y3-Y4 (67) Y8=Y3+Y4 (68) Y9=(b+c)(V5+V7) (69) Y10=cV5 (70) Y11=bV7 (71) Y12=Y9-Y10-Y11 (72) Y13=Y10-Y11 (73) U1=Y2-Y7+Y12 (74) U2=Y6+Y12 (75) U3=Y6-Y12 (76) U4=Y2-Y8-Y12 (77) U5=Y2+Y7+Y13 (78) U6=Y1+Y3+V4+Y13-V8 (79) U7=0 (80) U8=0 (81) 上記ステップは、５回の乗算および２２回の加算を必要
とする。
である。U=(U1,...,U8)tおよびV=(V1,...,V8)tとして、
U=J6Vを計算するため、以下のステップに従って計算を
行う。 Y1=V1+V2 (61) Y2=V1-V2 (62) Y3=aV3 (63) Y4=aV6 (64) Y5=Y1-Y3 (65) Y6=Y5-V4 (66) Y7=Y3-Y4 (67) Y8=Y3+Y4 (68) Y9=(b+c)(V5+V7) (69) Y10=cV5 (70) Y11=bV7 (71) Y12=Y9-Y10-Y11 (72) Y13=Y10-Y11 (73) U1=Y2-Y7+Y12 (74) U2=Y6+Y12 (75) U3=Y6-Y12 (76) U4=Y2-Y8-Y12 (77) U5=Y2+Y7+Y13 (78) U6=Y1+Y3+V4+Y13-V8 (79) U7=0 (80) U8=0 (81) 上記ステップは、５回の乗算および２２回の加算を必要
とする。
【０１４０】すべてのマトリックスJ1,...J8について同
様の実施方式のマトリックス乗算を開発することによっ
て、、1≦i≦8である{Ji}を乗ずるために必要な演算の
回数{Ni}は、N1=18, N2=24, N3=38, N4=39, N5=40, N6=
43, N7=44およびN8=46によって与えられる。マトリック
スKiがあらゆる1≦i≦8に関するJiに類似した構造を持
っているので、Kiによる乗算もまたNi回の演算を要す
る。
様の実施方式のマトリックス乗算を開発することによっ
て、、1≦i≦8である{Ji}を乗ずるために必要な演算の
回数{Ni}は、N1=18, N2=24, N3=38, N4=39, N5=40, N6=
43, N7=44およびN8=46によって与えられる。マトリック
スKiがあらゆる1≦i≦8に関するJiに類似した構造を持
っているので、Kiによる乗算もまたNi回の演算を要す
る。
【０１４１】再び、式(59)または(60)の実施における演
算を数える時、DおよびD-1による乗算は、ＭＰＥＧ量子
化器および逆量子化器において吸収されるので無視する
ことができる。マトリックスＰおよびＰ-1はコンポーネ
ントの順序の変化だけに影響をあたえるので、これらも
また無視することができる。
算を数える時、DおよびD-1による乗算は、ＭＰＥＧ量子
化器および逆量子化器において吸収されるので無視する
ことができる。マトリックスＰおよびＰ-1はコンポーネ
ントの順序の変化だけに影響をあたえるので、これらも
また無視することができる。
【０１４２】このように、一般的位置基準ブロックすな
わち1≦w≦7、1≦h≦8に関して、以下が得られる。 1. B1またはBt1による６回の乗算：6×32 = 192回の演
算 2. B2またはBt2による６回の乗算：6×32 = 192回の演
算 3. JwならびにK8-wによる２回の乗算、およびJhならび
にK8-h ニよる１回の乗算、またはその逆：8×(Nh+N8-h+N
w+N8-w+min{Nh+N8-h,Nw+N8-w})回の演算 4. １回の２次元ＤＣＴ：42×16= 672回の演算合計：10
56+8×(Nh+N8-h+Nw+N8-w+min{Nh+N8-h,Nw+N8-w})回の演
算 式(59)および(60)の積の加算は、異なる被加数がマトリ
ックス・エレメントのインデックスの互いに共通しない
サブセット上で非ゼロであるため、数えられない。基準
ブロックが垂直方向にのみ配列されている(すなわちh=8
および1≦w≦7)時、K8-h=K0=L0(MA1A2A3)t=0であり、従
って、式(59)および(60)は２つの項目だけを持つ。更
に、Jh=J8=U8(MA1A2A3)t=(MA1A2A3)tであるので、式(6
6)は、次式(82)へ縮退する。
わち1≦w≦7、1≦h≦8に関して、以下が得られる。 1. B1またはBt1による６回の乗算：6×32 = 192回の演
算 2. B2またはBt2による６回の乗算：6×32 = 192回の演
算 3. JwならびにK8-wによる２回の乗算、およびJhならび
にK8-h ニよる１回の乗算、またはその逆：8×(Nh+N8-h+N
w+N8-w+min{Nh+N8-h,Nw+N8-w})回の演算 4. １回の２次元ＤＣＴ：42×16= 672回の演算合計：10
56+8×(Nh+N8-h+Nw+N8-w+min{Nh+N8-h,Nw+N8-w})回の演
算 式(59)および(60)の積の加算は、異なる被加数がマトリ
ックス・エレメントのインデックスの互いに共通しない
サブセット上で非ゼロであるため、数えられない。基準
ブロックが垂直方向にのみ配列されている(すなわちh=8
および1≦w≦7)時、K8-h=K0=L0(MA1A2A3)t=0であり、従
って、式(59)および(60)は２つの項目だけを持つ。更
に、Jh=J8=U8(MA1A2A3)t=(MA1A2A3)tであるので、式(6
6)は、次式(82)へ縮退する。
【０１４３】
【数５８】
【０１４４】式(82)は以下のステップを必要とする。 1. B1による２回の乗算：2×32=64回の演算 2. B2による２回の乗算：2×32=64回の演算 3. Jwによる１回の乗算およびK8-wによる１回の乗算：8
(Nw+N8-w)回の演算 4. Stによる１回の乗算：8×42=336演算 合計：464+8(Nw+N8-w)回の演算 同様にw=8および1≦h≦7である水平配列の場合、計算回
数は464+8(Nh+N8-h)である。上述のように、w=h=8の時X
=X1であるので計算は全く必要ない。
(Nw+N8-w)回の演算 4. Stによる１回の乗算：8×42=336演算 合計：464+8(Nw+N8-w)回の演算 同様にw=8および1≦h≦7である水平配列の場合、計算回
数は464+8(Nh+N8-h)である。上述のように、w=h=8の時X
=X1であるので計算は全く必要ない。
【０１４５】上記の式を使用することによって、hおよ
びwの最悪ケースの値に関する計算回数は２９２８回で
あり、ペア{(w,h): 1≦w≦8, 1≦h≦8}に関して一様分
布を仮定した平均演算回数は２３００.５である。一
方、X1,..,X4に対しＩＤＣＴを実行し空間領域に適切な
基準ブロックを挟み込みそれを変換するという力任せの
アプローチは、合計４３２０回の演算を必要とする。こ
れは、本発明の方法が従来技術の方法に対して、最悪ケ
ースで３２％、平均のケースで４６.８％計算量を節約
することを意味する。
びwの最悪ケースの値に関する計算回数は２９２８回で
あり、ペア{(w,h): 1≦w≦8, 1≦h≦8}に関して一様分
布を仮定した平均演算回数は２３００.５である。一
方、X1,..,X4に対しＩＤＣＴを実行し空間領域に適切な
基準ブロックを挟み込みそれを変換するという力任せの
アプローチは、合計４３２０回の演算を必要とする。こ
れは、本発明の方法が従来技術の方法に対して、最悪ケ
ースで３２％、平均のケースで４６.８％計算量を節約
することを意味する。
【０１４６】ここまでは、入力ＤＣＴマトリックスが疎
であるということを仮定していなかった。典型的にはＤ
ＣＴブロックのかなりの割合が２、３の非ゼロ成分だけ
を持ち、通常それらは両方向において低い空間周波数に
対応している。単純化のため、低周波に対応する左上の
４×４象限だけが非ゼロであれば、ＤＣＴブロックは疎
であるとみなされる。X1,...X4が上記の意味で疎である
と仮定される場合、JiおよびKi(1≦i≦8)による乗算の
実施は、計算回数を、 672+8(N'w+N'8-w+N'h+N'8-h) に減少し、1≦w≦７および1≦h≦７の場合、 336+4(N'w+N'8-w) に減少し、h=8および1≦w≦７の場合、 336+4(N'h+N'8-h) に減少し、w=h=8の場合ゼロに減少する。但し上記で、
N'1=15,N'2=20,N'3=26,N'4=33,N'5=36,N'6=40,N'7=41,
N'8=42である。これは、最悪ケースで１７２８回、平均
で１３９７.２回の計算があり、従来技術に対してそれ
ぞれ６０％および６８％の計算量の削減を意味する。
であるということを仮定していなかった。典型的にはＤ
ＣＴブロックのかなりの割合が２、３の非ゼロ成分だけ
を持ち、通常それらは両方向において低い空間周波数に
対応している。単純化のため、低周波に対応する左上の
４×４象限だけが非ゼロであれば、ＤＣＴブロックは疎
であるとみなされる。X1,...X4が上記の意味で疎である
と仮定される場合、JiおよびKi(1≦i≦8)による乗算の
実施は、計算回数を、 672+8(N'w+N'8-w+N'h+N'8-h) に減少し、1≦w≦７および1≦h≦７の場合、 336+4(N'w+N'8-w) に減少し、h=8および1≦w≦７の場合、 336+4(N'h+N'8-h) に減少し、w=h=8の場合ゼロに減少する。但し上記で、
N'1=15,N'2=20,N'3=26,N'4=33,N'5=36,N'6=40,N'7=41,
N'8=42である。これは、最悪ケースで１７２８回、平均
で１３９７.２回の計算があり、従来技術に対してそれ
ぞれ６０％および６８％の計算量の削減を意味する。
【０１４７】上記ChangおよびMesserschmitt両氏の文献
は、ＤＣＴマトリックスが十分疎であり基準ブロックの
大部分が少なくとも１方向に配列されている場合に計算
量が削減されることを開示している。具体的には、該文
献は次の３つのパラメータを導入した。すなわち、非ゼ
ロ係数の分数部の反数β、１方向に配列された基準ブロ
ックの分数部α1、および完全に配列された基準ブロッ
クの分数部分α2である。
は、ＤＣＴマトリックスが十分疎であり基準ブロックの
大部分が少なくとも１方向に配列されている場合に計算
量が削減されることを開示している。具体的には、該文
献は次の３つのパラメータを導入した。すなわち、非ゼ
ロ係数の分数部の反数β、１方向に配列された基準ブロ
ックの分数部α1、および完全に配列された基準ブロッ
クの分数部分α2である。
【０１４８】ブロック配列に関して最悪のケースすなわ
ちα1＝０でα2＝１の場合をまず考察する。疎について
の上記定義はβ=4に対応する。Chang氏らは、α1、
α2、βおよびブロック・サイズＮ(ＭＰＥＧにおいては
Ｎ＝８)に関して彼らのアプローチの加算および乗算の
回数についての正確な公式を提供している。その公式に
従えば、ピクセルにつき１６回の乗算およびピクセルに
つき１９回の加算が必要である。一般的マイクロプロセ
ッサ演算と比較するには、平均的に各乗算は最高４回の
シフトおよび３回の加算を必要とすること、およびシフ
トと加算は同時に実行することができることが仮定され
る。これは、控えめに推定しても、ブロックあたりの演
算の総数は、（１６×３＋１９)×６４＝４２８８演算
であることを意味し、同じ環境での本発明の上記演算数
１７２８より相当多い。
ちα1＝０でα2＝１の場合をまず考察する。疎について
の上記定義はβ=4に対応する。Chang氏らは、α1、
α2、βおよびブロック・サイズＮ(ＭＰＥＧにおいては
Ｎ＝８)に関して彼らのアプローチの加算および乗算の
回数についての正確な公式を提供している。その公式に
従えば、ピクセルにつき１６回の乗算およびピクセルに
つき１９回の加算が必要である。一般的マイクロプロセ
ッサ演算と比較するには、平均的に各乗算は最高４回の
シフトおよび３回の加算を必要とすること、およびシフ
トと加算は同時に実行することができることが仮定され
る。これは、控えめに推定しても、ブロックあたりの演
算の総数は、（１６×３＋１９)×６４＝４２８８演算
であることを意味し、同じ環境での本発明の上記演算数
１７２８より相当多い。
【０１４９】別の比較の点として、wおよびhに関する一
様分布がα1=14/64=0.219およびα2=49/64=0.766に対応
していてこれは上記文献の図５の上方曲線(α1=0.2およ
びα2=0.1）よりも更に悲観的である点に注意すべきで
ある。しかしながら、β＝１に関して、本発明の方式
は、Chang氏らの0.6に比較して4320/2300.5=1.87という
倍数だけ、β＝４に関して、Chang氏らの2.0に比較して
4320/1397.2=3.13という倍数だけ、それぞれ計算速度を
向上させることができる。更に、α1=0.2およびα2=0.1
を仮定すれば、β=1に関しては9.06倍、β=4に関しては
約15倍の速度向上を達成することができる。これは、Ch
ang氏らに比較して速度改善の度合いが１桁高いことを
意味する。
様分布がα1=14/64=0.219およびα2=49/64=0.766に対応
していてこれは上記文献の図５の上方曲線(α1=0.2およ
びα2=0.1）よりも更に悲観的である点に注意すべきで
ある。しかしながら、β＝１に関して、本発明の方式
は、Chang氏らの0.6に比較して4320/2300.5=1.87という
倍数だけ、β＝４に関して、Chang氏らの2.0に比較して
4320/1397.2=3.13という倍数だけ、それぞれ計算速度を
向上させることができる。更に、α1=0.2およびα2=0.1
を仮定すれば、β=1に関しては9.06倍、β=4に関しては
約15倍の速度向上を達成することができる。これは、Ch
ang氏らに比較して速度改善の度合いが１桁高いことを
意味する。
【０１５０】以上、本発明は好ましい実施形態を参照し
て記述したが、本発明の理念および有効範囲を逸脱する
ことなくその他の形態においても本発明を適用できる点
は当業者に容易に認められることであろう。
て記述したが、本発明の理念および有効範囲を逸脱する
ことなくその他の形態においても本発明を適用できる点
は当業者に容易に認められることであろう。
【０１５１】本発明には、例として次のような実施様態
が含まれる。 （１）ＤＣＴすなわち離散コサイン変換に基づく圧縮方
式に従って圧縮された圧縮領域中の画像情報を縮小サン
プリングする方法であって、圧縮ビットストリームを復
号して複数のＮ×ＮのＤＣＴ型データ・ブロックを抽出
するハフマン復号ステップと、少なくとも１つのサンプ
リング・マトリックスに従って上記データ・ブロックの
ｎ個を処理して、単一のＮ×ＮのＤＣＴ型データ・ブロ
ックを抽出するステップと、を含み、上記ｎは所望の縮
小サンプリング因数によって決定され、上記単一のデー
タ・ブロックは上記複数のＮ×ＮのＤＣＴ型データ・ブ
ロックの平均を表す、画像縮小サンプリング方法。 （２）上記処理ステップが、部分的に因数分解された演
算子の使用を含む、上記（１）に記載の画像縮小サンプ
リング方法。 （３）x1=S-1X1およびx2=S-1X2とし、SがN点ＤＣＴマト
リックスであるとし、各々がx1およびx2の成分の平均で
ある複数の成分からなるN×NベクトルxのＤＣＴであるX
を、少なくとも２つの２次元ベクトルX1およびX2を基
に、決定するステップを上記処理ステップが含む、上記
（１）に記載の画像縮小サンプリング方法。 （４）Q1およびQ2はN×NＤＣＴマトリックスであり、U1
=SQ1S-1およびU2=SQ2S-1であり、因数Sは、S=DPB1B2MA1
A2A3と表され、Dは固定的対角線マトリックスであり、P
は置換マトリックスであり、B1B2MA1A2A3はN×N固定マ
トリックスであり、i=1,2とした積Fi=MA1A2A3Q1A-1 3A-1
2A-1 1M-1が和F+=F1+F2および差F-=F1-F2を持つ疎のマト
リックスであるとして、上記決定ステップが、
が含まれる。 （１）ＤＣＴすなわち離散コサイン変換に基づく圧縮方
式に従って圧縮された圧縮領域中の画像情報を縮小サン
プリングする方法であって、圧縮ビットストリームを復
号して複数のＮ×ＮのＤＣＴ型データ・ブロックを抽出
するハフマン復号ステップと、少なくとも１つのサンプ
リング・マトリックスに従って上記データ・ブロックの
ｎ個を処理して、単一のＮ×ＮのＤＣＴ型データ・ブロ
ックを抽出するステップと、を含み、上記ｎは所望の縮
小サンプリング因数によって決定され、上記単一のデー
タ・ブロックは上記複数のＮ×ＮのＤＣＴ型データ・ブ
ロックの平均を表す、画像縮小サンプリング方法。 （２）上記処理ステップが、部分的に因数分解された演
算子の使用を含む、上記（１）に記載の画像縮小サンプ
リング方法。 （３）x1=S-1X1およびx2=S-1X2とし、SがN点ＤＣＴマト
リックスであるとし、各々がx1およびx2の成分の平均で
ある複数の成分からなるN×NベクトルxのＤＣＴであるX
を、少なくとも２つの２次元ベクトルX1およびX2を基
に、決定するステップを上記処理ステップが含む、上記
（１）に記載の画像縮小サンプリング方法。 （４）Q1およびQ2はN×NＤＣＴマトリックスであり、U1
=SQ1S-1およびU2=SQ2S-1であり、因数Sは、S=DPB1B2MA1
A2A3と表され、Dは固定的対角線マトリックスであり、P
は置換マトリックスであり、B1B2MA1A2A3はN×N固定マ
トリックスであり、i=1,2とした積Fi=MA1A2A3Q1A-1 3A-1
2A-1 1M-1が和F+=F1+F2および差F-=F1-F2を持つ疎のマト
リックスであるとして、上記決定ステップが、
【０１５２】
【数５９】 という関係式に従って、因数２の１次元縮小サンプリン
グを実行するステップを含む、上記（３）に記載の画像
縮小サンプリング方法。
グを実行するステップを含む、上記（３）に記載の画像
縮小サンプリング方法。
【０１５３】（５）Q1およびQ2はN×NＤＣＴマトリック
スであり、U1=SQ1S-1およびU2=SQ2S-1であり、因数S
は、S=DPB1B2MA1A2A3と表され、Dは固定的対角線マトリ
ックスであり、Pは置換マトリックスであり、B1B2MA1A2
A3はN×N固定マトリックスであり、i=1,2とした積Fi=MA
1A2A3Q1A-1 3A-1 2A-1 1M-1が和F+=F1+F2および差F-=F1-F2
を持つ疎のマトリックスであるとして、上記決定ステッ
プが、
スであり、U1=SQ1S-1およびU2=SQ2S-1であり、因数S
は、S=DPB1B2MA1A2A3と表され、Dは固定的対角線マトリ
ックスであり、Pは置換マトリックスであり、B1B2MA1A2
A3はN×N固定マトリックスであり、i=1,2とした積Fi=MA
1A2A3Q1A-1 3A-1 2A-1 1M-1が和F+=F1+F2および差F-=F1-F2
を持つ疎のマトリックスであるとして、上記決定ステッ
プが、
【０１５４】
【数６０】 という関係式に従って、因数２の縮小サンプリングを実
行するステップを含む、上記（３）に記載の画像縮小サ
ンプリング方法。
行するステップを含む、上記（３）に記載の画像縮小サ
ンプリング方法。
【０１５５】（６）Q1およびQ2はN×NＤＣＴマトリック
スであり、U1=SQ1S-1およびU2=SQ2S-1であり、因数S
は、S=DPB1B2MA1A2A3と表され、Dは固定的対角線マトリ
ックスであり、Pは置換マトリックスであり、B1B2MA1A2
A3はN×N固定マトリックスであり、i=1,2とした積Fi=MA
1A2A3Q1A-1 3A-1 2A-1 1M-1が和F+=F1+F2および差F-=F1-F2
を持つ疎のマトリックスであるとして、上記決定ステッ
プが、
スであり、U1=SQ1S-1およびU2=SQ2S-1であり、因数S
は、S=DPB1B2MA1A2A3と表され、Dは固定的対角線マトリ
ックスであり、Pは置換マトリックスであり、B1B2MA1A2
A3はN×N固定マトリックスであり、i=1,2とした積Fi=MA
1A2A3Q1A-1 3A-1 2A-1 1M-1が和F+=F1+F2および差F-=F1-F2
を持つ疎のマトリックスであるとして、上記決定ステッ
プが、
【０１５６】
【数６１】 という関係式に従って、因数４の縮小サンプリングを実
行するステップを含む、上記（３）に記載の画像縮小サ
ンプリング方法。
行するステップを含む、上記（３）に記載の画像縮小サ
ンプリング方法。
【０１５７】（７）マトリックスT=T1+T2+T3、T+=T1+
T3、T-=(T1-T3)/2は疎であること、およびDは固定的対
角線マトリックスであり、Pは置換マトリックスであ
り、B1B2MA1A2A3はN×N固定マトリックスであるとしてT
1X+T2Y+T3Z=TY+T+((X+Z)/2-Y)+T-(X-Z)であることにに
基づいて、上記決定ステップが、
T3、T-=(T1-T3)/2は疎であること、およびDは固定的対
角線マトリックスであり、Pは置換マトリックスであ
り、B1B2MA1A2A3はN×N固定マトリックスであるとしてT
1X+T2Y+T3Z=TY+T+((X+Z)/2-Y)+T-(X-Z)であることにに
基づいて、上記決定ステップが、
【０１５８】
【数６２】 という関係式に従って、因数３の縮小サンプリングを実
行するステップを含む、上記（３）に記載の画像縮小サ
ンプリング方法。 （８）上記（７）において、
行するステップを含む、上記（３）に記載の画像縮小サ
ンプリング方法。 （８）上記（７）において、
【０１５９】
【数６３】 である、上記（７）に記載の画像縮小サンプリング方
法。
法。
【０１６０】（９）ＤＣＴすなわち離散コサイン変換に
基づく圧縮方式に従って圧縮された圧縮領域中において
逆動き補償を実行する方法であって、圧縮ビットストリ
ームを復号して、ピクチャＴ−１を定義する複数のＮ×
ＮのＤＣＴ型データ・ブロックおよび動きベクトルh,w
を抽出するハフマン復号ステップと、少なくとも１つの
サンプリング・マトリックスに従いかつ上記動きベクト
ルに基づいて上記データ・ブロックのｎ個を処理して、
ピクチャＴに対応する単一のＮ×ＮのＤＣＴ型データ・
ブロックを生成するステップと、を含み、上記ｎは上記
ピクチャｎ−１によって占有される領域を定義するため
に使用され、上記単一のデータ・ブロックは上記ｎ個の
データ・ブロックの平均を表すデータ・ブロックの組み
合わせである、逆動き補償実行方法。 （１０）上記処理ステップが、部分的に因数分解された
演算子の使用を含む、上記（９）に記載の逆動き補償実
行方法。 （１１）XはｘのＤＣＴであり、X1,...,X4から直接決定
されX=X+Eとして、所与の予測誤差ｅのＤＣＴ Eから現
在時ブロックx=x+eのＤＣＴ Xおよびx1,...,x4のＤＣＴ
X1,...,X4を計算するステップを、上記処理ステップが
含む、上記（９）に記載の逆動き補償実行方法。 （１２）Q1およびQ2はN×NＤＣＴマトリックスであり、
U1=SQ1S-1およびU2=SQ2S-1であり、因数Sは、S=DPB1B2M
A1A2A3と表され、Dは固定的対角線マトリックスであ
り、Pは置換マトリックスであり、B1B2MA1A2A3はN×N固
定マトリックスであるとして、
基づく圧縮方式に従って圧縮された圧縮領域中において
逆動き補償を実行する方法であって、圧縮ビットストリ
ームを復号して、ピクチャＴ−１を定義する複数のＮ×
ＮのＤＣＴ型データ・ブロックおよび動きベクトルh,w
を抽出するハフマン復号ステップと、少なくとも１つの
サンプリング・マトリックスに従いかつ上記動きベクト
ルに基づいて上記データ・ブロックのｎ個を処理して、
ピクチャＴに対応する単一のＮ×ＮのＤＣＴ型データ・
ブロックを生成するステップと、を含み、上記ｎは上記
ピクチャｎ−１によって占有される領域を定義するため
に使用され、上記単一のデータ・ブロックは上記ｎ個の
データ・ブロックの平均を表すデータ・ブロックの組み
合わせである、逆動き補償実行方法。 （１０）上記処理ステップが、部分的に因数分解された
演算子の使用を含む、上記（９）に記載の逆動き補償実
行方法。 （１１）XはｘのＤＣＴであり、X1,...,X4から直接決定
されX=X+Eとして、所与の予測誤差ｅのＤＣＴ Eから現
在時ブロックx=x+eのＤＣＴ Xおよびx1,...,x4のＤＣＴ
X1,...,X4を計算するステップを、上記処理ステップが
含む、上記（９）に記載の逆動き補償実行方法。 （１２）Q1およびQ2はN×NＤＣＴマトリックスであり、
U1=SQ1S-1およびU2=SQ2S-1であり、因数Sは、S=DPB1B2M
A1A2A3と表され、Dは固定的対角線マトリックスであ
り、Pは置換マトリックスであり、B1B2MA1A2A3はN×N固
定マトリックスであるとして、
【０１６１】
【数６４】 および
【０１６２】
【数６５】 とう固定マトリックスを計算するステップを更に含む、
上記（９）に記載の逆動き補償実行方法。 （１３）
上記（９）に記載の逆動き補償実行方法。 （１３）
【０１６３】
【数６６】 に従って、Xを決定するステップを更に含む、上記（１
２）に記載の逆動き補償実行方法。 （１４）
２）に記載の逆動き補償実行方法。 （１４）
【０１６４】
【数６７】 に従って、Xを決定するステップを更に含む、上記（１
２）に記載の逆動き補償実行方法。 （１５）
２）に記載の逆動き補償実行方法。 （１５）
【０１６５】
【数６８】 に従って、Xを決定するステップを更に含む、上記（１
２）に記載の逆動き補償実行方法。
２）に記載の逆動き補償実行方法。
【０１６６】（１６）ＤＣＴすなわち離散コサイン変換
に基づく圧縮方式に従って圧縮された圧縮領域中の画像
情報を縮小サンプリングする装置であって、圧縮ビット
ストリームを復号して複数のＮ×ＮのＤＣＴ型データ・
ブロックを抽出するハフマン復号器と、少なくとも１つ
のサンプリング・マトリックスに従って上記データ・ブ
ロックのｎ個を処理して、単一のＮ×ＮのＤＣＴ型デー
タ・ブロックを抽出するプロセッサと、を備え、上記ｎ
は所望の縮小サンプリング因数によって決定され、上記
単一のデータ・ブロックは上記複数のＮ×ＮのＤＣＴ型
データ・ブロックの平均を表す、画像縮小サンプリング
装置。 （１７）上記プロセッサが部分的に因数分解された演算
子を使用する手段を含む、上記（１６）に記載の画像縮
小サンプリング装置。 （１８）x1=S-1X1およびx2=S-1X2とし、SがN点ＤＣＴマ
トリックスであるとし、少なくとも２つの２次元ベクト
ルX1およびX2を基に、各々がx1およびx2の成分の平均で
ある複数の成分からなるN×NベクトルxのＤＣＴであるX
を決定する手段を上記プロセッサが含む、上記（１６）
に記載の画像縮小サンプリング装置。 （１９）Q1およびQ2はN×NＤＣＴマトリックスであり、
U1=SQ1S-1およびU2=SQ2S-1であり、因数Sは、S=DPB1B2M
A1A2A3と表され、Dは固定的対角線マトリックスであ
り、Pは置換マトリックスであり、B1B2MA1A2A3はN×N固
定マトリックスであり、i=1,2とした積Fi=MA1A2A3Q1A-1
3A-1 2A-1 1M-1が和F+=F1+F2および差F-=F1-F2を持つ疎の
マトリックスであるとして、上記決定手段が、
に基づく圧縮方式に従って圧縮された圧縮領域中の画像
情報を縮小サンプリングする装置であって、圧縮ビット
ストリームを復号して複数のＮ×ＮのＤＣＴ型データ・
ブロックを抽出するハフマン復号器と、少なくとも１つ
のサンプリング・マトリックスに従って上記データ・ブ
ロックのｎ個を処理して、単一のＮ×ＮのＤＣＴ型デー
タ・ブロックを抽出するプロセッサと、を備え、上記ｎ
は所望の縮小サンプリング因数によって決定され、上記
単一のデータ・ブロックは上記複数のＮ×ＮのＤＣＴ型
データ・ブロックの平均を表す、画像縮小サンプリング
装置。 （１７）上記プロセッサが部分的に因数分解された演算
子を使用する手段を含む、上記（１６）に記載の画像縮
小サンプリング装置。 （１８）x1=S-1X1およびx2=S-1X2とし、SがN点ＤＣＴマ
トリックスであるとし、少なくとも２つの２次元ベクト
ルX1およびX2を基に、各々がx1およびx2の成分の平均で
ある複数の成分からなるN×NベクトルxのＤＣＴであるX
を決定する手段を上記プロセッサが含む、上記（１６）
に記載の画像縮小サンプリング装置。 （１９）Q1およびQ2はN×NＤＣＴマトリックスであり、
U1=SQ1S-1およびU2=SQ2S-1であり、因数Sは、S=DPB1B2M
A1A2A3と表され、Dは固定的対角線マトリックスであ
り、Pは置換マトリックスであり、B1B2MA1A2A3はN×N固
定マトリックスであり、i=1,2とした積Fi=MA1A2A3Q1A-1
3A-1 2A-1 1M-1が和F+=F1+F2および差F-=F1-F2を持つ疎の
マトリックスであるとして、上記決定手段が、
【０１６７】
【数６９】 という関係式に従って、因数２の１次元縮小サンプリン
グを実行する手段を含む、上記（１８）に記載の画像縮
小サンプリング装置。 （２０）Q1およびQ2はN×NＤＣＴマトリックスであり、
U1=SQ1S-1およびU2=SQ2S-1であり、因数Sは、S=DPB1B2M
A1A2A3と表され、Dは固定的対角線マトリックスであ
り、Pは置換マトリックスであり、B1B2MA1A2A3はN×N固
定マトリックスであり、i=1,2とした積Fi=MA1A2A3Q1A-1
3A-1 2A-1 1M-1が和F+=F1+F2および差F-=F1-F2を持つ疎の
マトリックスであるとして、上記決定手段が、
グを実行する手段を含む、上記（１８）に記載の画像縮
小サンプリング装置。 （２０）Q1およびQ2はN×NＤＣＴマトリックスであり、
U1=SQ1S-1およびU2=SQ2S-1であり、因数Sは、S=DPB1B2M
A1A2A3と表され、Dは固定的対角線マトリックスであ
り、Pは置換マトリックスであり、B1B2MA1A2A3はN×N固
定マトリックスであり、i=1,2とした積Fi=MA1A2A3Q1A-1
3A-1 2A-1 1M-1が和F+=F1+F2および差F-=F1-F2を持つ疎の
マトリックスであるとして、上記決定手段が、
【０１６８】
【数７０】 という関係式に従って、因数２の縮小サンプリングを実
行する手段を含む、上記（１８）に記載の画像縮小サン
プリング装置。
行する手段を含む、上記（１８）に記載の画像縮小サン
プリング装置。
【０１６９】（２１）Q1およびQ2はN×NＤＣＴマトリッ
クスであり、U1=SQ1S-1およびU2=SQ2S-1であり、因数S
は、S=DPB1B2MA1A2A3と表され、Dは固定的対角線マトリ
ックスであり、Pは置換マトリックスであり、B1B2MA1A2
A3はN×N固定マトリックスであり、i=1,2とした積Fi=MA
1A2A3Q1A-1 3A-1 2A-1 1M-1が和F+=F1+F2および差F-=F1-F2
を持つ疎のマトリックスであるとして、上記決定手段
が、
クスであり、U1=SQ1S-1およびU2=SQ2S-1であり、因数S
は、S=DPB1B2MA1A2A3と表され、Dは固定的対角線マトリ
ックスであり、Pは置換マトリックスであり、B1B2MA1A2
A3はN×N固定マトリックスであり、i=1,2とした積Fi=MA
1A2A3Q1A-1 3A-1 2A-1 1M-1が和F+=F1+F2および差F-=F1-F2
を持つ疎のマトリックスであるとして、上記決定手段
が、
【０１７０】
【数７１】 という関係式に従って、因数４の縮小サンプリングを実
行する手段を含む、上記（１８）に記載の画像縮小サン
プリング装置。 （２２）マトリックスT=T1+T2+T3、T+=T1+T3、T-=(T1-T
3)/2は疎であること、およびDは固定的対角線マトリッ
クスであり、Pは置換マトリックスであり、B1B2MA1A2A3
はN×N固定マトリックスであるとしてT1X+T2Y+T3Z=TY+T
+((X+Z)/2-Y)+T-(X-Z)であることにに基づいて、上記決
定手段が、
行する手段を含む、上記（１８）に記載の画像縮小サン
プリング装置。 （２２）マトリックスT=T1+T2+T3、T+=T1+T3、T-=(T1-T
3)/2は疎であること、およびDは固定的対角線マトリッ
クスであり、Pは置換マトリックスであり、B1B2MA1A2A3
はN×N固定マトリックスであるとしてT1X+T2Y+T3Z=TY+T
+((X+Z)/2-Y)+T-(X-Z)であることにに基づいて、上記決
定手段が、
【０１７１】
【数７２】 という関係式に従って、因数３の縮小サンプリングを実
行する手段を含む、上記（１８）に記載の画像縮小サン
プリング装置。 （２３）上記（２２）において、
行する手段を含む、上記（１８）に記載の画像縮小サン
プリング装置。 （２３）上記（２２）において、
【０１７２】
【数７３】 である、上記（２２）に記載の画像縮小サンプリング装
置。
置。
【０１７３】（２４）ＤＣＴすなわち離散コサイン変換
に基づく圧縮方式に従って圧縮された圧縮領域中におい
て逆動き補償を実行する装置であって、圧縮ビットスト
リームを復号して、ピクチャＴ−１を定義する複数のＮ
×ＮのＤＣＴ型データ・ブロックおよび動きベクトルh,
wを抽出するハフマン復号器と、少なくとも１つのサン
プリング・マトリックスに従いかつ上記動きベクトルに
基づいて上記データ・ブロックのｎ個を処理して、ピク
チャＴに対応する単一のＮ×ＮのＤＣＴ型データ・ブロ
ックを生成するプロセッサと、を含み、上記ｎは上記ピ
クチャｎ−１によって占有される領域を定義するために
使用され、上記単一のデータ・ブロックは上記ｎ個のデ
ータ・ブロックの平均を表すデータ・ブロックの組み合
わせである、逆動き補償実行装置。 （２５）上記プロセッサが、部分的に因数分解された演
算子の使用を含む、上記（２４）に記載の逆動き補償実
行装置。 （２６）XはｘのＤＣＴであり、X1,...,X4から直接決定
されX=X+Eとして、所与の予測誤差ｅのＤＣＴ Eから現
在時ブロックx=x+eのＤＣＴ Xおよびx1,...,x4のＤＣＴ
X1,...,X4を計算する手段を、上記プロセッサが含む、
上記（２４）に記載の逆動き補償実行装置。 （２７）Q1およびQ2はN×NＤＣＴマトリックスであり、
U1=SQ1S-1およびU2=SQ2S-1であり、因数Sは、S=DPB1B2M
A1A2A3と表され、Dは固定的対角線マトリックスであ
り、Pは置換マトリックスであり、B1B2MA1A2A3はN×N固
定マトリックスであるとして、
に基づく圧縮方式に従って圧縮された圧縮領域中におい
て逆動き補償を実行する装置であって、圧縮ビットスト
リームを復号して、ピクチャＴ−１を定義する複数のＮ
×ＮのＤＣＴ型データ・ブロックおよび動きベクトルh,
wを抽出するハフマン復号器と、少なくとも１つのサン
プリング・マトリックスに従いかつ上記動きベクトルに
基づいて上記データ・ブロックのｎ個を処理して、ピク
チャＴに対応する単一のＮ×ＮのＤＣＴ型データ・ブロ
ックを生成するプロセッサと、を含み、上記ｎは上記ピ
クチャｎ−１によって占有される領域を定義するために
使用され、上記単一のデータ・ブロックは上記ｎ個のデ
ータ・ブロックの平均を表すデータ・ブロックの組み合
わせである、逆動き補償実行装置。 （２５）上記プロセッサが、部分的に因数分解された演
算子の使用を含む、上記（２４）に記載の逆動き補償実
行装置。 （２６）XはｘのＤＣＴであり、X1,...,X4から直接決定
されX=X+Eとして、所与の予測誤差ｅのＤＣＴ Eから現
在時ブロックx=x+eのＤＣＴ Xおよびx1,...,x4のＤＣＴ
X1,...,X4を計算する手段を、上記プロセッサが含む、
上記（２４）に記載の逆動き補償実行装置。 （２７）Q1およびQ2はN×NＤＣＴマトリックスであり、
U1=SQ1S-1およびU2=SQ2S-1であり、因数Sは、S=DPB1B2M
A1A2A3と表され、Dは固定的対角線マトリックスであ
り、Pは置換マトリックスであり、B1B2MA1A2A3はN×N固
定マトリックスであるとして、
【０１７４】
【数７４】 および
【０１７５】
【数７５】 とう固定マトリックスを事前計算する手段を、更に備え
る上記（２６）に記載の逆動き補償実行装置。 （２８）
る上記（２６）に記載の逆動き補償実行装置。 （２８）
【０１７６】
【数７６】 に従って、Xを決定する手段を更に備える、上記（２
７）に記載の逆動き補償実行装置。 （２９）
７）に記載の逆動き補償実行装置。 （２９）
【０１７７】
【数７７】 に従って、Xを決定する手段を更に備える、上記（２
７）に記載の逆動き補償実行装置。 （３０）
７）に記載の逆動き補償実行装置。 （３０）
【０１７８】
【数７８】 に従って、Xを決定する手段を更に備える、上記（２
７）に記載の逆動き補償実行装置。
７）に記載の逆動き補償実行装置。
【０１７９】
【発明の効果】本発明の方式は、画像の縮小サンプリン
グの場合も、逆動き補償を実行する場合も、従来技術に
比較して、大幅に計算処理量を削減する。更に、本発明
の画像処理においては、ＭＰＥＧまたはＪＰＥＧのよう
な非可逆アルゴリズムを使用して画像を一旦伸張し次に
再圧縮する場合に発生するような画像品質の損失がない
という効果を奏する。
グの場合も、逆動き補償を実行する場合も、従来技術に
比較して、大幅に計算処理量を削減する。更に、本発明
の画像処理においては、ＭＰＥＧまたはＪＰＥＧのよう
な非可逆アルゴリズムを使用して画像を一旦伸張し次に
再圧縮する場合に発生するような画像品質の損失がない
という効果を奏する。
【図１】空間領域において画像データをフィルタリング
する従来技術の方法を示す流れ図である。
する従来技術の方法を示す流れ図である。
【図２】本発明に従った一般的画像／ビデオ・エディタ
を示すブロック図である。
を示すブロック図である。
【図３】本発明に従って圧縮領域において画像およびビ
デオ処理を実行するシステムのブロック図である。
デオ処理を実行するシステムのブロック図である。
【図４】本発明の縮小サンプリング装置のブロック図で
ある。
ある。
【図５】本発明の好ましい実施形態に従ってＤＣＴ型１
／２縮小サンプリンを実行するマトリックス演算ハード
ウェアのブロック図である。
／２縮小サンプリンを実行するマトリックス演算ハード
ウェアのブロック図である。
【図６】本発明の逆動き補償モジュールの構成を示すブ
ロック図である。
ロック図である。
【図７】本発明に従ってＤＣＴ型逆動き補償を実行する
マトリックス演算ハードウェアのブロックダ図である。
マトリックス演算ハードウェアのブロックダ図である。
１０ 縮小サンプリング器 １１ ビットストリーム １２ ハフマン復号器 １４ 逆量子化器 １５ メモリ １６ 取り出し手段 １７ 縮小サンプリング手段 １８、１９、２０、２１ 縮小サンプリング因数 ２２、４５ 逆量子化画像マトリックス ２３ 縮小サンプリング画像 ２４ ハフマン符号化器 ２６ 量子化器 ３０ 逆動き補償モジュール ３６ 差分ベクトル取り出し器 ３７ マトリックスＪ、Ｋ取り出し器 ３８ フレームＴ取り出し器 ３９ 加算器 ４１ フレームＴ−１取り出し器 ４３ 逆動き補償フレーム １００ 画像処理システム １１１、１２４、１２９ ディスク・ファイル １２８ 圧縮エンジン １２９ 圧縮画像 １３０ 画像／ビデオ・エディタ １３２ 伸張エンジン
Claims (1)
- 【請求項１】ＤＣＴすなわち離散コサイン変換に基づく
圧縮方式に従って圧縮された圧縮領域中の画像情報を縮
小サンプリングする方法であって、 圧縮ビットストリームを復号して複数のＮ×ＮのＤＣＴ
型データ・ブロックを抽出するハフマン復号ステップ
と、 少なくとも１つのサンプリング・マトリックスに従って
上記データ・ブロックのｎ個を処理して、単一のＮ×Ｎ
のＤＣＴ型データ・ブロックを抽出するステップと、 を含み、 上記ｎは所望の縮小サンプリング因数によって決定さ
れ、上記単一のデータ・ブロックは上記複数のＮ×Ｎの
ＤＣＴ型データ・ブロックの平均を表す、 画像縮小サンプリング方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US611,922 | 1996-03-06 | ||
| US08/611,922 US5708732A (en) | 1996-03-06 | 1996-03-06 | Fast DCT domain downsampling and inverse motion compensation |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007145597A Division JP4996347B2 (ja) | 1996-03-06 | 2007-05-31 | 画像縮小サンプリング方法 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JPH09331532A true JPH09331532A (ja) | 1997-12-22 |
| JPH09331532A5 JPH09331532A5 (ja) | 2004-09-16 |
| JP4006047B2 JP4006047B2 (ja) | 2007-11-14 |
Family
ID=24450949
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP03895097A Expired - Fee Related JP4006047B2 (ja) | 1996-03-06 | 1997-02-24 | 画像縮小サンプリング方法 |
| JP2007145597A Expired - Fee Related JP4996347B2 (ja) | 1996-03-06 | 2007-05-31 | 画像縮小サンプリング方法 |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007145597A Expired - Fee Related JP4996347B2 (ja) | 1996-03-06 | 2007-05-31 | 画像縮小サンプリング方法 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US5708732A (ja) |
| EP (2) | EP0798927B1 (ja) |
| JP (2) | JP4006047B2 (ja) |
| DE (2) | DE69726042T2 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11234672A (ja) * | 1997-11-14 | 1999-08-27 | Sony Electronics Inc | デコ―ディング方法及び装置 |
| JP2007014775A (ja) * | 2005-07-06 | 2007-01-25 | Agfa Gevaert Nv | 物理的特性変動がデジタル画像形成システムの画像品質性能に及ぼす影響を打ち消す方法 |
Families Citing this family (71)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100192270B1 (ko) * | 1996-02-03 | 1999-06-15 | 구자홍 | 에이치디티브이 비데오 디코더 회로 |
| JP3575508B2 (ja) * | 1996-03-04 | 2004-10-13 | Ｋｄｄｉ株式会社 | 符号化動画像再生装置 |
| US5832135A (en) * | 1996-03-06 | 1998-11-03 | Hewlett-Packard Company | Fast method and apparatus for filtering compressed images in the DCT domain |
| DE69614675T2 (de) * | 1996-06-28 | 2001-12-06 | Stmicroelectronics S.R.L., Agrate Brianza | MPEG-2 Dekodierung mit reduziertem RAM Bedürfnis durch ADPCM Rekomprimierung vor der Speicherung von dekomprimierten MPEG-2 Daten, wahlweise nach einem Unterabtastungsalgorithmus |
| JP3263807B2 (ja) * | 1996-09-09 | 2002-03-11 | ソニー株式会社 | 画像符号化装置および画像符号化方法 |
| US6144698A (en) * | 1996-10-31 | 2000-11-07 | Mitsubishi Electric Information Technology Center America, Inc. (Ita) | Digital video decoder and method of decoding a digital video signal |
| US6859495B1 (en) | 1996-10-31 | 2005-02-22 | Mitsubishi Electric Research Laboratories, Inc. | Digital video format converter and method therefor |
| US6028635A (en) * | 1996-12-03 | 2000-02-22 | Stmicroelectronics, Inc. | Reducing the memory required for decompression by storing compressed information using DCT based techniques |
| US6108027A (en) * | 1996-12-17 | 2000-08-22 | Netergy Networks, Inc. | Progressive still frame mode |
| US6115070A (en) * | 1997-06-12 | 2000-09-05 | International Business Machines Corporation | System and method for DCT domain inverse motion compensation using shared information |
| US6067384A (en) * | 1997-09-11 | 2000-05-23 | Canon Kabushiki Kaisha | Fast scaling of JPEG images |
| US6157740A (en) * | 1997-11-17 | 2000-12-05 | International Business Machines Corporation | Compression/decompression engine for enhanced memory storage in MPEG decoder |
| US6061400A (en) * | 1997-11-20 | 2000-05-09 | Hitachi America Ltd. | Methods and apparatus for detecting scene conditions likely to cause prediction errors in reduced resolution video decoders and for using the detected information |
| US5956026A (en) * | 1997-12-19 | 1999-09-21 | Sharp Laboratories Of America, Inc. | Method for hierarchical summarization and browsing of digital video |
| US6134571A (en) * | 1998-04-29 | 2000-10-17 | Hewlett-Packard Company | Implicit DST-based filter operating in the DCT domain |
| US6104441A (en) * | 1998-04-29 | 2000-08-15 | Hewlett Packard Company | System for editing compressed image sequences |
| US6222944B1 (en) * | 1998-05-07 | 2001-04-24 | Sarnoff Corporation | Down-sampling MPEG image decoder |
| KR20010071519A (ko) | 1998-06-19 | 2001-07-28 | 벤자민 에프 커틀러 | 제1 해상도를 가지는 인코딩된 이미지를 제2 해상도를가지는 이미지로 직접 디코딩하는 방법 및 장치 |
| US6452969B1 (en) * | 1998-09-28 | 2002-09-17 | Thomson Licensing S.A. | Transform domain inverse motion compensation having fractional pel accuracy |
| US6445828B1 (en) * | 1998-09-28 | 2002-09-03 | Thomson Licensing S.A. | Transform domain resizing of an image compressed with field encoded blocks |
| US6188728B1 (en) * | 1998-09-29 | 2001-02-13 | Sarnoff Corporation | Block motion video coding and decoding |
| JP2002526998A (ja) * | 1998-09-29 | 2002-08-20 | サーノフ コーポレイション | ブロック動きビデオのコード化及びデコード化 |
| US6487249B2 (en) * | 1998-10-09 | 2002-11-26 | Matsushita Electric Industrial Co., Ltd. | Efficient down conversion system for 2:1 decimation |
| US6249549B1 (en) * | 1998-10-09 | 2001-06-19 | Matsushita Electric Industrial Co., Ltd. | Down conversion system using a pre-decimation filter |
| US6192157B1 (en) | 1998-10-27 | 2001-02-20 | Hewlett-Packard Company | Modifications of postscript adaptive data compression (ADC) for 3 plane, 8 bit color images, JPEG lossy compression, and variable Q factors |
| FI107108B (fi) * | 1998-11-05 | 2001-05-31 | Nokia Mobile Phones Ltd | Virheen ilmaiseminen alhaisen bittinopeuden videolähetyksessä |
| KR100312421B1 (ko) | 1998-11-25 | 2001-12-12 | 오길록 | 영상시스템에서의압축동영상변환장치및그방법 |
| US6658167B1 (en) | 1999-01-31 | 2003-12-02 | Hewlett-Packard Development Company, L.P. | On the fly server for modifying data characteristics for client-server network applications |
| US6490323B1 (en) | 1999-06-17 | 2002-12-03 | Hewlett-Packard Company | Fast compressed domain processing using orthogonality |
| US6633673B1 (en) | 1999-06-17 | 2003-10-14 | Hewlett-Packard Development Company, L.P. | Fast fade operation on MPEG video or other compressed data |
| US7542068B2 (en) * | 2000-01-13 | 2009-06-02 | Polycom, Inc. | Method and system for controlling multimedia video communication |
| US6300973B1 (en) | 2000-01-13 | 2001-10-09 | Meir Feder | Method and system for multimedia communication control |
| US6941019B1 (en) | 2000-05-10 | 2005-09-06 | International Business Machines Corporation | Reentry into compressed data |
| US7146053B1 (en) | 2000-05-10 | 2006-12-05 | International Business Machines Corporation | Reordering of compressed data |
| US7062098B1 (en) * | 2000-05-12 | 2006-06-13 | International Business Machines Corporation | Method and apparatus for the scaling down of data |
| US6970179B1 (en) | 2000-05-12 | 2005-11-29 | International Business Machines Corporation | Method and apparatus for the scaling up of data |
| US6807310B1 (en) * | 2000-05-23 | 2004-10-19 | The Board Of Trustees Of The University Of Illinois | Transformation of image parts in different domains to obtain resultant image size different from initial image size |
| US6647061B1 (en) * | 2000-06-09 | 2003-11-11 | General Instrument Corporation | Video size conversion and transcoding from MPEG-2 to MPEG-4 |
| US7471834B2 (en) * | 2000-07-24 | 2008-12-30 | Vmark, Inc. | Rapid production of reduced-size images from compressed video streams |
| US6934334B2 (en) * | 2000-10-02 | 2005-08-23 | Kabushiki Kaisha Toshiba | Method of transcoding encoded video data and apparatus which transcodes encoded video data |
| KR100407691B1 (ko) * | 2000-12-21 | 2003-12-01 | 한국전자통신연구원 | 계층탐색을 이용한 움직임 추정장치 및 방법 |
| US20020122491A1 (en) * | 2001-01-03 | 2002-09-05 | Marta Karczewicz | Video decoder architecture and method for using same |
| US6901422B1 (en) | 2001-03-21 | 2005-05-31 | Apple Computer, Inc. | Matrix multiplication in a vector processing system |
| EP1246469A3 (fr) * | 2001-03-27 | 2005-04-13 | Koninklijke Philips Electronics N.V. | Procédé de réduction de format et de décodage similtanés de signaux vidéo codés |
| JP3971135B2 (ja) * | 2001-07-11 | 2007-09-05 | 株式会社テクノマセマティカル | Ｄｃｔ行列分解方法及びｄｃｔ装置 |
| JP2003116104A (ja) * | 2001-10-02 | 2003-04-18 | Sony Corp | 情報処理装置及び情報処理方法 |
| US20030202603A1 (en) * | 2002-04-12 | 2003-10-30 | William Chen | Method and apparatus for fast inverse motion compensation using factorization and integer approximation |
| US7469012B2 (en) * | 2002-05-14 | 2008-12-23 | Broadcom Corporation | System and method for transcoding entropy-coded bitstreams |
| US7050656B2 (en) * | 2002-12-11 | 2006-05-23 | Seiko Epson Corporation | Image scaling in the compressed domain |
| US7221708B1 (en) * | 2002-12-16 | 2007-05-22 | Emblaze V Con Ltd | Apparatus and method for motion compensation |
| US7627180B2 (en) * | 2004-02-17 | 2009-12-01 | Toa Corporation | Image compression apparatus |
| US7773815B2 (en) * | 2004-07-14 | 2010-08-10 | Hewlett-Packard Development Company, L.P. | System and method for compressing compressed data |
| US20060072659A1 (en) * | 2004-10-01 | 2006-04-06 | Samsung Electronics Co., Ltd. | Method for transmitting moving picutres in mobile communication terminal |
| US7831785B2 (en) * | 2007-04-30 | 2010-11-09 | Hewlett-Packard Development Company, L.P. | Data collection management system and method |
| US8780988B2 (en) * | 2008-02-28 | 2014-07-15 | Vixs Systems, Inc. | Hierarchical video analysis-based real-time perceptual video coding |
| KR100948413B1 (ko) | 2008-03-05 | 2010-03-19 | 경희대학교 산학협력단 | 정수 ｄｃｔ 변환 영역에서 영상 블록의 업/다운 샘플링방법 및 그 장치 |
| DE102010010736A1 (de) * | 2010-03-09 | 2011-09-15 | Arnold & Richter Cine Technik Gmbh & Co. Betriebs Kg | Verfahren zur Kompression von Bilddaten |
| KR20130095179A (ko) | 2010-04-07 | 2013-08-27 | 리니어 알제브라 테크놀로지스 리미티드 | 메모리 용량의 감소가 이루어지며 프로세싱 요건들이 핸드헬드 및 모바일 애플리케이션들에 적합하게 이루어지는 브로드캐스트 비디오 복호기 |
| WO2012016354A1 (en) | 2010-08-04 | 2012-02-09 | Nxp B.V. | Video player |
| WO2012035534A2 (en) | 2010-09-17 | 2012-03-22 | I.C.V.T Ltd. | Downsizing an encoded image |
| US10277915B2 (en) * | 2011-11-07 | 2019-04-30 | Qualcomm Incorporated | Signaling quantization matrices for video coding |
| US9544587B2 (en) | 2012-05-14 | 2017-01-10 | Google Technology Holdings LLC | Scalable video coding with enhanced base layer |
| US10015604B2 (en) | 2014-05-05 | 2018-07-03 | Nxp B.V. | Electromagnetic induction field communication |
| US9819075B2 (en) | 2014-05-05 | 2017-11-14 | Nxp B.V. | Body communication antenna |
| US10009069B2 (en) | 2014-05-05 | 2018-06-26 | Nxp B.V. | Wireless power delivery and data link |
| US10014578B2 (en) | 2014-05-05 | 2018-07-03 | Nxp B.V. | Body antenna system |
| US9812788B2 (en) | 2014-11-24 | 2017-11-07 | Nxp B.V. | Electromagnetic field induction for inter-body and transverse body communication |
| US9819395B2 (en) | 2014-05-05 | 2017-11-14 | Nxp B.V. | Apparatus and method for wireless body communication |
| US9819097B2 (en) | 2015-08-26 | 2017-11-14 | Nxp B.V. | Antenna system |
| US10320086B2 (en) | 2016-05-04 | 2019-06-11 | Nxp B.V. | Near-field electromagnetic induction (NFEMI) antenna |
| CN115147501B (zh) * | 2022-09-05 | 2022-12-02 | 深圳市明源云科技有限公司 | 图片解压方法、装置、终端设备以及存储介质 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH04211575A (ja) * | 1990-04-27 | 1992-08-03 | Ricoh Co Ltd | 直交変換演算装置 |
| US5168375A (en) * | 1991-09-18 | 1992-12-01 | Polaroid Corporation | Image reconstruction by use of discrete cosine and related transforms |
| JP3104334B2 (ja) * | 1991-10-17 | 2000-10-30 | ソニー株式会社 | 画像符号化装置 |
| JP2871316B2 (ja) * | 1992-07-10 | 1999-03-17 | 日本ビクター株式会社 | 動画像符号化装置 |
| JP3381855B2 (ja) * | 1992-12-28 | 2003-03-04 | ソニー株式会社 | 画像信号符号化方法および画像信号符号化装置、並びに画像信号復号化方法および画像信号復号化装置 |
| JPH06225213A (ja) * | 1993-01-26 | 1994-08-12 | Fuji Film Micro Device Kk | 画像処理方法と装置 |
| JP3244399B2 (ja) * | 1994-03-25 | 2002-01-07 | 三洋電機株式会社 | 圧縮動画像符号信号の情報量変換回路、及び方法 |
| US5623312A (en) * | 1994-12-22 | 1997-04-22 | Lucent Technologies Inc. | Compressed-domain bit rate reduction system |
| JPH08191444A (ja) * | 1995-01-09 | 1996-07-23 | Matsushita Electric Ind Co Ltd | ビデオ信号復号化装置 |
-
1996
- 1996-03-06 US US08/611,922 patent/US5708732A/en not_active Expired - Lifetime
-
1997
- 1997-02-24 JP JP03895097A patent/JP4006047B2/ja not_active Expired - Fee Related
- 1997-03-06 DE DE69726042T patent/DE69726042T2/de not_active Expired - Lifetime
- 1997-03-06 DE DE69722060T patent/DE69722060T2/de not_active Expired - Lifetime
- 1997-03-06 EP EP97103786A patent/EP0798927B1/en not_active Expired - Lifetime
- 1997-03-06 EP EP97103783A patent/EP0794674B1/en not_active Expired - Lifetime
-
2007
- 2007-05-31 JP JP2007145597A patent/JP4996347B2/ja not_active Expired - Fee Related
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11234672A (ja) * | 1997-11-14 | 1999-08-27 | Sony Electronics Inc | デコ―ディング方法及び装置 |
| JP2006115536A (ja) * | 1997-11-14 | 2006-04-27 | Sony Electronics Inc | 復号方法及び復号装置 |
| JP2007014775A (ja) * | 2005-07-06 | 2007-01-25 | Agfa Gevaert Nv | 物理的特性変動がデジタル画像形成システムの画像品質性能に及ぼす影響を打ち消す方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4996347B2 (ja) | 2012-08-08 |
| EP0794674A2 (en) | 1997-09-10 |
| JP2007282266A (ja) | 2007-10-25 |
| JP4006047B2 (ja) | 2007-11-14 |
| EP0794674A3 (en) | 1998-04-22 |
| DE69726042D1 (de) | 2003-12-18 |
| DE69722060D1 (de) | 2003-06-26 |
| EP0798927B1 (en) | 2003-11-12 |
| EP0798927A2 (en) | 1997-10-01 |
| EP0794674B1 (en) | 2003-05-21 |
| DE69722060T2 (de) | 2004-03-18 |
| EP0798927A3 (en) | 1998-04-22 |
| US5708732A (en) | 1998-01-13 |
| DE69726042T2 (de) | 2004-06-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JPH09331532A (ja) | 画像縮小サンプリング方法 | |
| JPH09331532A5 (ja) | ||
| Merhav et al. | Fast algorithms for DCT-domain image downsampling and for inverse motion compensation | |
| Chang et al. | Manipulation and compositing of MC-DCT compressed video | |
| US5703965A (en) | Image compression/decompression based on mathematical transform, reduction/expansion, and image sharpening | |
| US6134270A (en) | Scaled forward and inverse discrete cosine transform and video compression/decompression systems employing the same | |
| KR101028676B1 (ko) | 공통 인수를 갖는 변환 | |
| Hu et al. | Image/video spatial scalability in compressed domain | |
| JPH10503359A (ja) | 画像データ圧縮ノイズの低減のための方法および装置 | |
| AU748947C (en) | Method and apparatus for inverse quantization of MPEG-4 video | |
| Merhav et al. | A fast algorithm for DCT-domain inverse motion compensation | |
| WO2000033255A1 (en) | Compressing and decompressing images | |
| US6134571A (en) | Implicit DST-based filter operating in the DCT domain | |
| JP2005327298A (ja) | 動画像コーデック変換の高速実装 | |
| Shen et al. | DCT convolution and its application in compressed domain | |
| JPH09212484A (ja) | 離散コサイン変換方法 | |
| EP1679658A2 (en) | Image signal transforming method, image signal inversely-transforming method, image encoding apparatus, image encoding method, image encoding program, image decoding apparatus, image decoding method, and image decoding program | |
| JP3025750B2 (ja) | 離散コサイン変換回路，離散コサイン逆変換回路，ｍｐｅｇビデオエンコーダ，ｍｐｅｇビデオデコーダ | |
| US5784011A (en) | Multiplier circuit for performing inverse quantization arithmetic | |
| US6304604B1 (en) | Method and apparatus for configuring compressed data coefficients to minimize transpose operations | |
| CA2336255A1 (en) | Efficient down-scaling of dct compressed images | |
| US20050141776A1 (en) | Low power, high performance transform coprocessor for video compression | |
| WO1999018735A1 (en) | Picture masking and compositing in the frequency domain | |
| US6279062B1 (en) | System for reducing data transmission between coprocessors in a video compression/decompression environment by determining logical data elements of non-zero value and retrieving subset of the logical data elements | |
| US6490323B1 (en) | Fast compressed domain processing using orthogonality |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061206 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20070227 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20070302 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070531 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070808 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070827 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100831 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110831 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110831 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120831 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120831 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130831 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130831 Year of fee payment: 6 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130831 Year of fee payment: 6 |
|
| R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
| R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
| R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130831 Year of fee payment: 6 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130831 Year of fee payment: 6 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |