JPH11272857A - 画像スケーリング装置および方法 - Google Patents

Abstract

(57)【要約】 【課題】 周波数データに対する画像スケーリング処理
を施すことにより、画像表示処理と画像スケーリング処
理とを部分的に統合し、メモリ容量の低減および装置構
成の簡素化を図った画像スケーリング装置および方法を
提供する。 【解決手段】 ＶＬＤ１は、入力するビットストリーム
をデコードして周波数データを抽出し出力する。ゾーン
フィルタ２は、画像スケーリング処理を実施する場合、
上記周波数データから画像歪みの原因となる高域周波数
成分をカットして出力する。変換部３は、上記高域周波
数成分がカットされた周波数データの語長スケーリング
処理およびＩＤＣＴ変換により空間データへの変換処理
を行う。直線補間部４は、上記空間データに対し、与え
られるスケーリング比率に従ってマクロブロック内の任
意の画素を直線補間によって抽出する。フレームメモリ
８は、直線補間部４において直線補間されたブロック単
位の画像データを格納する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像スケーリング
装置および方法に関し、より特定的には、直交変換によ
り周波数データ化されたグラフィックスや動画等の画像
データに対し、画像スケーリング処理を施す画像スケー
リング装置および方法に関する。

【０００２】

【従来の技術】画像スケーリング処理とは、ある予め定
めた規格の画面サイズで送られてくる画像データを、任
意の画面サイズに拡大または縮小する処理をいう。例え
ば、７２０（水平方向）×４８０（垂直方向）画素であ
る規格の画像データを、８００×６００画素のディスプ
レイに全画面表示する場合には、画像データを拡大する
必要がある。そこで、画像スケーリング処理を行い画像
データを拡大するのである。

【０００３】この画像スケーリング処理を行う従来の装
置としては、特開平８−１１３３７２号公報（以下、従
来の文献という）に開示されている「画像表示変換装
置」が存在する。以下、この従来の画像表示変換装置
を、ＭＰＥＧ（Moving Picture Experts Group）方式の
画像データの表示を行う従来の画像表示装置を一例に挙
げて説明する。図８は、この従来の画像表示装置の構成
を示すブロック図である。

【０００４】図８において、従来の画像表示装置は、Ｍ
ＰＥＧデコード装置１００と、画像表示変換装置２００
と、フレームメモリ３００と、ディスプレイ４００とを
備える。また、ＭＰＥＧデコード装置１００は、可変長
デコーダ（以下、ＶＬＤ(Variable Length Decoder）と
いう）１１０と、変換部１２０、動き補償部１３０と、
加算器１４０とを備える。画像表示変換装置２００は、
水平フィルタ２１０と、直線補間部２２０および２４０
と、垂直フィルタ２３０と、ラインバッファ２５０とを
備える。なお、上記従来の文献に開示されている画像表
示変換装置は、図８における画像表示変換装置２００に
相当する。

【０００５】ＶＬＤ１１０は、ＭＰＥＧビットストリー
ムをデコードして周波数データとベクター情報とを抽出
する。変換部１２０は、語長のスケーリング、すなわ
ち、デジタル信号処理の前処理となる値の正規化と逆離
散コサイン変換（以下、ＩＤＣＴ(Inverse Discrete Co
sine Transform）という）とを行う。動き補償部１３０
は、ベクター情報に基づき、すでに作成された他のフレ
ームデータを用いて新たなフレームデータを作成する。
加算器１４０は、変換部１２０の出力と動き補償部１３
０の出力とを加算する。フレームメモリ３００は、フレ
ーム単位で画像データを格納するメモリである。ディス
プレイ４００は、フレームメモリ３００が出力する画像
データを順次表示する。

【０００６】なお、周知のように、ＭＰＥＧ方式におい
ては、画像データを離散コサイン変換（以下、ＤＣＴ(D
iscrete Cosine Transform）という）した周波数領域の
画像データ（以下、周波数データという）が用いられ
る。このように周波数データを用いる理由は、通常の画
面である空間領域の画像データ（以下、空間データとい
う）ではランダムな値を持つ画像データも（図９（ａ）
を参照）、周波数領域に変換すると低域周波数の振幅が
高くなる（すなわち、画像データのほとんどが低域周波
数に集まる）傾向があること（図９（ｂ）を参照）を利
用して、画像データに影響が少ない高域周波数の情報を
削減して高い情報圧縮率を得るためである。従って、蓄
積や伝送などに関して限られた容量のものを使用する場
合には、周波数データで情報をやりとりする方が経済的
なのである。また、ベクター情報とは、動きがある画素
ブロックに関して与えられるベクトル情報である。この
ベクター情報を用いることで、変換部１２０においてＩ
ＤＣＴ処理を行う周波数データの情報量を少なくするこ
とができる。すなわち、他のフレームとの相関性が高い
（ほとんど変化のない）フレームに関しては、動きのあ
る画素ブロック部分の移動量を示すベクトル値を別途与
え、この部分については他のフレームデータを参照して
作成するようにするのである。このため、変換部１２０
に与える周波数データは、作成するフレームデータと他
のフレームデータとの異なる部分の差データだけで済む
ことになる。

【０００７】再び図８を参照して、水平フィルタ２１０
は、フレームメモリ３００の画像ラインに対し水平方向
のフィルタリング（畳込み演算）を行う。直線補間部２
２０は、水平フィルタ２１０の出力に基づき、水平スケ
ールの比率に従って直線補間処理により画素を求める。
ラインバッファ２５０は、直線補間部２２０の出力を予
め定めたライン数のデータ分だけ格納する。垂直フィル
タ２３０は、直線補間部２２０の出力およびラインバッ
ファ２５０の格納データに基づき、垂直方向のフィルタ
リング（畳込み演算）を行う。直線補間部２４０は、垂
直フィルタ２３０の出力から垂直スケールの比率に従っ
て直線補間処理により画素を求める。

【０００８】以下、従来の画像表示装置の動作を説明す
る。まず、ＭＰＥＧデコード装置１００における動作を
説明する。ＶＬＤ１１０は、入力するＭＰＥＧビットス
トリームをデコードして、周波数データとベクター情報
とを抽出する。このＶＬＤ１１０で抽出された周波数デ
ータは、変換部１２０に送られ、ベクター情報は、動き
補償部１３０に送られる。変換部１２０は、周波数デー
タの語長スケーリング処理（内部のデジタル計算がオー
バーおよびアンダーフローしないようにする処理）、お
よび、ＩＤＣＴ変換により空間データへの変換処理を行
う。一方、動き補償部１３０は、ベクター情報に基づ
き、フレームメモリ３００を参照して当該ベクター情報
が示す位置の過去に作成された画像情報を取得し、ま
た、必要であれば画素間の補間（例えば、相加平均によ
り画素間中点の値を求める）を行って出力する。この動
き補償部１３０の出力は、加算器１４０において変換部
１２０の出力と加算され、フレームメモリ３００に格納
される。

【０００９】なお、上記処理のうち、動き補償部１３０
で行うベクター情報処理は、マクロブロックと呼ばれる
１６×１６サイズの二次元の画素単位で逐次行われ、変
換部１２０で行うＩＤＣＴ変換処理は、サブブロックと
呼ばれる８×８サイズの二次元の画素単位で逐次行われ
る（図１０を参照）。

【００１０】次に、画像表示変換装置２００における動
作を説明する。上述したように、画像表示変換装置２０
０は、与えられる（例えば、ユーザからの指示やディス
プレイ４００の設定等によって与えられる）スケーリン
グ比率に従って、ＭＰＥＧデコード装置１００で作成し
たフレームデータの画像スケーリング処理をフレーム単
位で行う。この画像スケーリング処理では、二次元の直
線補間によって任意の画素を類推する処理を行うのだ
が、この処理を行うことで高域周波数成分に起因する文
字潰れ等の画像歪み（エリアシング等）が発生してしま
う。このため、一般にこの画像歪みを抑えるべく、原因
となる高域周波数成分をカットする二次元のフィルタリ
ングを直線補間の前段で行う。

【００１１】上記内容に対応して、水平フィルタ２１０
は、フレームメモリ３００から任意のフレームデータを
ライン単位で取得し、低域通過型フィルタリングを実施
して水平方向の高域周波数成分をカットする。直線補間
部２２０は、水平フィルタ２１０によって高域周波数成
分がカットされたラインデータを入力し、与えられた水
平方向のスケーリング比率に従って任意に画素を作成す
る。以上により、水平方向のフィルタリングと直線補間
が完了する。

【００１２】ここで、次に行う垂直方向のスケーリング
処理を行うためには、直線補間部２２０から出力される
ラインデータを１フレーム分（以下、暫定フレームとい
う）蓄積する必要がある。そこで、直線補間部２２０の
出力を順次ラインバッファ２５０蓄積し、１フレーム分
が蓄積されると垂直方向のフィルタリングを実施するよ
うにしている。ここで、暫定フレームをフレームメモリ
３００に蓄積することも考えられるが、フレームメモリ
３００の使用するメモリ容量やメモリバス性能に依存す
る処理応答速度等の制限から、一般的には図８に示すよ
うにフレームメモリ３００とは個別に設けたラインバッ
ファ２５０に蓄積している。なお、ラインバッファ２５
０に蓄積するデータを１フレーム分と述べたが、必要な
ライン数は垂直フィルタリングを行う係数に依存するも
のであり、実際には数ライン分で行われることが多い。

【００１３】垂直フィルタ２３０は、暫定フレームをラ
インバッファ２５０から取得し、低域通過型フィルタリ
ングを実施して垂直方向の高域周波数成分をカットす
る。直線補間部２４０は、垂直フィルタ２３０によって
高域周波数成分がカットされた暫定フレームを入力し、
与えられた垂直方向のスケーリング比率に従って任意に
画素を作成する。以上により、垂直方向のフィルタリン
グと直線補間が完了する。

【００１４】上記処理によって水平方向および垂直方向
の画像スケーリング処理がなされたフレームは、フレー
ムメモリ３００に書き込まれる。

【００１５】なお、上記従来の技術の説明においては、
動画処理であるＭＰＥＧ方式における画像表示装置につ
いて述べたが、例えば、静止画処理であるＪＰＥＧ(Joi
nt Photographic Coding Experts Group）方式における
画像表示装置についても動画処理に関連する構成（動き
補償部１３０，加算器１４０）を除き、同様な構成を用
いて実現することができる（図１１を参照）。

【００１６】

【発明が解決しようとする課題】しかしながら、上記従
来の画像表示装置の構成では、フレームメモリ３００に
格納されている空間データに対して画像スケーリング処
理を行うため、水平方向と垂直方向とを個別に処理しな
ければならない。このため、水平方向の処理から垂直方
向の処理に移行するにあたって１フレーム分（または、
数ライン分）のデータを一時的に蓄積する必要があり、
このデータを一時的に蓄積するためだけのメモリ容量が
別途必要であるという問題点があった。

【００１７】また、画像スケーリング処理を行う機能部
分（画像表示変換装置２００に相当）が、主機能である
画像表示処理を行う機能部分（ＭＰＥＧデコード装置１
００に相当）と個別に構成されているため、装置全体の
構成が複雑となる。

【００１８】それ故、本発明の目的は、周波数データに
対する画像スケーリング処理を施すことにより、主機能
である画像表示処理と画像スケーリング処理とを部分的
に統合し、メモリ容量の低減および装置構成の簡素化を
図った画像スケーリング装置および方法を提供すること
である。

【００１９】

【課題を解決するための手段および発明の効果】第１の
発明は、直交変換によって周波数領域化された画像デー
タ（以下、周波数データという）に対し、画像スケーリ
ング処理を行う画像スケーリング装置であって、周波数
データを入力し、与えられる画像スケーリング比率に従
った当該周波数データの高域周波数成分の減衰および／
または低域周波数成分の増幅の加工処理を行うフィルタ
と、フィルタが出力する周波数データを入力し、語長ス
ケーリングおよび逆直交変換を行って画像データに変換
する変換手段と、変換手段が出力する画像データを入力
し、画像スケーリング比率に従った直線補間により画素
の抽出を行う直線補間手段と、直線補間手段が出力する
画像データを格納するフレームメモリとを備える。

【００２０】上記のように、第１の発明によれば、画像
スケーリング処理を行う場合、周波数データに対して加
工処理を行う。そして、逆直交変換を行った後に画像ス
ケーリング比率に従った直線補間処理を行う。これによ
り、従来の画像スケーリング処理で必要不可欠であった
暫定フレームの記憶領域が不必要となり、かつ、フレー
ムメモリについては、規格による固定サイズの画像デー
タとスケーリング処理後の画像データとの双方を同時に
格納する必要がなくなり、メモリ領域の縮小を図ること
ができる。また、装置の一部機能を統合し、画像データ
の生成と並行して画像スケーリング処理を行うため、装
置全体の構成が簡素化される。

【００２１】第２の発明は、第１の発明において、周波
数データが動画に関するデータである場合、周波数デー
タに対応する動きデータを入力し、画像スケーリング比
率に従って補正する補正手段と、補正手段が出力する動
きデータを入力し、当該動きデータに従って動画を完成
させる処理を行う動き補償手段とをさらに備え、直線補
間手段の出力に動き補償手段の出力を加算する。

【００２２】上記のように、第２の発明によれば、第１
の発明において、画像スケーリング処理を行う場合、周
波数データに対して加工処理を行う。そして、逆直交変
換を行った後に画像スケーリング比率に従った直線補間
処理を行う。また、動きデータについても同一の画像ス
ケーリング比率に従って補正を行う。これにより、動画
像データ処理においても第１の発明と同様に、従来の画
像スケーリング処理で必要不可欠であった暫定フレーム
の記憶領域が不必要となり、かつ、フレームメモリにつ
いては、規格による固定サイズの画像データとスケーリ
ング処理後の画像データとの双方を同時に格納する必要
がなくなり、メモリ領域の縮小を図ることができる。ま
た、装置の一部機能を統合し、画像データの生成と並行
して画像スケーリング処理を行うため、装置全体の構成
が簡素化される。

【００２３】第３の発明は、第１の発明において、フレ
ームメモリに格納されている画像データに対し、語長ス
ケーリングおよび直交変換を行って再び周波数データに
変換し、フィルタへ出力する再変換手段をさらに備え、
フレームメモリにすでに格納されている画像データにつ
いて画像スケーリング処理が可能なことを特徴とする。

【００２４】上記のように、第３の発明によれば、第１
の発明において、フレームメモリに格納されている画像
データを再び直交変換により周波数データ化した後、フ
ィルタへ出力する。これにより、フレームメモリにすで
に格納されているデータも、第１の発明と同様に画像ス
ケーリング処理を行うことが可能となる。

【００２５】第４の発明は、第１〜第３の発明におい
て、周波数データに対し、周波数成分の内挿処理により
画素ブロックサイズの拡大を行う内挿手段をさらに備
え、直線補間装置は、内挿処理によって拡大された部分
をオーバーラップさせてフレームメモリに格納すること
を特徴とする。

【００２６】上記のように、第４の発明によれば、第１
〜第３の発明において、周波数データに対して内挿処理
を行うことにより、フレームメモリに格納するデータの
画素ブロックサイズを拡大する。そして、この拡大範囲
をオーバーラップさせながらフレームメモリに書き込
む。これにより、データの画素ブロック間の連続性をス
ムーズにするとともに、元画像とのＳＮ比を向上させる
ことができる。

【００２７】第５の発明は、第１〜第４の発明におい
て、画像スケーリング比率が与えられない場合は、フィ
ルタ、直線補間手段および補正手段は、それぞれ入力す
るデータに対して加工処理、抽出および補正を行なうこ
となく出力する。

【００２８】上記のように、第５の発明によれば、第１
〜第４の発明において、画像スケーリング処理を行わな
い場合には、従来の装置と同様に通常の処理を行う。こ
れにより、画像スケーリング処理が必要でない場合にも
対応が可能となる。

【００２９】第６の発明は、直交変換によって周波数領
域化された画像データ（以下、周波数データという）に
対し、画像スケーリング処理を行う画像スケーリング方
法であって、周波数データに対し、与えられる画像スケ
ーリング比率に従った高域周波数成分の減衰および／ま
たは低域周波数成分の増幅の加工処理を行うステップ
と、加工処理を行うステップが出力する周波数データに
対し、語長スケーリングおよび逆直交変換を行って画像
データに変換するステップと、語長スケーリングおよび
逆直交変換を行うステップが出力する画像データに対
し、画像スケーリング比率に従った直線補間により画素
の抽出を行うステップと、画素の抽出を行うステップが
出力する画像データをフレームメモリに格納するステッ
プとを備える。

【００３０】上記のように、第６の発明によれば、画像
スケーリング処理を行う場合、周波数データに対して加
工処理を行う。そして、逆直交変換を行った後に画像ス
ケーリング比率に従った直線補間処理を行う。この方法
により、従来の画像スケーリング処理で必要不可欠であ
った暫定フレームの記憶領域が不必要となり、かつ、フ
レームメモリについては、規格による固定サイズの画像
データとスケーリング処理後の画像データとの双方を同
時に格納する必要がなくなり、メモリ領域の縮小を図る
ことができる。また、装置の一部機能を統合し、画像デ
ータの生成と並行して画像スケーリング処理を行えるの
で、装置全体の構成が簡素化される。

【００３１】第７の発明は、第６の発明において、周波
数データが動画に関するデータである場合、周波数デー
タに対応する動きデータを画像スケーリング比率に従っ
て補正するステップと、補正するステップが出力する動
きデータに従って動画を完成させる処理を行うステップ
と、画素の抽出を行うステップの出力に動画を完成させ
る処理を行うステップの出力を加算するステップとをさ
らに備える。

【００３２】上記のように、第７の発明によれば、第６
の発明において、画像スケーリング処理を行う場合、周
波数データに対して加工処理を行う。そして、逆直交変
換を行った後に画像スケーリング比率に従った直線補間
処理を行う。また、動きデータについても同一の画像ス
ケーリング比率に従って補正を行う。この方法により、
動画像データ処理においても第５の発明と同様に、従来
の画像スケーリング処理で必要不可欠であった暫定フレ
ームの記憶領域が不必要となり、かつ、フレームメモリ
については、規格による固定サイズの画像データとスケ
ーリング処理後の画像データとの双方を同時に格納する
必要がなくなり、メモリ領域の縮小を図ることができ
る。また、装置の一部機能を統合し、画像データの生成
と並行して画像スケーリング処理を行えるので、装置全
体の構成が簡素化される。

【００３３】第８の発明は、第６の発明において、フレ
ームメモリに格納されている画像データに対し、語長ス
ケーリングおよび直交変換を行って再び周波数データに
変換し、加工処理を行うステップへ出力するステップを
さらに備え、フレームメモリにすでに格納されている画
像データについて画像スケーリング処理が可能なことを
特徴とする。

【００３４】上記のように、第８の発明によれば、第６
の発明において、フレームメモリに格納されている画像
データを再び直交変換により周波数データ化した後、加
工処理を行うステップへ出力する。この方法により、て
フレームメモリにすでに格納されている画像データも第
６の発明と同様に、画像スケーリング処理を行うことが
可能となる。

【００３５】第９の発明は、第６〜第８の発明におい
て、周波数データに対し、周波数成分の内挿処理により
画素ブロックサイズの拡大を行うステップをさらに備
え、画素の抽出を行うステップは、内挿処理によって拡
大された部分をオーバーラップさせてフレームメモリに
格納することを特徴とする。

【００３６】上記のように、第９の発明によれば、第６
〜第８の発明において、周波数データに対して内挿処理
を行うことにより、フレームメモリに格納するデータの
画素ブロックサイズを拡大する。そして、この拡大範囲
をオーバーラップさせながらフレームメモリに書き込
む。この方法により、データの画素ブロック間の連続性
をスムーズにするとともに、元画像とのＳＮ比を向上さ
せることができる。

【００３７】第１０の発明は、コンピュータ装置におい
て実行され、直交変換によって周波数領域化された画像
データ（以下、周波数データという）に対し、画像スケ
ーリング処理を行うプログラムを記録した媒体であっ
て、周波数データに対し、与えられる画像スケーリング
比率に従った高域周波数成分の減衰および／または低域
周波数成分の増幅の加工処理を行うステップと、加工処
理を行うステップが出力する周波数データに対し、語長
スケーリングおよび逆直交変換を行って画像データに変
換するステップと、語長スケーリングおよび逆直交変換
を行うステップが出力する画像データに対し、画像スケ
ーリング比率に従った直線補間により画素の抽出を行う
ステップと、画素の抽出を行うステップが出力する画像
データをフレームメモリに格納するステップとを含む動
作環境を、コンピュータ装置上で実現するためのプログ
ラムを記録している。

【００３８】第１１の発明は、第１０の発明において、
周波数データが動画に関するデータである場合、周波数
データに対応する動きデータを画像スケーリング比率に
従って補正するステップと、補正するステップが出力す
る動きデータに従って動画を完成させる処理を行うステ
ップと、画素の抽出を行うステップの出力に動画を完成
させる処理を行うステップの出力を加算するステップと
をさらに含む。

【００３９】第１２の発明は、第１０の発明において、
フレームメモリに格納されている画像データに対し、語
長スケーリングおよび直交変換を行って再び周波数デー
タに変換し、加工処理を行うステップへ出力するステッ
プをさらに含み、フレームメモリにすでに格納されてい
る画像データについて画像スケーリング処理が可能なこ
とを特徴とする。

【００４０】第１３の発明は、第１０〜第１２の発明に
おいて、周波数データに対し、周波数成分の内挿処理に
より画素ブロックサイズの拡大を行うステップをさらに
含み、画素の抽出を行うステップは、内挿処理によって
拡大された部分をオーバーラップさせてフレームメモリ
に格納することを特徴とする。

【００４１】上記のように、第１０〜第１３の発明は、
それぞれ第６〜第９の発明の画像スケーリング方法を実
行するプログラムを記録した記録媒体である。これは、
第６〜第９の発明の画像スケーリング方法を、任意のコ
ンピュータ装置にソフトウェアの形態で供給することに
対応させたものである。

【００４２】

【発明の実施の形態】（第１の実施形態）本発明の第１
の実施形態に係る画像スケーリング装置は、静止画像デ
ータに対して画像スケーリング処理を行うものである。
以下、本発明の第１の実施形態に係る画像スケーリング
装置について、入力される静止画像データがＪＰＥＧ方
式の画像データである場合を一例に挙げて説明する。

【００４３】図１は、本発明の第１の実施形態に係る画
像スケーリング装置の構成を示すブロック図である。図
１において、第１の実施形態に係る画像スケーリング装
置は、ＶＬＤ１と、ゾーンフィルタ２と、変換部３と、
直線補間部４と、フレームメモリ８とを備える。

【００４４】ＶＬＤ１は、ＪＰＥＧ方式の静止画像ビッ
トストリームを入力し、デコードして周波数データを抽
出する。ゾーンフィルタ２は、周波数データの高域周波
数成分の減衰、若しくは低域周波数成分の増幅、または
その双方を行う。変換部３は、語長のスケーリング、す
なわち、デジタル信号処理の前処理となる値の正規化と
ＩＤＣＴ処理とを行う。直線補間部４は、与えられる
（例えば、ユーザからの指示やディスプレイ９の設定等
によって与えられる）スケーリング比率に従ってマクロ
ブロック内の任意の画素を直線補間によって抽出する。
フレームメモリ８は、フレーム単位で画像データを格納
するメモリである。

【００４５】以下、第１の実施形態に係る画像スケーリ
ング装置の動作を説明する。ＶＬＤ１は、入力するＪＰ
ＥＧビットストリームをデコードして、周波数データを
抽出する。このＶＬＤ１で抽出された周波数データは、
ゾーンフィルタ２に送られる。ここで、ゾーンフィルタ
２は、画像スケーリング処理を行う場合には、入力する
周波数データから当該画像スケーリング処理に伴う画像
歪みの原因となる高域周波数成分をカットして出力す
る。一方、ゾーンフィルタ２は、画像スケーリング処理
を行わない場合には、何ら処理を行うことなく入力した
周波数データをそのまま出力する。

【００４６】ここで、ゾーンフィルタ２で行う周波数デ
ータの高域周波数成分のカットは、以下のようにして行
う。図２は、ゾーンフィルタ２で用いるフィルタ（演算
係数）の一例を示す図である。ゾーンフィルタ２に入力
される周波数データは、前述したとおり水平周波数方向
および垂直周波数方向において画像データの高域周波数
成分と低域周波数成分とが明確に分離表現されている
（図９（ｂ）を参照）。そこで、図２（ａ）に示すよう
な、低域周波数成分のデータには係数「１」を、高域周
波数成分のデータには係数「０」を掛けるというフィル
タリングを行う。これにより、高域周波数成分のみがカ
ットされた周波数データを得ることができる。また、高
域周波数成分のデータのうちのどのデータに値０の係数
を掛けるかについては、与えられるスケーリング比率に
従って行うようにすればよい。なお、画像歪みの対応と
しては、低域周波数成分のデータと高域周波数成分のデ
ータとに相対的に十分なレベル差があればよいので、ゾ
ーンフィルタ２で行うフィルタリングは、例えば、図２
（ｂ）に示すように低域周波数成分のデータを増幅する
ようなものであってもよく、その目的によって自由に定
めることができる。

【００４７】このように、ゾーンフィルタ２は、直交変
換による周波数データの特性を利用して、各マクロブロ
ックのデータに対し任意の区分（ゾーン）に分けてそれ
ぞれ異なる係数を掛けるフィルタリングを行う。従っ
て、ゾーンフィルタ２は、従来のように水平方向および
垂直方向に関してそれぞれ個別にフィルタリングを行う
ことなく、１度で簡単に高域周波数成分のデータをカッ
トすることができる。

【００４８】再び図１を参照して、変換部３は、ゾーン
フィルタ２から出力される周波数データを入力し、当該
周波数データの語長スケーリング処理（内部のデジタル
計算がオーバーおよびアンダーフローしないようにする
処理）、およびＩＤＣＴ変換により空間データへの変換
処理を行う。直線補間部４は、変換部３において変換さ
れた空間データを入力し、画像スケーリング処理を行う
場合には、与えられるスケーリング比率に従った直線補
間によってマクロブロック内の任意の画素を抽出する。
ここで、画像スケーリング処理を行う場合、直線補間部
４が直線補間する空間データは、上記ゾーンフィルタ２
において事前に高域周波数成分をカットされている。そ
のため、直線補間部４は、何ら問題なく直線補間処理を
行えばよい。なお、直線補間部４で行う直線補間処理
は、マクロブロックに対し、水平方向および垂直方向の
各々に関して１次元的に行ってもよいし、あるブロック
単位で２次元的に行ってもよい。一方、直線補間部４
は、画像スケーリング処理を行わない場合には、何ら処
理を行うことなく入力した空間データをそのまま出力す
る。フレームメモリ８は、直線補間部４において直線補
間処理されたブロック単位の画像データを格納する。

【００４９】以上のように、本発明の第１の実施形態に
係る画像スケーリング装置は、画像スケーリング処理を
行う場合、周波数データに対して高域周波数成分をカッ
トするフィルタリングを行う。そして、空間データに変
換した後に、スケーリング比率に従った直線補間処理を
行う。これにより、空間データを用いる画像スケーリン
グ処理で必要不可欠であった暫定フレームの記憶領域
（ラインバッファ）が不必要となり、かつ、フレームメ
モリ８については、規格による固定サイズの画像データ
とスケーリング処理後の画像データとの双方を同時に格
納する必要がなくなり、メモリ領域の縮小を図ることが
できる。また、装置の一部機能を統合し、画像データの
生成と並行して画像スケーリング処理を行うため、装置
全体の構成が簡素化される。

【００５０】なお、上記第１の実施形態においては、Ｊ
ＰＥＧ方式の静止画像データを処理する場合を一例に挙
げて説明した。しかし、第１の実施形態に係る画像スケ
ーリング装置は、上記データを処理する場合に限られる
ものではなく、静止画像に関して直交変換された周波数
データであれば同様に用いることができる。この際、デ
ータがビットストリームの形態ではなく周波数データの
形態で直接入力される場合は、もちろんＶＬＤ１の構成
は不要となる。

【００５１】また、上記第１の実施形態に係る画像スケ
ーリング装置における変換部３は、入力される周波数領
域化された画像データに対して逆周波数変換を行う目的
のものであり、当該入力される画像データに施された周
波数変換の態様によっては、変換部３で行う処理とし
て、ＩＤＣＴ変換以外にも逆高速フーリエ変換等の他の
逆直交変換を用いることも可能である。

【００５２】（第２の実施形態）本発明の第２の実施形
態に係る画像スケーリング装置は、動画像データに対し
て画像スケーリング処理を行うものである。以下、本発
明の第２の実施形態に係る画像スケーリング装置につい
て、入力される動画像データがＭＰＥＧ方式の画像デー
タである場合を一例に挙げて説明する。

【００５３】図３は、本発明の第２の実施形態に係る画
像スケーリング装置の構成を示すブロック図である。図
３において、第２の実施形態に係る画像スケーリング装
置は、ＶＬＤ１１と、ゾーンフィルタ２と、変換部３
と、直線補間部４と、ベクター補正部５と、動き補償部
６と、加算器７と、フレームメモリ８とを備える。

【００５４】図３に示すように、第２の実施形態に係る
画像スケーリング装置は、上記第１の実施形態に係る画
像スケーリング装置にベクター補正部５と動き補償部６
と加算器７とをさらに加えた構成である。また、ＶＬＤ
１１は、上記ＶＬＤ１とは異なり、動画像データのビッ
トストリームが入力される場合に対応している。なお、
第２の実施形態に係る画像スケーリング装置のその他の
構成は、上記第１の実施形態に係る画像スケーリング装
置の構成と同様であり、当該構成については同一の参照
番号を付してその説明を省略する。

【００５５】以下、第２の実施形態に係る画像スケーリ
ング装置の動作を説明する。ＶＬＤ１１は、ＭＰＥＧ方
式の動画像ビットストリームを入力し、デコードして周
波数データとベクター情報とを抽出する。このＶＬＤ１
１で抽出された周波数データは、ゾーンフィルタ２に送
られ、ベクター情報は、ベクター補正部５に送られる。

【００５６】ベクター補正部５は、ＶＬＤ１１からベク
ター情報を入力し、画像スケーリング処理を行う場合に
は、与えられるスケーリング比率（直線補間部４に与え
られるスケーリング比率と同一である）に従ってベクタ
ー情報をスケーリング処理する。このようにベクター情
報をもスケーリング処理する理由は、直線補間部４の出
力段階ですでにスケーリング処理された画像データが出
力されるため、動き補償部６で扱うベクター情報の値も
直線補間部４で行ったスケーリング処理の比率に合わせ
てスケール変更する必要があるからである（なお、図８
に示した従来の画像表示装置では、ＭＰＥＧデコード装
置１００において固定サイズの画像データしか扱わない
ため、このようなベクター補正部５は必要ない）。一
方、ベクター補正部５は、画像スケーリング処理を行わ
ない場合には、何ら処理を行うことなく入力したベクタ
ー情報をそのまま出力する。そして、動き補償部６は、
スケーリング処理されたベクター情報に基づき、フレー
ムメモリ８を参照して当該ベクター情報が示す位置の過
去に作成された画像情報を取り込み、また、必要であれ
ば画素間の補間（例えば、相加平均により画素間中点の
値を求める）を行って出力する。

【００５７】以上のように、本発明の第２の実施形態に
係る画像スケーリング装置は、画像スケーリング処理を
行う場合、周波数データに対して高域周波数部分をカッ
トするフィルタリングを行う。そして、空間データに変
換した後に、スケーリング比率に従った直線補間処理を
行う。また、ベクター情報についても同一のスケーリン
グ比率に従って値の変更を行う。これにより、動画像デ
ータ処理においても上記第１の実施形態で示したのと同
様に、空間データを用いる画像スケーリング処理で必要
不可欠であった暫定フレームの記憶領域（ラインバッフ
ァ）が不必要となり、かつ、フレームメモリ８について
は、規格による固定サイズの画像データとスケーリング
処理後の画像データとの双方を同時に格納する必要がな
くなり、メモリ領域の縮小を図ることができる。また、
装置の一部機能を統合し、画像データの生成と並行して
画像スケーリング処理を行うため、装置全体の構成が簡
素化される。

【００５８】なお、上記第２の実施形態においては、Ｍ
ＰＥＧ方式の動画像データを処理する場合を一例に挙げ
て説明した。しかし、第２の実施形態に係る画像スケー
リング装置は、上記データを処理する場合に限られるも
のではなく、動画像に関した直交変換された周波数デー
タであれば同様に用いることができる。この際、データ
がビットストリームの形態ではなく周波数データの形態
およびベクター情報の形態でそれぞれ直接入力される場
合は、もちろんＶＬＤ１１の構成は不要となる。

【００５９】また、上記第２の実施形態に係る画像スケ
ーリング装置においては、直線補間部４の出力と動き補
償部６の出力とを加算器７において加算した後フレーム
メモリ８に格納するようにしているが、当該双方の出力
をまずフレームメモリ８に格納し、その後にフレームメ
モリ８内で加算するようにしてもよい。

【００６０】（第３の実施形態）本発明の第３の実施形
態に係る画像スケーリング装置は、フレームメモリ内に
すでに格納されている画像データが存在する場合、当該
格納されている画像データに対して画像スケーリング処
理を行うものである。

【００６１】図４は、本発明の第３の実施形態に係る画
像スケーリング装置の構成を示すブロック図である。図
４において、第３の実施形態に係る画像スケーリング装
置は、ＶＬＤ１と、ゾーンフィルタ２と、変換部３と、
直線補間部４と、フレームメモリ８と、再変換部９とを
備える。

【００６２】図４に示すように、第３の実施形態に係る
画像スケーリング装置は、上記第１の実施形態に係る画
像スケーリング装置に、再変換部９をさらに加えた構成
である。なお、第３の実施形態に係る画像スケーリング
装置のその他の構成は、上記第１の実施形態に係る画像
スケーリング装置の構成と同様であり、当該構成につい
ては同一の参照番号を付してその説明を省略する。

【００６３】フレームメモリ８内に画像スケーリング処
理の対象となる画像データが存在する場合、再変換部９
は、当該処理の対象となる画像データをフレームメモリ
８から取得する。そして、再変換部９は、この取得した
画像データ（空間データである）をＤＣＴ変換処理によ
り周波数データに変換し、ゾーンフィルタ２へフィード
バック出力する。

【００６４】以上のように、本発明の第３の実施形態に
係る画像スケーリング装置は、フレームメモリ８に格納
されている画像データを周波数変換処理した後、ゾーン
フィルタ２へフィードバック出力する。これにより、空
間データとしてフレームメモリ８にすでに格納されてい
る画像データも上記第１の実施形態に示した手順と同様
に、画像スケーリング処理を行うことが可能となる。

【００６５】なお、上記第３の実施形態に係る画像スケ
ーリング装置においては、再変換部９を単独の構成とし
て記載したが、変換部３に組み込むことも可能である。
これは、一般に周波数変換処理と逆周波数変換処理とが
（例えば、ＤＣＴ変換処理とＩＤＣＴ変換処理とが）行
列演算の転置の関係にあり、回路構成面においては類似
したバタフライ演算回路で簡単に実現可能だからであ
る。

【００６６】また、上記第３の実施形態に係る画像スケ
ーリング装置において示した再変換部９を介してゾーン
フィルタ２へフィードバック出力する構成は、上記第１
の実施形態に係る画像スケーリング装置のみならず、上
記第２の実施形態に係る画像スケーリング装置において
も同様に用いることが可能である。

【００６７】（第４の実施形態）本発明の第４の実施形
態に係る画像スケーリング装置は、上記第１〜第３の実
施形態に係る画像スケーリング装置において、ブロック
単位で処理した場合に生じる特有の画像歪み（以下、ブ
ロックノイズという）を減少させる内挿処理を、さらに
加えたものである。

【００６８】図５は、本発明の第４の実施形態に係る画
像スケーリング装置の構成を示すブロック図である。図
５において、第４の実施形態に係る画像スケーリング装
置は、ＶＬＤ１と、内挿ゾーンフィルタ２２と、変換部
３と、直線補間部４と、フレームメモリ８とを備える。

【００６９】図５に示すように、第４の実施形態に係る
画像スケーリング装置は、上記第１の実施形態に係る画
像スケーリング装置のゾーンフィルタ２を、内挿ゾーン
フィルタ２２に代えたものである。なお、第４の実施形
態に係る画像スケーリング装置のその他の構成は、上記
第１の実施形態に係る画像スケーリング装置の構成と同
様であり、当該構成については同一の参照番号を付して
その説明を省略する。

【００７０】以下、第４の実施形態に係る画像スケーリ
ング装置について、図６および図７を参照して説明す
る。図６は、周波数データを１次元で示した図であり、
図６（ａ）は内挿処理を行わない場合の１ブロックのデ
ータを、図６（ｂ）は内挿処理を行った場合の１ブロッ
クのデータを示している。図７（ａ）は、内挿処理を行
わない場合のデータ状態を示し、図７（ｂ）は、内挿処
理を行った場合のデータ状態を示している。なお、図６
（ｂ）および図７（ｂ）においては、縦横２倍に拡大す
る内挿処理を示している。

【００７１】まず、図６を参照してブロックノイズを簡
単に説明する。上述のように、周波数データは、あるブ
ロックの空間データをＤＣＴ等による直交変換を行うこ
とで作成される。この変換の際、周波数データには、ブ
ロック境界近傍において当該ブロック範囲外（すなわ
ち、隣接ブロック）のデータが折り返して含まれる（図
６（ａ））。この折り返されたデータは、このブロック
には関係のないデータ（隣接ブロックのデータ）である
ため、当該ブロックに関してノイズとして画像に影響を
与えるのである。

【００７２】次に、図７を参照して内挿処理を説明す
る。内挿ゾーンフィルタ２２は、まず、入力される周波
数データを補間処理により拡大する。この処理を周波数
成分の内挿という。その後、内挿ゾーンフィルタ２２
は、内挿処理された周波数データの高域周波数成分をフ
ィルタリングして出力する（図７（ｂ）、内挿ゾーンフ
ィルタ２２の出力）。変換部３および直線補間部４は、
ゾーンフィルタ２２が出力する拡大された周波数データ
を入力し、上述したとおり逆周波数変換（例えば、ＩＤ
ＣＴ変換）処理および直線補間処理によって拡大された
空間データを出力する（図７（ｂ）、変換部３および直
線補間部４の出力）。ここで、上記内挿処理により周波
数成分を拡大しているため、直線補間部４の出力はブロ
ック範囲を拡大した空間データを得ることができる（図
６（ｂ））。これにより、図６（ｂ）に示すように、折
り返しのデータ部分が拡大されたブロック境界部分へ移
動し、実際のブロック範囲には折り返しのデータが非常
に少なくなる。

【００７３】そして、直線補間部４は、上記拡大された
空間データの一部分（すなわち、拡大した部分）を他の
マクロブロックへ加算（オーバーラップ）させるように
フレームメモリ８へ書き込む（図７（ｂ））。なお、こ
のように空間データの拡大した部分をオーバーラップさ
せて書き込んでも、隣接ブロックのデータを隣接ブロッ
クに加算するだけであるので、画像歪み等を大幅に抑え
ることができる。

【００７４】以上のように、本発明の第４の実施形態に
係る画像スケーリング装置は、周波数データに対して内
挿処理を行うことにより、フレームメモリ８に格納する
画像データのブロック範囲を拡大する。そして、この拡
大範囲をオーバーラップさせながらフレームメモリ８に
書き込む。これにより、画像データのブロック間の連続
性をスムーズにするとともに、元画像とのＳＮ比を向上
させることができる。

【００７５】なお、上記第４の実施形態に係る画像スケ
ーリング装置において示した内挿ゾーンフィルタ２２の
構成は、上記第１の実施形態に係る画像スケーリング装
置のみならず、上記第２および第３の実施形態に係る画
像スケーリング装置においても同様に用いることが可能
である。

【００７６】また、典型的なハードウェア環境では、上
記第１〜第４の実施形態に係る画像スケーリング装置の
各構成は、所定のプログラムデータが格納された記憶装
置（ＲＯＭ，ＲＡＭ，ハードディスク等）と、当該プロ
グラムデータを実行するＣＰＵ（セントラル・プロセッ
シング・ユニット）とによって構成される。この場合、
画像スケーリング装置の各構成が実行する機能は、それ
ぞれ独立したプログラムデータの形態で提供される。こ
の各プログラムデータは、ＣＤ−ＲＯＭやフロッピーデ
ィスク等の記録媒体を介して導入されてもよい。

【図面の簡単な説明】

【図１】本発明の第１の実施形態に係る画像スケーリン
グ装置の構成を示すブロック図である。

【図２】図１のゾーンフィルタ２で用いるフィルタリン
グ係数を示す図である。

【図３】本発明の第２の実施形態に係る画像スケーリン
グ装置の構成を示すブロック図である。

【図４】本発明の第３の実施形態に係る画像スケーリン
グ装置の構成を示すブロック図である。

【図５】本発明の第４の実施形態に係る画像スケーリン
グ装置の構成を示すブロック図である。

【図６】周波数データをブロック範囲において１次元で
示した図である。

【図７】内挿処理を行った場合と行わない場合とのデー
タ状態を示す図である。

【図８】従来の画像表示装置の構成を示すブロック図で
ある。

【図９】周波数データと空間データとの関係を示す図で
ある。

【図１０】画像データの画素ブロック構成を示す図であ
る。

【図１１】従来の画像表示装置の他の構成を示すブロッ
ク図である。

【符号の説明】

１、１１、１１０…可変長デコーダ（ＶＬＤ） ２…ゾーンフィルタ ３、１２０…変換部 ４、２２０、２４０…直線補間部 ５…ベクター補正部 ６、１３０…動き補償部 ７、１４０…加算器 ８、３００…フレームメモリ ９…再変換部 ２２…内挿ゾーンフィルタ １００…ＭＰＥＧデコード装置 １０１…ＪＰＥＧデコード装置 ２００…画像表示変換装置 ２１０…水平フィルタ ２３０…垂直フィルタ ２５０…ラインバッファ ４００…ディスプレイ

Claims (13)

【特許請求の範囲】
1. 【請求項１】 直交変換によって周波数領域化された画
   像データ（以下、周波数データという）に対し、画像ス
   ケーリング処理を行う画像スケーリング装置であって、 前記周波数データを入力し、与えられる画像スケーリン
   グ比率に従った当該周波数データの高域周波数成分の減
   衰および／または低域周波数成分の増幅の加工処理を行
   うフィルタと、 前記フィルタが出力する周波数データを入力し、語長ス
   ケーリングおよび逆直交変換を行って画像データに変換
   する変換手段と、 前記変換手段が出力する画像データを入力し、前記画像
   スケーリング比率に従った直線補間により画素の抽出を
   行う直線補間手段と、 前記直線補間手段が出力する画像データを格納するフレ
   ームメモリとを備える、画像スケーリング装置。
2. 【請求項２】 前記周波数データが動画に関するデータ
   である場合、 前記周波数データに対応する動きデータを入力し、前記
   画像スケーリング比率に従って補正する補正手段と、 前記補正手段が出力する動きデータを入力し、当該動き
   データに従って動画を完成させる処理を行う動き補償手
   段とをさらに備え、 前記直線補間手段の出力に前記動き補償手段の出力を加
   算する、請求項１に記載の画像スケーリング装置。
3. 【請求項３】 前記フレームメモリに格納されている画
   像データに対し、語長スケーリングおよび直交変換を行
   って再び周波数データに変換し、前記フィルタへ出力す
   る再変換手段をさらに備え、 前記フレームメモリにすでに格納されている画像データ
   について画像スケーリング処理が可能なことを特徴とす
   る、請求項１に記載の画像スケーリング装置。
4. 【請求項４】 前記周波数データに対し、周波数成分の
   内挿処理により画素ブロックサイズの拡大を行う内挿手
   段をさらに備え、 前記直線補間装置は、前記内挿処理によって拡大された
   部分をオーバーラップさせて前記フレームメモリに格納
   することを特徴とする、請求項１〜３のいずれかに記載
   の画像スケーリング装置。
5. 【請求項５】 前記画像スケーリング比率が与えられな
   い場合は、 前記フィルタ、前記直線補間手段および前記補正手段
   は、それぞれ入力するデータに対して前記加工処理、前
   記抽出および前記補正を行なうことなく出力する、請求
   項１〜４のいずれかに記載の画像スケーリング装置。
6. 【請求項６】 直交変換によって周波数領域化された画
   像データ（以下、周波数データという）に対し、画像ス
   ケーリング処理を行う画像スケーリング方法であって、 前記周波数データに対し、与えられる画像スケーリング
   比率に従った高域周波数成分の減衰および／または低域
   周波数成分の増幅の加工処理を行うステップと、 前記加工処理を行うステップが出力する周波数データに
   対し、語長スケーリングおよび逆直交変換を行って画像
   データに変換するステップと、 前記語長スケーリングおよび逆直交変換を行うステップ
   が出力する画像データに対し、前記画像スケーリング比
   率に従った直線補間により画素の抽出を行うステップ
   と、 前記画素の抽出を行うステップが出力する画像データを
   フレームメモリに格納するステップとを備える、画像ス
   ケーリング方法。
7. 【請求項７】 前記周波数データが動画に関するデータ
   である場合、 前記周波数データに対応する動きデータを前記画像スケ
   ーリング比率に従って補正するステップと、 前記補正するステップが出力する動きデータに従って動
   画を完成させる処理を行うステップと、 前記画素の抽出を行うステップの出力に前記動画を完成
   させる処理を行うステップの出力を加算するステップと
   をさらに備える、請求項６に記載の画像スケーリング方
   法。
8. 【請求項８】 前記フレームメモリに格納されている画
   像データに対し、語長スケーリングおよび直交変換を行
   って再び周波数データに変換し、前記加工処理を行うス
   テップへ出力するステップをさらに備え、 前記フレームメモリにすでに格納されている画像データ
   について画像スケーリング処理が可能なことを特徴とす
   る、請求項６に記載の画像スケーリング方法。
9. 【請求項９】 前記周波数データに対し、周波数成分の
   内挿処理により画素ブロックサイズの拡大を行うステッ
   プをさらに備え、 前記画素の抽出を行うステップは、前記内挿処理によっ
   て拡大された部分をオーバーラップさせて前記フレーム
   メモリに格納することを特徴とする、請求項６〜８のい
   ずれかに記載の画像スケーリング方法。
10. 【請求項１０】 コンピュータ装置において実行され、
    直交変換によって周波数領域化された画像データ（以
    下、周波数データという）に対し、画像スケーリング処
    理を行うプログラムを記録した媒体であって、 前記周波数データに対し、与えられる画像スケーリング
    比率に従った高域周波数成分の減衰および／または低域
    周波数成分の増幅の加工処理を行うステップと、 前記加工処理を行うステップが出力する周波数データに
    対し、語長スケーリングおよび逆直交変換を行って画像
    データに変換するステップと、 前記語長スケーリングおよび逆直交変換を行うステップ
    が出力する画像データに対し、前記画像スケーリング比
    率に従った直線補間により画素の抽出を行うステップ
    と、 前記画素の抽出を行うステップが出力する画像データを
    フレームメモリに格納するステップとを含む動作環境
    を、前記コンピュータ装置上で実現するためのプログラ
    ムを記録した、記録媒体。
11. 【請求項１１】 前記周波数データが動画に関するデー
    タである場合、 前記周波数データに対応する動きデータを前記画像スケ
    ーリング比率に従って補正するステップと、 前記補正するステップが出力する動きデータに従って動
    画を完成させる処理を行うステップと、 前記画素の抽出を行うステップの出力に前記動画を完成
    させる処理を行うステップの出力を加算するステップと
    をさらに含む、請求項１０に記載の記録媒体。
12. 【請求項１２】 前記フレームメモリに格納されている
    画像データに対し、語長スケーリングおよび直交変換を
    行って再び周波数データに変換し、前記加工処理を行う
    ステップへ出力するステップをさらに含み、 前記フレームメモリにすでに格納されている画像データ
    について画像スケーリング処理が可能なことを特徴とす
    る、請求項１０に記載の記録媒体。
13. 【請求項１３】 前記周波数データに対し、周波数成分
    の内挿処理により画素ブロックサイズの拡大を行うステ
    ップをさらに含み、 前記画素の抽出を行うステップは、前記内挿処理によっ
    て拡大された部分をオーバーラップさせて前記フレーム
    メモリに格納することを特徴とする、請求項１０〜１２
    のいずれかに記載の記録媒体。