JPH08101917A

JPH08101917A - 映像の空間解像度増加方式

Info

Publication number: JPH08101917A
Application number: JP7143550A
Authority: JP
Inventors: Chuen-Chien Lee; リーチュェン−チェン; Teruyoshi Komuro; コムロテルヨシ
Original assignee: Sony Electronics Inc
Current assignee: Sony Electronics Inc
Priority date: 1994-07-12
Filing date: 1995-06-09
Publication date: 1996-04-16
Also published as: US5666163A; US6141054A; EP0696780A3; TW296529B; CA2148433A1; KR960006587A; EP0696780A2

Abstract

(57)【要約】【構成】ピクセル配列４９，６４で表される原映像の
解像度を、ピクセル配列をスペクトル変換して該映像を
表すスペクトル配列５２，６６を作り、それから逆スペ
クトル変換してより大きなピクセル配列５６，７０を作
ることにより、増加する。逆スペクトル変換は、原映像
にないか又はスペクトル配列で識別されない高周波スペ
クトル成分を変換するように設計され、逆スペクトル変
換のこれら高周波項は無視されるか又はゼロ値が当てら
れる。【効果】最終的に得られる大きなピクセル配列は、原
ピクセル配列と同じスペクトル分布を有するが、ピクセ
ルの数が多くなっている。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、ピクセル（画素）より
成る映像におけるピクセル数を増して映像を強める方式
（方法及び装置）に関するものである。

【０００２】

【従来の技術】映像発生及び強化（enhancement)の問題
にコンピュータその他の電子計算回路を使用すること
は、公知である。映像強化は、これまで観察力を増進さ
せるよう高精細度の映像を発生する科学機器に使用され
たり、また高精細度テレビジョン受像機のような消費者
製品にも使用されてきた。

【０００３】大抵の場合、映像は、各々が別個の輝度及
びカラー特性をもつピクセルの形で電子的に蓄積されて
いる。これらのピクセルは、配列されて表示され映像を
発生する。

【０００４】例えば、映像を高解像度で表示したり、映
像の一部をクローズアップしたりするのに、映像内のピ
クセル数を増したいことがよくある。映像内のピクセル
数を増す通常の技法は、補間として知られている。この
技法は、既存ピクセルの間に新しいピクセルを挿入する
ものである。新しいピクセルの輝度及びカラー特性は、
新しいピクセル近くの原ピクセルの輝度及びカラー特性
から、例えば最も近い２以上のそれらを平均して算出さ
れる。

【０００５】この技法の難点は、映像におけるエッジ
（端縁）の鮮明度を減らしがちなことである。映像のエ
ッジは、近隣ピクセルの間で大きな輝度又はカラーの大
きさの変移があるのが特徴である。しかし、近隣ピクセ
ルの間に新しいピクセルが挿入されると、輝度又はカラ
ーの変移の激しさが必然的に減じる。

【０００６】複雑な補間技法は、多数の近隣ピクセルの
加重平均を用いて、新しいピクセルに対するカラー及び
輝度の値を導出しており、その結果生じる映像の鮮明度
を或る程度改善することができる。しかし、かような複
雑な技法は、計算が複雑なため、実時間ビデオなどに適
用する場合に遅くなり過ぎる欠点がある。

【０００７】

【発明が解決しようとする課題】したがって、映像の鮮
明度を余り損わず、妥当な時間の枠内で計算できる質の
高い映像強化技法に対する要求が、依然として残ってい
る。本発明の課題は、この要求に答えることである。

【０００８】

【課題を解決するための手段及び作用】本発明によれ
ば、ピクセル配列（アレイ）として表される原映像の空
間解像度を、ピクセル配列にスペクトル変換を施して映
像のスペクトル成分を表すスペクトル配列（アイレ）を
生成し、それから該スペクトル配列に逆スペクトル変換
を施してより大きなピクセル配列を生成することによ
り、増加させる。その結果生じるより大きなピクセル配
列は、原ピクセル配列と同じスペクトル分布をもつが、
もっと多数のピクセルに及んで広がっている。

【０００９】上述のように、従来の補間は、新しいピク
セルを既存ピクセルの間に挿入したとき、鮮明なエッジ
がぼやけることが多いので、不満足である。これに対
し、本発明は、原ピクセル配列と同じスペクトル分布を
もつ最終ピクセル配列を発生するので、発生される最終
映像は、原映像と同じ鮮明度のエッジを有する。

【００１０】スペクトルエネルギがより多数のピクセル
にわたって広がることによる輝度の低下を補償するため
に、原ピクセル配列、最終ピクセル配列又は変換された
スペクトル配列の各エントリの値を、解像度の増加に関
する量だけ増してもよい。

【００１１】上述のとおり、多数の原ピクセルを用いて
新しいピクセルを夫々計算する複雑な補間技法は、鮮明
なエッジを改善できるものの、計算の複雑さで耐え難い
コストがかかる。本発明は比較的複雑な計算を含むが、
スペクトル計算は多くの異なる環境で使用されるので、
計算の速度を増すために、最適に近い計算技法及び注文
設計の計算回路を使用できる。その結果、本発明は、か
なり少ない計算時間で複雑な補間技法と似たレベルの画
質を達成することができる。

【００１２】本発明の原理は、ビデオモニタ、カメラ、
レコーダ又はプリンタに適用して、例えば電子的ズーミ
ング（拡大）をしたり、又は低精細度映像を修正して高
精細度装置への出力を可能としたりすることができる。
幾つかのフォーマットでは映像が走査線で表わされてい
るが、その場合は、変換前にピクセル配列のピクセルの
横列を作るよう走査線を変換する。変換後は、その逆に
なる。

【００１３】使用できる具体的なスペクトル変換には、
離散的コサイン変換、離散的サイン変換、高速フーリエ
変換、Hadamard変換、Haar変換、Walsh 変換、Slant 変
換が含まれる。また、他の変換及び変換の組合せを使用
してもよい。離散的コサイン変換は、この変換を行うた
めの注文（カスタム）集積回路が市販されており、変換
速度を早めるのに使用できるという利点がある。

【００１４】大きな映像は数個のブロックに分割し、各
ブロックに上述の方法理論を適用できる。処理したブロ
ックを再結合するとき生じる画質は、全体の映像を一度
に処理して達せられるものに匹敵する。これらのブロッ
クの人工雑音（artifacts)が現れることがあるが、これ
らは、原映像から重なるブロックを選択することにより
低減できる。処理終了後、重なるブロックを結合し、重
なるピクセルを捨てて最終映像を作成する。

【００１５】本発明の原理は、１次元に適用して原映像
の１方向におけるピクセル数を増し、或いは２次元に適
用して２方向におけるピクセル数を増すことができる。
具体的な応用例では、２次元変換を用いて映像の一部を
電子的に拡大すること、及び１次元変換を用いて映像を
異なる解像度で表示することを含んでいる。或る具体例
では、原アスペクト（縦横）比映像の中央部を選択し、
選択した部分のピクセル数を増して新しいアスペクト比
でモニタに表示することにより、異なるアスペクト比向
けに設計されたモニタに映像を表示している。

【００１６】飛越し走査線の２フィールドの一方を選択
し、この走査線フィールドを用いて１次元変換を行い、
多数の走査線を発生することにより、飛越し走査線の２
フィールドを含むビデオフレームからスチル（静止）映
像を作成することもできる。

【００１７】本発明の原理はまた、ピクセル数の減少を
必要とする場合にも適用でき、その場合、原ピクセル配
列（アレイ）の変換のあと逆変換前にスペクトル情報は
破棄される。

【００１８】

【実施例】以下、図面を参照して本発明を具体的に説明
する。図１は、映像のピクセル数を増して映像の空間解
像度を増加する装置１０を示す機能的ブロック図であ
る。この装置は、映像の強化を行い強化された最終映像
をメモリ１４に蓄積する計算回路１２を有し、該最終映
像はモニタ１６に表示され、レコーダ１７に記録され、
或いはプリンタ１８にプリントされる。映像は、計算回
路１２により適当なソース（信号源）から、例えばディ
スクメモリ２０からライン２２を介して、又はカメラ１
５からライン２４を介して検索される。

【００１９】次に、映像を強化する手順を詳細に説明す
る。以下述べる映像処理手順は、種々の方法で、例えば
ビデオカメラ１５、ビデオモニタ１６、ビデオレコーダ
１７もしくはビデオプリンタ１８又はこれらのソースの
どれとも或いは全部と接続できる独立操作可能の映像処
理ユニットの如き専用装置に内蔵された、マイクロプロ
セッサ用ソフトウェアによって行うことができる。後述
の手順の幾つかもしくは全部を、ソフトウェアを使用す
る汎用コンピュータでなく、例えば注文集積回路の如き
専用計算回路によって行うこともできる。分かり易くす
るため、以下の説明では、一般用語「計算回路」を、１
以上のマイクロプロセッサ用ソフトウェアにより、専用
回路により又は双方の組合せにより計算をすることがで
きる任意の電子構成をまとめて呼ぶのに使用するものと
する。

【００２０】また、本発明の原理は、例えばデータファ
イル、テレビジョン放送、ビデオテープ及びカメラを含
む種々の異なるソースから、静止もしくは動く映像を処
理するのに使用することができる。

【００２１】図２は、図１の計算回路１２の例を示す機
能的ブロック図である。図２に示す計算回路１２は、専
用回路２８と結合されたマイクロプロセッサ２６を含
む。マイクロプロセッサ２６は、ライン２２及び２４に
得られる映像を検索しライン１３を介してメモリ１４に
送ることにより表示、プリント又は記録をするようにプ
ログラムされる。後述する映像処理を行うための数学的
計算は、専用回路２８により行われる。マイクロプロセ
ッサ２６は、未処理映像情報を専用回路２８にライン２
７を介してリレーし、専用回路２８からライン２７を介
して処理した映像情報を得、処理した映像情報をメモリ
１４にライン１３を介して転送する。

【００２２】後述のように、本発明の一具体例では、映
像処理を離散的コサイン変換の使用によって行う。この
例では、専用回路２８は、市販の高速コサイン変換プロ
セッサ、例えばカリフォルニア州ラジョラ私書箱２４７
２のＴＲＷ・ＬＳＩプロダクツ社により部品番号ＴＭＣ
−２３１１として売られているプロセッサでよい。離散
的コサイン変換又は他の適当な変換を行うのに、他の注
文プロセッサを使用することができる。

【００２３】図３は、図１の装置により加えられた新し
いピクセルを含むピクセル映像を示す説明図である。図
３に示す如く、本発明の原理に従い、計算回路１２は、
映像内の既存ピクセル３２の間に挿入する新しいピクセ
ル３０を発生して、映像内のピクセル数を増す。新しい
ピクセル３０は、既存ピクセル３２の垂直（縦）列の
間、既存ピクセルの水平（横）列の間もしくは両方の間
に挿入することができる。原ピクセルの水平列の間に追
加ピクセルを挿入することにより、映像の垂直方向解像
度が高められる。原ピクセルの垂直列の間に追加ピクセ
ル挿入することにより、映像の水平方向解像度が高めら
れる。

【００２４】図４は、映像にピクセルを加える、図１の
装置が行う処理のフローチャートである。図４に示すよ
うに、本発明の原理に従い、一般にピクセルは既存ピク
セルの間にスペクトル変換によって挿入される。原ピク
セル映像を得た（３５）のち、原映像はスペクトル変換
され（３７）、スペクトル配列が作られる。スペクトル
配列のエントリは、原映像におけるピクセルの輝度又は
カラー値の空間変化における、帯域が限定されたスペク
トル成分を特定する。このスペクトル配列はそれから、
（後述のように、輝度調整及び他のステップのあと）逆
スペクトル変換（３９）の基礎として使用される。逆ス
ペクトル変換を行うため、スペクトル配列のサイズを膨
張させ、スペクトル配列に膨張前スペクトル配列内で識
別されなかった又は存在しなかった高周波スペクトル成
分に対応するゼロ値のエントリを含ませる。膨張したス
ペクトル配列はそれから逆変換され、その結果１つのピ
クセル配列が生じる。逆変換により、原映像より多数の
ピクセルをもつピクセル配列が発生される。この最終配
列（アレイ）は、その後プリントされたり表示されたり
（４１）する。

【００２５】上述の手順により、膨張前の原映像のスペ
クトル分布と似たスペクトル分布を有する、プリント又
は表示用の最終配列が発生される。しかし、その最終配
列は、より多数のピクセルを有するので、より高い解像
度で表示することができる。

【００２６】図４に示した手順は、映像の輝度を調節す
るステップ４３を含んでいる。このステップは、スペク
トル配列を膨張させると、スペクトル・エネルギがより
多数のピクセルに広がって映像全体の輝度が減じるた
め、必要である。この輝度の減少を補償するため、ステ
ップ４３で、スペクトル配列のエントリの値を、ピクセ
ルの増加数の平方根に比例する乗数により増加させる。
このように輝度を調節すると、ステップ４１でプリント
又は表示される映像は、ステップ３５で得られた原映像
と同じ全体的輝度をもつことになる。

【００２７】図４に示した一般的手順は、図５のＡ，
Ｂ，Ｃに示す種々のタイプの映像の処理に適用すること
ができる。図５のＡに示す図４の一般的手順の１つの応
用例は、大きい映像４７の一部４５を電子的に拡大する
ことである。この場合、拡大しようとする部分４５を大
きい映像４７から抜き出し、これを原ピクセル配列（ア
レイ）４９として使用する。この原ピクセル配列に２次
元（２Ｄ）スペクトル変換を施して、変換されたスペク
トル配列５２を作る。この変換されたスペクトル配列
を、このスペクトル配列５２によって特定されなかった
高周波スペクトル成分に対応するゼロ値エントリを挿入
することにより膨張させて、膨張したスペクトル配列５
４を作る。それから最終ステップとして、膨張したスペ
クトル配列５４に２次元逆スペクトル変換を施し、原映
像４７の一部４５を膨張したものである最終ピクセル配
列５６を作る。

【００２８】図５のＢに示す他の例では、図４の手順
を、表示される映像のアスペクト比を変えるために用い
る。例えば、４：３のアスペクト比をもつＮＴＳＣテレ
ビジョンのフレームを、例えば１６：９のアスペクト比
をもつＨＤＴＶフレームに変換できる。図５のＢに示す
ように、４：３映像６０からラスタ走査線の中央部６２
を抜き出すことにより、４：３フレームを１６：９フレ
ームに変換できる。中央ラスタ走査線６２は、ＨＤＴＶ
モニタに表示するのに使用する。ＨＤＴＶモニタはもっ
と多数の走査線に対して設計されているので、ＨＤＴＶ
モニタに中央走査線６２を表示するには、追加の走査線
を作る必要がある。

【００２９】これら追加の走査線を作るために、抜き出
したラスタ走査線６２を使用し、各走査線を１横列のピ
クセルに変換して原ピクセル配列６４を生成する。次
に、原ピクセル配列を垂直方向に１次元（１Ｄ）スペク
トル変換して、変換されたスペクトル配列６６を作る。
それから、この変換されたスペクトル配列を膨張させ、
変換されたスペクトル配列６６によって特定されない高
周波スペクトル成分に対応するゼロ値エントリを挿入す
ることにより、膨張したスペクトル配列６８を生成す
る。最後に、膨張したスペクトル配列６８を逆１次元ス
ペクトル変換して最終ピクセル配列７０を生成し、最終
ピクセル配列７０のピクセル横列をＨＤＴＶ走査線の発
生に使用する。

【００３０】図５のＣに示す３番目の例では、図４に示
した方法を、ＮＴＳＣフレームの走査線から静止映像を
発生するのに使用する。ＮＴＳＣフレームの走査線は、
ＮＴＳＣモニタに互いに飛越して表示される２フィール
ドの走査線を含んでいる。即ち、図５のＣに示す如く、
ＮＴＳＣフレーム７２は、実線で示す第１フィールド走
査線７４と、これらの走査線に間挿された、破線で示す
第２フィールド走査線７６とを含む。

【００３１】ＮＴＳＣフレームから静止映像を生成する
ことの難しさは、ＮＴＳＣフレームの対象が、第１フィ
ールド走査線７４と第２フィールド走査線７６との間で
しばしば動く点にある。その結果、第１及び第２のフィ
ールド走査線に含まれる情報が、２つのフィールドが同
時に表示されて１フレームを構成する場合に正しく一致
しない（この不一致は、ＮＴＳＣフレームがテレビジョ
ン番組のように標準速度で表示されているとき、眼には
見えない。しかし、フレームが静止映像として表示され
るときには、この不一致が見えるようになる。）。

【００３２】上記の不一致をなくす１つの方法は、フレ
ーム７２を構成する２つのＮＴＳＣフィールド７４，７
６の一方のみから静止映像を作ることである。この方法
によれば、鮮明さが落ちる映像が生成されるが、幾つか
の場合については容認することができる。それは、図４
の手順が特に有用なときに、フレームから静止映像を作
るのに１つだけのフィールドを使用する場合である。例
えば、多数の走査線を用いるモニタに静止映像を表示す
ることが必要かも知れない。かような場合、原フレーム
７２から取出したフィールド走査線から追加走査線を作
る必要がある。これを行うため、ＮＴＳＣフレームから
の走査線フィールド７４を用い、該フィールドの各走査
線を１横列のピクセルに変換して、原ピクセル配列７８
を生成する。それから、この原ピクセル配列を垂直方向
に１次元スペクトル変換して、変換されたスペクトル配
列８０を生成する。次いで、変換されたスペクトル配列
８０を、原ピクセル配列に存在しない高周波スペクトル
成分に相当するゼロ値エントリを挿入することにより膨
張させて、膨張したスペクトル配列８２を生成する。そ
れから、膨張したスペクトル配列８２を逆１次元スペク
トル変換して最終ピクセル配列８４を作り、該ピクセル
配列８４から走査線を再現する。

【００３３】上述の例から分かるように、スペクトル変
換、膨張及び逆スペクトル変換を組合せて用い、夫々１
次元又は２次元のスペクトル変換を行うことにより、１
次元又は２次元における追加ピクセルを映像から外挿
（extrapolate)することができる。

【００３４】任意のスペクトル変換、例えば高速フーリ
エ変換、離散的コサイン変換、離散的サイン変換、Hada
mard変換、Haar変換、Walsh 変換、Slant 変換もしくは
２以上のこれらの組合せを使用することができ、或いは
その他の、直交固有関数（orthogonal eigenfunctions)
を用いて入力のスペクトル成分に関する出力を発生する
如きどんな変換を使用してもよい。ただし、変換の中に
は（例えば、Hadamard）長く並んだ２進係数より成る固
有関数をもつ（計算の複雑さを減らすため）ものがあ
り、かかる変換は大きな映像について最もよく用いられ
るが、これらの変換が、固有関数の長さより小さい大き
さを有する映像について使用されると、固有関数は直交
性を失い、その変換は正しくスペクトル成分を分離しな
いことに注意されたい。

【００３５】或る具体例では、スペクトル変換を行うの
に離散的コサイン変換を用いる。離散的コサイン変換が
選ばれた理由は、離散的コサイン変換を行う幾つかの市
販されている注文回路があり、注文回路で実施する離散
的コサイン変換は比較的経費がかからないことである。

【００３６】離散的コサイン変換及びその他の変換に関
する詳しい情報は、米国ニュージャージ，エングルウッ
ド・クリッフス，Prentice-Hall 社発行のAnil Jain に
よる「基本的映像変換」版権1989年、ISDN 0-13-336165
-9に記載されている。その全体を本明細書に援用する。

【００３７】図５のＡ〜Ｃに概略を示したように、離散
的コサイン変換は、低周波スペクトル成分（これは一般
に最大のスペクトル・エネルギを含む。）がスペクトル
配列のひと隅又は端縁の若干数のエントリに集まったス
ペクトル配列を生成する。

【００３８】即ち、図５のＡに示す如く、２次元離散的
コサイン変換を原ピクセル配列に適用すると、生じるス
ペクトル配列は、左上隅に低周波成分に相当するエント
リを有し、左上隅から次第に離れた位置に次第に高くな
る周波数成分に相当するエントリを有する。したがっ
て、２次元離散的コサイン変換により生成されたスペク
トル配列を膨張させるために、該スペクトル配列の右、
下及び右下に、即ち該スペクトル配列内で確認されない
高周波数に対応する位置にゼロを加える。その結果、膨
張した配列に逆離散的コサイン変換を適用すると、原ピ
クセル配列と同じスペクトル・パターンをもつが、それ
よりピクセル数が多い最終ピクセル配列を生じる。

【００３９】同様に図５のＢ及びＣに示すように、原ピ
クセル配列に垂直方向の１次元離散的コサイン変換を適
用すると、生じるスペクトル配列は、原ピクセル配列に
おける低周波スペクトル成分に対応する最上横列に沿う
エントリと、次第に高くなる周波数スペクトル成分に対
応する後続の各横列におけるエントリとを有する。した
がって、膨張したスペクトル配列を作るために、スペク
トル配列の最後の横列の下にゼロ・エントリを加える。

【００４０】他のタイプの変換では、低及び高周波スペ
クトル・エントリが他の方位を有するので、上述とは異
なる補填が必要になるであろう。また、ゼロ・エントリ
を補填した配列を作る代替策として、原映像又は変換さ
れたスペクトル配列に存在しない高周波スペクトル成分
を含む項をすべて破棄するように、逆変換の計算を書き
直すことも考えられる。この変形方法によれば、スペク
トル配列を膨張させてゼロ・エントリで補填した一層大
きな配列を作るステップが不要となり、所要の計算数が
減少するであろう。

【００４１】図６は、図４の手順をソフトウェアで実現
する場合の例を示すフローチャートである。この図４の
概略手順の具体例は、比較的大きい映像に用いて特に好
適なものである。大きい映像は、全体として処理せず、
一連の小ブロックとして処理する。

【００４２】図６の手順は、映像を含む原ファイルを読
出すこと（９０）によりスタートする。この映像は、例
えば、該映像に対する赤、緑及び青の強度情報を夫々含
む３つのバッファ内に赤、緑、青（ＲＧＢ）フォーマッ
トで蓄積されているものである。続いて、図６の手順
は、映像をより小さいブロックに分割し（９２）、各ブ
ロックを後続ステップに従って処理し、より多数のピク
セルをもつ最終映像を生成する。

【００４３】各ブロックは、一時的バッファに読込むこ
と（９４）により処理される。１つのバッファが、夫々
赤、緑及び青の値に用いられる。それから、赤、緑及び
青の各バッファ内のピクセルに対しスペクトル変換、例
えば離散的コサイン変換を行う（９６）。次に、手順は
９８に移り、赤、緑及び青バッファ内に生じたスペクト
ル情報を、図５のＡ，Ｂ，Ｃで概略を示したようにゼロ
値で補填された３つより大きな一時的バッファに転送す
る。同時に９８において、非ゼロ・スペクトル値の各々
を増加したピクセル数の平方根に比例する率だけ増加さ
せ、生じる映像の輝度を維持するようにする。より大き
な一時的バッファはそれから逆変換され（１００）、生
じたピクセルを大きな一時的バッファから３つの最終映
像バッファに書込む（１０２）。

【００４４】前節で述べた各ステップは、映像内の各ブ
ロックについて繰返され、最後に、３つの最終映像バッ
ファが、より多数のピクセルを含むよう処理された完成
した映像を含むに至る。この時点で、図６の手順は、
赤、緑及び青の値を最終映像バッファからファイルに書
込む（１０４）。或いは、得られた映像をプリントした
り、モニタに表示したりしてもよい。

【００４５】図７及び８は、重なるブロック及び重なら
ないブロックの２つの異なるブロックの選択方法を示
す。図７のＡ及びＢは、図６のプログラムによりブロッ
ク毎に行われる図５のＡの手順を示す。図７のＡでは重
ならないブロックを用いるが、図７のＢでは重なるブロ
ックを用いる。図８のＡ及びＢは、同じくブロック毎に
行われる図５のＢの手順を示す。図８のＡでは重ならな
いブロックを用いるが、図８のＢでは重なるブロックを
用いる。

【００４６】図７のＡ及び図８のＡに示す如く、重なら
ないブロックを用いてブロック毎の変換を行うため、原
映像を重ならないブロック１１０に分割し、これを原ピ
クセル配列（アレイ）とする。それから図６の９４〜１
０２のステップに従い、これら重ならないブロックの各
々に２次元スペクトル変換（図７のＡ）又は１次元スペ
クトル変換（図８のＡ）を施して、スペクトル配列１１
２を生成する。

【００４７】続いて、各スペクトル配列１１２を膨張さ
せて、ゼロ・エントリを含む膨張した配列１１４を作
る。最後に、膨張した配列１１４を２次元逆スペクトル
変換（図７のＡ）又は１次元逆スペクトル変換（図８の
Ａ）して、最終映像の重ならないブロック１１６を生成
する。このように、原映像からの重ならないブロックを
用いて最終映像の重ならないブロックを生成し、これら
のブロックを集めて完全な最終映像を作り上げることが
できる。

【００４８】図７のＢ及び図８のＢに示す如く、重なる
ブロックを用いて映像の変換を行うため、原映像から最
初の重なるブロック１２０を選ぶ。これらのブロック
は、各ブロックが１／２までを限度として近隣ブロック
と重なるように選ばねばならない。重なるブロック１２
０はそれから、図６のステップ９４〜１０２に従って処
理される。即ち、ブロック１２０を、２次元スペクトル
変換（図７のＢ）又は１次元スペクトル変換（図８の
Ｂ）してスペクトル配列１２２を生成する。次に、これ
らのスペクトル配列を膨張させて膨張したスペクトル配
列１２４を作る。最後に、膨張したスペクトル配列１２
４を逆２次元スペクトル変換（図７のＢ）又は逆１次元
スペクトル変換（図８のＢ）して、最終映像を作るため
に組立てる複数のブロックを作る。

【００４９】最終のブロックは部分的に重なるので、そ
れらを組立てて最終映像を作るとき、最終ブロックの一
部を破棄しなければならない。これを行うために、重な
る最終ブロックの各々のサイズを周辺のピクセル１２５
を捨てて縮小し、図７のＡ及び図８のＡに示した拡大さ
れた重ならないブロック１１６と同じサイズをもつ中央
ブロック１２６（破線で示す）を作る。重なるブロック
の該中央部１２６をそれから組立てて最終映像を生成す
る。

【００５０】映像を全体としてでなくブロックで処理す
る場合、幾らかリンギング及びその他の人工雑音を生じ
ることがある。しかし、これらの現象は、ブロックの周
辺で顕著であるから、ブロックを最終映像に組立てる前
に各ブロックの周辺を除去するという上述の重なるブロ
ックの方法を適用することによって充分減らすことがで
きる。

【００５１】以上、本発明を種々の具体例により詳細に
説明したが、本発明は、これらの細目に限定されるもの
ではなく、種々の変形、変更をすることができるもので
ある。例えば、追加ピクセルを３次元で発生するために
３次元スペクトル変換を用いてもよく、もっと高い次元
の変換を用いてもよい。本発明の原理はまた、画像処理
以外の分野に応用することもできる。

【００５２】

【発明の効果】以上説明したとおり、本発明によれば、
映像の鮮明度を余り損なうことなく、妥当な時間の枠内
で計算できる質の高い映像強化技法を提供することがで
きる。

【図面の簡単な説明】

【図１】本発明の実施例の概略を示す機能的ブロック図
である。

【図２】図１の計算回路１２の例を示す機能的ブロック
図である。

【図３】新しいピクセルが追加された映像の例を示す説
明図である。

【図４】ピクセルを映像に加えるのに用いる処理のフロ
ーチャートである。

【図５】異なるタイプの映像に対し、図４の処理のステ
ップ中に作られる配列の例を示す説明図である。

【図６】図４の手順を実現するためのソフトウェア・プ
ログラムのフローチャートである。

【図７】図６のソフトウェア・プログラムのステップ中
に作られる配列の例１を示す説明図である。

【図８】図６のソフトウェア・プログラムのステップ中
に作られる配列の例２を示す説明図である。

【符号の説明】

１０映像の空間解像度増加装置１２計算回路１４メモリ１５カメラ１６モニタ１７レコーダ１８プリンタ２０ディスクメモリ

───────────────────────────────────────────────────── フロントページの続き (72)発明者テルヨシコムロアメリカ合衆国カリフォルニア州サンタクララ，マンソンコート 530，アパートメントナンバー304

Claims

【特許請求の範囲】

【請求項１】各ピクセルが輝度又はカラー値によって
特徴付けられた原ピクセル配列を含む映像の空間解像度
を、上記原ピクセル配列をより多数のピクセルを有する
最終ピクセル配列に変換することにより増加する方法で
あって、上記原ピクセル配列をスペクトル配列に変換するステッ
プであり、上記スペクトル配列の各エントリは、上記原
ピクセル配列のピクセルの輝度又はカラー値の空間変化
のスペクトル成分を特定するものである、上記変換ステ
ップと、上記変換されたスペクトル配列を逆変換して、上記より
多数のピクセルを有する最終ピクセル配列を発生するス
テップであり、上記最終ピクセル配列のピクセルの輝度
又はカラー値は、上記原ピクセル配列と類似の空間変化
のスペクトル成分の分布を有するものである、上記逆変
換ステップとを含む映像の空間解像度増加方法。
【請求項２】上記変換されたスペクトル配列を逆変換
するステップは、上記変換されたスペクトル配列をゼロ値の高位スペクト
ル成分で補填することにより、上記変換されたスペクト
ル配列の膨張したものを生成すること、及び上記膨張し
たものに、高位スペクトル成分に応答する項を含む逆変
換式を適用し、上記補填されたゼロ値高位スペクトル成
分により上記高位項を無視させることを含む請求項１の
方法。
【請求項３】大きな原映像に用いるのに適するよう
に、各々が上記大きな原映像の少数のピクセルの部分集合を
含む原小映像を選択すること、請求項１のステップを上記各小映像に適用して最終小映
像を発生すること、及び上記最終小映像を結合して大き
な最終映像を生成することを含む請求項１の方法。
【請求項４】上記原小映像を選択することは、上記大
きな原映像の重なるピクセルを含む少なくとも２つの原
小映像を選択することを含み、上記最終小映像を結合することは、重なるピクセルを破
棄することを含む請求項３の方法。
【請求項５】原アスペクト比映像を異なるアスペクト
比のものに変換するのに適するように、上記原アスペクト比映像の中央部から原ピクセル配列を
選択すること、請求項１のステップを適用して上記原ピクセル配列を、
より多数のピクセルをもつ最終ピクセル配列に変換する
こと、及び上記最終ピクセル配列を上記異なるアスペク
ト比で表示することを更に含む請求項１の方法。
【請求項６】飛越しラスタ走査線の２フィールドを含
むビデオフレームからビデオ映像を生成するのに適する
ように、飛越しラスタ走査線の第１フィールドを選択すること、上記１フィールドの各ラスタ走査線をピクセルの横列に
変換して原ピクセル配列を作ること、請求項１のステップを適用して上記原ピクセル配列を、
より多数のピクセルをもつ最終ピクセル配列に変換する
こと、及び上記最終ピクセル配列のピクセルの各横列を
ラスタ走査線に変換して上記ビデオ映像を作ることを含
む請求項１の方法。
【請求項７】上記最終ピクセル配列における、ピクセ
ル数の増加に起因する映像輝度の減少を補償するのに適
するように、上記原ピクセル配列、上記最終ピクセル配列又は上記変
換されたスペクトル配列における各エントリに、上記最
終ピクセル配列のピクセル数の上記原ピクセル配列のピ
クセル数に対する比の平方根に等しい率を乗じることを
更に含む請求項１の方法。
【請求項８】上記変換及び逆変換のステップは、１次
元にて行われる請求項１の方法。
【請求項９】上記変換及び逆変換のステップは、２次
元にて行われる請求項１の方法。
【請求項１０】上記変換及び逆変換のステップは、離散的コサイン変換、離散的サイン変換、高速フーリエ変換、Hadamard変換、 Haar変換、Walsh 変換、Slant 変換より成るグループの
１つ又は２以上の組合せに従って行われる請求項１の方
法。
【請求項１１】各ピクセルが輝度又はカラー値によっ
て特徴付けられた原ピクセル配列を含む映像の空間解像
度を、上記原ピクセル配列をより少数のピクセルを有す
る最終ピクセル配列に変換することにより低減する方法
であって、上記原ピクセル配列を、各エントリが、該原ピクセル配
列のピクセルの輝度又はカラー値の空間変化のスペクト
ル成分を特定するスペクトル配列に変換する変換ステッ
プと、上記変換されたスペクトル配列を逆変換して、上記より
少数のピクセルを有する最終ピクセル配列を発生するス
テップであり、上記最終ピクセル配列のピクセルの輝度
又はカラー値は、上記原ピクセル配列の低位スペクトル
成分と類似の空間変化のスペクトル成分を有するが、上
記原ピクセル配列に存在する高位のスペクトル成分を含
まない、上記逆変換ステップとを含む映像の空間解像度
低減方法。
【請求項１２】各ピクセルが輝度又はカラー値によっ
て特徴付けられた原ピクセル配列を含む映像の空間解像
度を、上記原ピクセル配列をより多数のピクセルを有す
る最終ピクセル配列に変換することにより増加する装置
であって、上記原ピクセル配列を、各エントリが、該原ピクセル配
列のピクセルの輝度又はカラー値の空間変化のスペクト
ル成分を特定するスペクトル配列に変換する計算回路
と、上記変換されたスペクトル配列を逆変換して、上記より
多数のピクセルを有する最終ピクセル配列を発生する計
算回路であり、上記最終ピクセル配列のピクセルの輝度
又はカラー値は、上記原ピクセル配列と類似の空間変化
のスペクトル成分の分布を有するものである、上記計算
回路とを具えた映像の空間解像度増加装置。
【請求項１３】上記変換されたスペクトル配列を逆変
換する計算回路は、上記変換されたスペクトル配列をゼロ値の高位スペクト
ル成分で補填することにより、上記変換されたスペクト
ル配列の膨張したものを作る回路、及び上記膨張したも
のに、高位スペクトル成分に応答する項を含む逆変換式
を適用し、上記補填されたゼロ値高位スペクトル成分に
より上記高位項を無視させる回路を含む請求項１２の装
置。
【請求項１４】大きな原映像に用いるのに適するよう
に、各々が上記大きな原映像の少数のピクセルの部分集合を
含む原小映像を選択し、該小映像を請求項１２の装置に
供給して最終小映像を発生する計算回路、及び上記最終
小映像を結合して大きな最終映像を生成する計算回路を
含む請求項１２の装置。
【請求項１５】上記原小映像を選択する上記計算回路
は、上記大きな原映像の重なるピクセルを含む少なくと
も２つの原小映像を選択する回路を含み、上記最終小映像を結合する上記計算回路は、重なるピク
セルを破棄する回路を含む請求項１４の装置。
【請求項１６】原アスペクト比映像を異なるアスペク
ト比のものに変換するのに適するように、上記原アスペクト比映像の中央部分から原ピクセル配列
を選択し、該原ピクセル配列を請求項１２の装置に供給
して、より多数のピクセルを有する最終ピクセル配列を
発生する計算回路、及び上記最終ピクセル配列を上記異
なるアスペクト比で表示する表示器を更に含む請求項１
２の装置。
【請求項１７】飛越しラスタ走査線の２フィールドを
含むビデオフレームからビデオ映像を生成するに適する
ように、飛越しラスタ走査線の第１フィールドを選択する計算回
路、上記第１フィールドの各ラスタ走査線をピクセルの横列
に変換して原ピクセル配列を作り、該ピクセル配列を請
求項１２の装置に供給して、より多数のピクセルをもつ
最終ピクセル配列を発生する計算回路、及び上記最終ピ
クセル配列のピクセルの各横列をラスタ走査線に変換し
て上記ビデオ映像を作る計算回路を含む請求項１２の装
置。
【請求項１８】上記最終ピクセル配列における、ピク
セル数の増加に起因する映像輝度の減少を補償するのに
適するように、上記原ピクセル配列、上記最終ピクセル配列又は上記変
換されたスペクトル配列における各エントリに、上記最
終ピクセル配列のピクセル数の上記原ピクセル配列のピ
クセル数に対する比の平方根に等しい率を乗じる計算回
路を更に含む請求項１２の装置。
【請求項１９】上記計算回路は、１次元の変換及び逆
変換を行うように構成された請求項１２の装置。
【請求項２０】上記計算回路は、２次元の変換及び逆
変換を行うように構成された請求項１２の装置。
【請求項２１】上記計算回路は、離散的コサイン変換、離散的サイン変換、高速フーリエ変換、Hadamard変換、 Haar変換、Walsh 変換、Slant 変換より成るグループの
１つ又は２以上の組合せに従って変換及び逆変換を行う
請求項１２の装置。
【請求項２２】上記計算回路は、少なくとも一部が注
文集積回路に収容される請求項１２の装置。
【請求項２３】各ピクセルが輝度又はカラー値により
特徴付けられた原ピクセル配列を含む原映像の空間解像
度を、該映像をプリントする前に増加する回路を含むビ
デオプリンタであって、上記原ピクセル配列を、各エントリが、該原ピクセル配
列のピクセルの輝度又はカラー値の空間変化のスペクト
ル成分を特定するスペクトル配列に変換する計算回路
と、上記変換されたスペクトル配列を逆変換して、より多数
のピクセルをもつ最終ピクセル配列を発生する計算回路
であり、上記最終ピクセル配列のピクセルの輝度又はカ
ラー値は、上記原ピクセル配列と類似の空間変化のスペ
クトル成分の分布を有するものである、上記計算回路
と、上記最終ピクセル配列に応答して、該最終ピクセル配列
によって特定された輝度又はカラー特性をもつプリント
出力を発生するプリント回路とを具えたビデオプリン
タ。
【請求項２４】各ピクセルが輝度又はカラー値により
特徴付けられた原ピクセル配列を含む原映像の空間解像
度を、該映像を表示する前に増加する回路を含むビデオ
モニタであって、上記原ピクセル配列を、各エントリが、該原ピクセル配
列のピクセルの輝度又はカラー値の空間変化のスペクト
ル成分を特定するスペクトル配列に変換する計算回路
と、上記変換されたスペクトル配列を逆変換して、より多数
のピクセルをもつ最終ピクセル配列を発生する計算回路
であり、上記最終ピクセル配列のピクセルの輝度又はカ
ラー値は、上記原ピクセル配列と類似の空間変化のスペ
クトル成分の分布を有するものである、上記計算回路
と、上記最終ピクセル配列に応答して、該最終ピクセル配列
によって特定された輝度又はカラー特性をもつ可視表示
を発生する表示回路とを具えたビデオモニタ。
【請求項２５】一連の走査線を含むテレビジョン映像
を表示するのに適するように、上記テレビジョン映像の走査線を上記原ピクセル配列の
ピクセルの横列に変換する変換回路と、上記最終ピクセル配列のピクセルの横列を最終走査線に
変換する変換回路とを含み、上記表示回路は、上記最終走査線を表示スクリーンを横
切るように書込むことにより、上記最終走査線を表示す
るものである請求項２４のビデオモニタ。
【請求項２６】各ピクセルが輝度又はカラー値により
特徴付けられた原ピクセル配列を含む原映像の空間解像
度を、該映像を記録する前に増加する回路を含むビデオ
レコーダであって、上記原ピクセル配列を、各エントリが、該原ピクセル配
列のピクセルの輝度又はカラー値の空間変化のスペクト
ル成分を特定するスペクトル配列に変換する計算回路
と、上記変換されたスペクトル配列を逆変換して、より多数
のピクセルをもつ最終ピクセル配列を発生する計算回路
であり、上記最終ピクセル配列のピクセルの輝度又はカ
ラー値は、上記原ピクセル配列と類似の空間変化のスペ
クトル成分の分布を有するものである、上記計算回路
と、上記最終ピクセル配列に応答して、該最終ピクセル配列
によって特定された最終映像を記録する記録回路とを具
えたビデオレコーダ。
【請求項２７】一連の走査線を含むテレビジョン映像
を記録するのに適するように、上記テレビジョン映像の一連の走査線を上記原ピクセル
配列のピクセルの横列に変換する変換回路と、上記最終ピクセル配列のピクセルの横列を一連の最終走
査線に変換する変換回路とを含み、上記記録回路は、上記最終走査線に対応するデータを記
録媒体に書込むことにより記録するものである請求項２
６のビデオレコーダ。
【請求項２８】各ピクセルが輝度又はカラー値により
特徴付けられた原ピクセル配列を含む、光センサから受
取った原映像の空間解像度を増加する回路を含むビデオ
カメラであって、上記原ピクセル配列を、各エントリが、該原ピクセル配
列のピクセルの輝度又はカラー値の空間変化のスペクト
ル成分を特定するスペクトル配列に変換する計算回路
と、上記変換されたスペクトル配列を逆変換して、より多数
のピクセルをもつ最終ピクセル配列を発生する計算回路
であり、上記最終ピクセル配列のピクセルの輝度又はカ
ラー値は、上記原ピクセル配列に類似の空間変化のスペ
クトル成分の分布を有するものである、上記計算回路と
を具えたビデオカメラ。