JPH08317347A - 画像情報変換装置 - Google Patents
画像情報変換装置Info
- Publication number
- JPH08317347A JPH08317347A JP14824095A JP14824095A JPH08317347A JP H08317347 A JPH08317347 A JP H08317347A JP 14824095 A JP14824095 A JP 14824095A JP 14824095 A JP14824095 A JP 14824095A JP H08317347 A JPH08317347 A JP H08317347A
- Authority
- JP
- Japan
- Prior art keywords
- image information
- image
- data
- class
- circuit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4023—Scaling of whole images or parts thereof, e.g. expanding or contracting based on decimating pixels or lines of pixels; based on inserting pixels or lines of pixels
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Controls And Circuits For Display Device (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
の映像信号に変換する。 【構成】 HDデータが垂直間引きフィルタ22、水平
間引きフィルタ23を介してSDデータとなり、SD輪
郭補正回路24へ供給される。SD輪郭補正回路24か
ら領域切り出し回路26、28、32へ輪郭補正された
SDデータが供給される。領域切り出し回路26では、
ADRC回路27を介して空間クラスが形成され、領域
切り出し回路28では、動きクラス決定回路29を介し
て動きクラスが形成され、それぞれクラスコード発生回
路30へ供給される。クラスコード発生回路30におい
て、クラスコードが生成され、正規方程式加算回路33
へ供給される。正規方程式加算回路33では、遅延回路
31、領域切り出し回路32を介してSDデータが供給
され、HDデータがHD輪郭補正回路25を介して供給
され、正規方程式が生成される。そして、予測係数決定
回路34において、予測係数が決定されると、メモリ3
5へ格納される。
Description
受像機やビデオテープレコーダ装置等に用いて好適な画
像情報変換装置に関し、外部から供給される通常の解像
度の画像情報を高解像度の画像情報に変換して出力する
ような画像情報変換装置に関する。
指向の高まりから、より高解像度の画像を得ることがで
きるようなテレビジョン受像機の開発が望まれ、この要
望に応えて、いわゆるハイビジョンが開発された。この
ハイビジョンは、いわゆるNTSC方式に規定される走
査線数が525本なのに対して、2倍以上の1125本
となっているうえ、表示画面の縦横比もNTSC方式が
3:4に対して9:16と広角画面になっている。この
ため、高解像度で臨場感のある画面を得ることができる
ようになっている。
イビジョンではあるが、NTSC方式の映像信号をその
まま供給しても画像表示を行うことはできない。これ
は、上述のようにNTSC方式とハイビジョン方式とで
は規格が異なるからである。このため、NTSC方式の
映像信号に応じた画像をハイビジョンで表示しようとす
る場合、従来は、例えば図9に示すような画像情報変換
装置を用いて映像信号のレート変換を行っていた。
は、入力端子41を介して供給されるNTSC方式の映
像信号(SDデータ)の水平方向の補間処理を行う水平
補間フィルタ42と、水平方向の補間処理の行われた映
像信号の垂直方向の補間処理を行う垂直補間フィルタ4
3とから構成されている。そして、出力端子44からハ
イビジョン方式の映像信号(HDデータ)を得ることが
できる。
10に示すような構成を有しており、入力端子51を介
して供給されるNTSC方式の映像信号は、入力端子5
1を介して第1〜第mの乗算器52〜52m にそれぞれ
供給される。各乗算器52は、それぞれ映像信号に係数
を乗算して出力する。係数の乗算された映像信号は、そ
れぞれ第1〜第mの加算器54〜54n-1 に供給され
る。各加算器54〜54m-1 の間には、それぞれ時間T
の遅延レジスタ53〜53m が設けられている。そし
て、第mの乗算器52m から出力された映像信号は、第
mの遅延レジスタ53m により時間Tの遅延が施され、
第m−1の加算器54m-1 に供給される。
レジスタ53m からの時間Tの遅延時間が施された映像
信号と、第m−1の乗算器52m-1 からの映像信号とを
加算処理して出力する。この加算処理の施された映像信
号は、第m−1の遅延レジスタ53m-1 により再度、時
間Tの遅延時間が施され、図示しない第m−2の加算器
54m-2 において、同じく図示しない第m−2の乗算器
54m-2 からの映像信号と加算処理される。水平補間フ
ィルタ42は、このようにしてNTSC方式の映像信号
を出力端子55を介して垂直補間フィルタ43に供給す
る。
フィルタ42と同様の構成を有しており、水平補間処理
の行われた映像信号に対して垂直方向の画素の補間を行
う。これにより、NTSC方式の映像信号に対して、垂
直方向の画素の補間を行う。このような変換のなされた
ハイビジョンの映像信号は、ハイビジョン受像機に供給
される。これにより、NTSC方式の映像信号に応じた
画像をハイビジョン受像機で表示することができる。
は、NTSC方式の映像信号を基にして、単に水平方向
および垂直方向の補間を行っているに過ぎないため、解
像度は基となるNTSC方式の映像信号と何ら変わらな
かった。特に、通常の動画を変換対象とした場合、垂直
方向の補間をフィールド内処理で行うのが一般的である
が、その場合、画像フィールド間相関を使用していない
ため、画像静止部においては変換ロスにより、NTSC
方式の映像信号よりもむしろ解像度が劣化する欠点があ
った。
は、入力信号である画像信号レベルの3次元(時空間)
分布に応じてクラス分割を行い、クラス毎に予め学習に
より獲得された予測係数値を格納した記憶手段を持ち、
予測式に基づいた演算により最適な推定値を出力すると
いうものがある。
造するHD画素の近傍にある複数のSD画素データを用
いてクラス分割を行い、それぞれのクラス毎に予測係数
値を学習により獲得することで、画像静止部においては
フレーム内相関また動き部においてはフィールド内相関
を利用して、より真値に近いHD画素値を得るというよ
うな巧妙なものである。
素y1 、y2 の創造を目的とした場合、図5に示すよう
なSD画素m1 〜m5 とSD画素n1 〜n5 のそれぞれ
空間的同一位置にある画素同士のフレーム間差分の平均
値を求め、それをしきい値処理してクラス分類すること
により、主に動きの程度の表現をクラス分類を行う。な
お、図3〜図6は、時間的に経過する#k-2 、#k-1 、
#k 、#k+1 の4フィールドの垂直方向の画素配列を表
している。
k1 〜k5 をADRC処理するこにより、少ないビット
数で、主に空間内の波形表現を目的としたクラス分類を
行う。この2種類のクラス分類で決定されたクラス毎
に、図6において示すようなSD画素x1 〜x9 を使用
して、線形一次式をたて、予測係数値を学習により獲得
する。この方式は、主に動きの程度を表すクラス分類
と、主に空間内の波形を表すクラス分類とを個別にそれ
ぞれに適した形で行うため、比較的少ないクラス数で高
い変換性能を得られるという特徴がある。
られた予測係数値w1 〜wn を用いて以下のような式で
行われる。 y=w1 x1 +w2 x2 +・・・+wn xn (1) この例では、n=9である。
ータを推定するための係数データを各クラス毎に予め学
習により求めた上で、ROMテーブルに格納しておき、
入力されるSDデータおよびROMテーブルから読み出
した係数を出力することにより、入力されたSDデータ
を単に補間処理したのとは異なり、実際のHDデータに
より近いデータを出力することができるという特徴があ
る。
る学習は、図7に示すような構成によっていた。すなわ
ち、入力端子61から入力されたHDデータを、垂直間
引きフィルタ回路62により、フィールド内の垂直方向
の周波数が1/2になるように間引き処理を行い、さら
に水平間引きフィルタ回路63により、HDデータの水
平方向の周波数が1/2になるように間引き処理を行う
ことにより、SDデータが得られる。
RC回路65から空間クラスが得られ、領域切り出し回
路66および動きクラス決定回路67から動きクラスが
得られる。その空間クラスと動きクラスに応じてクラス
コード発生回路68からクラスコードが生成され、正規
方程式加算回路71では、そのクラスコードと遅延回路
69、領域切り出し回路70からのSDデータとHDデ
ータとから正規方程式が生成される。予測係数決定回路
72において、各クラスの予測係数が決定され、その予
測係数は、メモリ73に格納される。
の解像度特性、撮像管の電子ビームのアパーチャ特性等
の影響で、高い空間周波数成分ほどその出力が低下して
くる。これを補正するとともに、ディスプレイ装置にお
ける空間周波数の高域の低下をも見込んで映像信号の輪
郭を強調して送出し、見た目にシャープな画像を作り出
すための輪郭補正器(エンハンサーとも呼ばれる)が設
けられている。
処理が行われる。R(赤)、G(緑)、B(青)の3原
色の、例えばG信号から補正信号が生成される。遅延回
路85および86は、補正信号の処理に必要とされる時
間、R信号およびB信号を遅延させる。遅延回路87と
補正信号処理回路88によって、基本的にはG信号の高
域成分を切り出すハイパスフィルタの処理がされ、この
高域成分が補正信号として、アッテネータ92、93、
94によって、レベルが調整されて加算器89、90、
91にて、各色信号に対して重畳される。なお、輪郭補
正は、水平方向および垂直方向の両者に関してなされ、
遅延回路87において、G信号が水平方向の輪郭補正の
場合は、1サンプル遅延され、垂直方向の輪郭補正の場
合は、1ライン遅延とされる。
アリング、輪郭信号に対する非線形処理等の非線形処理
を多く含んでいる。コアリングとは、小さな輪郭信号は
ほとんどがノイズ成分であると見なして、それを抑圧す
る処理である。輪郭信号に対する非線形処理とは、一般
的に小振幅の補正信号の利得は大きく、大振幅の補正信
号の利得は小さくする方法である。他にも、画像の輝度
により補正信号の利得を変化させたり、またSDデータ
の場合には、NTSCエンコードをも鑑みて、補正信号
を制御する場合もある。
ては、上述のように輪郭補正が実施されたHDデータの
画像信号と、それを理想フィルタによりダウンコンバー
トすることにより作成したSDデータの画像信号との間
で学習を行っていた。従って、得られたSDデータはあ
くまでHDの輪郭補正が実施されたHDデータの画像信
号をダウンコンバートして得たSDデータであり、特に
輪郭近傍のデータの特性が、SDカメラで撮像したSD
データとは異なっていた。そのため、従来の画像信号変
換装置のおいてはHDデータからダウンコンバートして
得たSDデータのアップコンバージョンに関しては理想
的な変換が実現できたが、SDカメラで撮像したSDデ
ータのタップコンバージョンに関しては、特に輪郭近傍
において必ずしも理想的な変換とはならない欠点があっ
た。
は、上述の問題点に鑑みてなされたものであり、解像度
を向上させてNTSC方式の映像信号をハイビジョン方
式の映像信号に変換することが出来るような画像情報変
換装置の提供を目的とする。
は、ディジタル画像信号を、より画素数の多いディジタ
ル画像信号に変換するようにした画像情報変換装置にお
いて、外部から供給された画像情報から所定の位置の画
像データを切り出す画像切り出し手段と、画像切り出し
手段により抽出された画像情報のレベル分布のパターン
を検出し、パターンに基づいて、画像情報が属するクラ
スを決定してクラス検出情報を出力するクラス検出手段
と、クラス検出手段の結果からクラスを決定するクラス
コード発生手段と、外部から供給された画像情報を、よ
り高い解像度の画像情報に変換するための情報である推
定式の係数データがクラス毎に記憶されている係数デー
タ記憶手段と、係数データ記憶手段から供給された係数
データに応じて、より高い解像度の画像情報に変換して
出力する画像変換手段とを有することを特徴とする画像
情報変換装置である。
タル画像信号を、より画素数の多いディジタル画像信号
に変換するようにした画像情報変換装置において、より
高い解像度の画像情報から標準的な画像情報へ変換する
フィルタ手段と、標準的な画像情報に対して輪郭補正を
行う第1の輪郭補正手段と、より高い解像度の画像情報
に対して輪郭補正を行う第2の輪郭補正手段と標準的な
画像情報から所定の位置の画像データを切り出す画像切
り出し手段と、画像切り出し手段により抽出された画像
情報のレベル分布のパターンを検出し、パターンに基づ
いて、画像情報が属するクラスを決定してクラス検出情
報を出力するクラス検出手段と、クラス検出手段の結果
からクラスを決定するクラスコード発生手段と、標準的
な画像情報と第2の輪郭補正手段からのより高い解像度
の画像情報とから標準的な画像情報からより高い解像度
の画像情報に変換するための情報である推定式の係数デ
ータを生成する係数データ生成手段と、係数データがク
ラス毎に記憶されている係数データ記憶手段とからなる
ことを特徴とする画像情報変換装置である。
信号から、創造すべきHD画素の近傍に位置するSD画
素のレベル分布のパターンを検出し、この検出したパタ
ーンに基づいて、その領域の画像情報が属するクラスを
決定してクラス検出情報を出力する。さらに、創造すべ
きHD画素の近傍に位置するSD画素のフレーム間差分
を用いて動きの程度を表すクラスを決定し、クラス検出
情報を出力する。上述の2つのクラスを、クラスコード
発生回路により統合し、最終的なクラスとして出力す
る。係数データ記憶手段には、外部から供給された画像
情報を、この画像情報よりも高い解像度の画像情報に変
換するための情報であるあ線形推定式の係数データがク
ラス毎に記憶されており、この係数データは、クラス検
出情報に応じて出力される。そして、画像情報変換手段
が、係数データ記憶手段から供給された係数データに応
じて、外部から供給された画像情報を、外部から供給さ
れた画像情報よりも高い解像度の画像情報に変換する。
線形推定式の係数データの獲得のための学習対象とし
て、従来方式のように、HD画像データを単純にダウン
コンバートして作成したSD画像データを用いるのでは
なく、輪郭補正を行わずに撮像したHD画像データをダ
ウンコンバートして、さらにSDカメラに使用されてい
る輪郭補正回路と同様の、輪郭補正回路により輪郭補正
を行った画像をSD画像データとして用いることを特徴
としている。
しながら詳細に説明する。図1は、画像情報変換装置の
信号処理の概略的構成を示す一実施例である。1で示す
入力端子から、外部から供給される画像情報として、例
えばいわゆるNTSC方式の映像信号がディジタル化さ
れ、SD(Standerd Difinition )データとして供給さ
れる。この実施例における、SD画素と創造するべきH
D画素の位置関係は、図3に示すとおりとする。すなわ
ち、創造するべきHD画素には、同一フィールド内で見
たとき、SD画素から近い位置に存在するHD画素y1
とSD画素から遠い位置に存在するy2 の2種類があ
る。以降、SD画素から近い位置に存在するHD画素を
推定するモードをモード1と呼び、SD画素から遠い位
置に存在するHD画素を推定するモードをモード2と呼
ぶ。
供給されたSD画像信号から、主に空間内の波形現象の
ためのクラス分類(以降、空間クラスと呼ぶ)に必要な
画素を切り出す。この実施例では、例えば図4に示すよ
うに創造するべきHD画素y1 、y2 の近傍に位置する
5つのSD画素k1 〜k5 を切り出す。領域切り出し回
路2により抽出されたSDデータは、ADRC回路3に
供給される。ADRC回路3では、領域のSDデータの
レベル分布のパターン化を目的として、各領域のデータ
を、例えば8ビットのSDデータから2ビットのSDデ
ータに圧縮するような演算が行われる。これにより、形
成されたパターン圧縮データをクラスコード発生回路6
に供給する。
Coding )は、ディジタルVTRの高能率符号化用に開
発された適応量子化であるが、信号レベルの局所的なパ
ターンを短い語長で効率的に表現できるので、この実施
例では、ADRCを信号パターンのクラス分類のコード
発生に使用している。ADRC回路3は、領域内のダイ
ナミックレンジをDR、ビット割当をn、領域内画素の
データレベルをL、再量子化コードをQとして以下の式
(2)により、領域内の最大値MAXと最小値MINと
の間を指定されたビット長で均等に分割して再量子化を
行う。
り分離されたそれぞれ5画素のSDデータを、各2ビッ
トに圧縮するものとする。圧縮されたSDデータをそれ
ぞれq1 〜q5 とする。
信号は、領域切り出し回路4にも供給される。領域切り
出し回路4は、主に動きの程度を表すためのクラス分類
(動きクラス)に必要な画素を切り出す働きをする。こ
の実施例では、例えば供給されたSD画像信号から、創
造するべきHD画素y1 、y2 に対して図5に示す位置
に存在する10個のSD画素m1 〜m5 およびn1 〜n
5 を抽出する。領域切り出し回路4により切り出された
データは、動きクラス決定回路5に供給される。動きク
ラス決定回路5は、供給されたSD画素データのフレー
ム間差分を算出し、その絶対値の平均値をしきい値処理
することにより動きの指標である動きパラメータを算出
する。具体的には、動きクラス決定回路5は式(3)に
より、供給されるSDデータの差分の絶対値の平均値pa
ram を算出する。
の絶対値の平均値param を予め設定したしきい値によ
り、このSDデータの差分の絶対値の平均値param を用
いて動きクラスmv-classを算出する。例えば、ここでは
動きクラスを4つ設けることとして、動きクラスmv-cla
ssを以下のように決定する。
回路6に供給される。
3から供給されるパターン圧縮データ(空間クラス)お
よび動きクラス決定回路5から供給される動きクラスmv
-classに基づいて以下の式(4)の演算を行うことによ
りクラスを検出し、そのクラスコードclass をROMテ
ーブル9に供給する。このクラスコードclass は、RO
Mテーブル9から読み出しアドレスを示すものとなって
いる。
ーンとHDデータの関係を学習することにより、線形推
定式を用いて、SDデータに対応するHDデータを算出
するための係数データが各クラス毎に記憶されている。
これは、線形推定式によりSDデータを、この画像情報
よりも高い解像度の画像情報である、いわゆるハイビジ
ョンの規格に合致したHD(High Difinition )データ
に変換するための情報である。この実施例において、係
数データは、モード1とモード2で独立に用意される。
なお、ROMテーブル9に記憶されている係数データの
作成方法については後述する。ROMテーブル9から
は、クラスコードclass で示されるアドレスから、その
クラスの係数データであるwi(class)が読み出される。
この係数データは、推定演算回路10に供給される。
路8にも供給される。領域切り出し回路8は、領域切り
出し回路4および動きクラス決定回路5の処理時間だ
け、入力SDデータを遅延させる働きをする遅延回路7
から図6に示すような位置にある、推定演算に使用する
9つのSD画素データx1 〜x9 を切り出す。領域切り
出し回路8の出力信号は、推定演算回路10に供給され
る。推定演算回路10は、領域切り出し回路8から供給
されるSDデータ、ROMデータテーブル9から供給さ
れる係数データに基づいて、入力されたSDデータに対
応するHDデータを算出する。
域切り出し回路8から供給されるSDデータであるx1
〜x9 とROMテーブル9より供給された係数データで
あるw1 〜w9 により、モード1に関してはモード1用
の係数を用いて、モード2に関してはモード2用の係数
を用いて、係数データであるwi(class)に基づいて、そ
れぞれ以下の式(5)に示す演算を行うことにより、入
力されたSDデータに対応するHDデータを算出する。
作成されたHDデータは、水平補間フィルタ11に供給
される。
フィルタ43と同一なもので、補間処理により水平方向
の画素数を2倍にするものである。水平補間フィルタ1
1の出力は、出力端子12を介して出力される。この出
力端子12を介して出力されるHDデータは、例えばH
Dテレビジョン受像機やHDビデオテープレコーダ装置
等に供給される。
ータを推定するための係数データを各クラス毎に予め学
習により求めたうえで、ROMテーブル9に記憶してお
き、入力されるSDデータおよびROMテーブル9から
読み出した係数データに基づいて演算を行い、入力され
たSDデータに対応するHDデータを形成して出力する
ことにより、入力されるSDデータを単に補間処理した
のとは異なり、実際のHDデータにより近いデータを出
力することができる。
数データの作成方法について図2を用いて説明する。こ
の係数データの作成方法、より具体的には学習に用いる
HDデータおよびSDデータの作成方法が従来方式とは
異なる。上述の係数データを学習によって得るために
は、まず、既に知られているHD画像に対応したHD画
像の1/4の画素数のSD画像を形成する。
供給されるが、このHDデータはHDカメラの輪郭補正
回路をオフにして撮影された画像とする。この供給され
た輪郭補正が行われていないHDデータは、供給される
HDデータの垂直方向の画素を垂直間引きフィルタ22
により、フィールド内の垂直方向の周波数が1/2にな
うように間引き処理され、さらに水平間引きフィルタ2
3により、HDデータの水平方向の画素を間引き処理す
る。さらに、標準的なSDカメラに使用されている輪郭
補正回路と同様のSD輪郭補正回路24により、水平垂
直方向の輪郭補正が実施され、SDデータが作成され
る。従来の学習で用いられていたSDデータが、HDカ
メラにより輪郭補正されたHDデータをダウンコンバー
トして作られていたのに対し、この実施例のSDデータ
は、輪郭補正されていないHDデータをダウンコンバー
トし、さらにSDカメラで使用されているものと同様の
輪郭補正回路により輪郭補正が行われたものであるの
で、従来のSDデータに比べ、特に輪郭近傍の特性がS
Dカメラで撮像、輪郭補正された、所謂一般的にいうと
ころのSDデータに近い。
切り出し回路26、領域切り出し回路28、遅延回路3
1に供給される。一方、入力端子21に供給されたHD
データ(輪郭補正の行われていないHDデータ)は、標
準的なHDカメラに使用されている輪郭補正回路と同様
のHD輪郭補正回路25により輪郭補正された後、正規
方程式加算回路に供給される。領域切り出し回路26で
は、空間クラス分類を行うために、供給されたSD画像
信号から必要な画素を切り出す。具体的には、領域切り
出し回路26は先に説明した領域切り出し回路2と同一
の働きをする。切り出されたSDデータは、ADRC回
路27に供給される。
SDデータの1次元的あるいは2次元的なレベル分布の
パターンを検出すると共に、上述のように各領域の全て
のデータあるいは一部のデータを、例えば8ビットのS
Dデータから2ビットのSDデータに圧縮するような演
算を行うことによりパターン圧縮データを形成し、この
パターン圧縮データをクラスコード発生回路30に供給
する。ADRC回路27は、先に説明したADRC回路
3と同一のものである。
SD画像信号は、動きクラス分類のために必要なデータ
切り出しが行われる。具体的には、領域切り出し回路2
8は、先に説明した領域切り出し回路4と同一の働きを
するものである。領域切り出し回路28により切り出さ
れたSDデータは、動きクラス決定回路29に供給され
る。この動きクラス決定回路29は具体的には、先に説
明した動きクラス決定回路5と同一の働きをするもので
ある。動きクラス決定回路29で決定された動きクラス
はクラスコード発生回路30に供給される。クラスコー
ド発生回路30は、先に説明したクラスコード発生回路
6と同一のものであり、ADRC回路27から供給され
るパターン圧縮データ(空間クラス)および動きクラス
決定回路29から供給された動きクラスに基づいて、上
述した式(4)の演算を行うことによりクラスを検出
し、そのクラスを示すクラスコードを出力するものであ
る。クラスコード発生回路30は、クラスコードを正規
方程式加算回路33に出力する。
は、遅延回路31を介して領域切り出し回路32に供給
される。遅延回路31は、領域切り出し回路28および
動きクラス決定回路29の処理時間だけ、入力SDデー
タを遅延させ、そのSDデータは、領域切り出し回路3
2へ供給され、推定演算に使用するSD画素データを切
り出される。領域切り出し回路32は具体的には、先に
説明した領域切り出し回路8と同一のものであり、動き
クラスに応じて、線形推定式に必要なSD画素を切り出
す働きをする。領域切り出し回路32の出力は、正規方
程式加算回路33に供給される。
めに、複数個のSD画素からHD画素への変換式の学習
とその予測式を用いた信号変換について述べる。以下で
は、説明のために画素をより一般化してn画素による予
測を行う場合について説明する。SD画素レベルをそれ
ぞれ、x1 、・・・、xn として、それぞれにpビット
ADRCを行った結果の再量子化データをq1 、・・
・、qn とする。このとき、この領域のクラスclass を
上述の式(5)で定義する。上述したように、SD画素
レベルをそれぞれ、x1 、・・・、xn とし、HD画素
レベルをyとしたとき、クラス毎に係数w1 、・・・、
wn によるnタップの線形推定式を設定する。これを式
(6)に示す。学習前は、wi が未定係数である。
して行う。データ数がmの場合、式(6)に従って、以
下に示す式(7)が設定される。
一意に決まらないので、誤差ベクトルeの要素を式
(8)で定義して、しき(9)を最小にする係数を求め
る。いわゆる最小二乗法による解法である。
を求める。それは式(10)を0にするように、各wi
を求めればよい。
XjiYi を定義すると、式(10)は、行列を用いて式
(13)に書き換えられる。
ている。正規方程式加算回路33は、クラスコード発生
回路30から供給されたクラスコード、領域切り出し回
路32より供給されたSDデータx1 、・・・、xn 、
HD補正回路25より供給された、SDデータに対応す
るHD画素レベルyを用いて、この方程式の加算を行
う。
した後、正規方程式加算回路33は、予測係数決定回路
34に正規方程式データを出力する。予測係数決定回路
34は、正規方程式を掃き出し法などの一般的な行列解
法を用いて、wi について解き、予測係数を算出する。
予測係数決定回路34は、算出された予測係数をメモリ
35に書き込む。以上のようにトレーニングを行った結
果、メモリ35には、クラス毎に注目のHDデータyを
推定するための、統計的にもっとも真値に近い推定がで
きる予測係数が格納される。このメモリ35に格納され
たテーブルが、上述のように、この発明の画像信号変換
装置において使用されるROMテーブル9である。以上
の処理により、線形推定式によりSDデータからHDデ
ータを作成するための係数データの学習が終了する。
では、学習の対象として、従来の学習で用いらていたS
DデータがHDカメラにより輪郭補正されたHDデータ
をダウンコンバートして作られていたのに対し、この実
施例のSDデータは、輪郭補正されていないHDデータ
をダウンコンバートし、さらにSDカメラで使用される
ものと同様の輪郭補正回路により輪郭補正が行われたも
のであるので、従来のSDデータに比べ、特に輪郭近傍
の特性が、SDカメラで撮像、輪郭補正された、所謂一
般的にいうところのSDデータに近い。したがって、従
来の画像情報変換装置においてはダウンコンバートして
作成されたSDデータのアップコンバージョンにおいて
は、特に輪郭近傍で、変換の性能が劣化したが、この実
施例の学習手法を用いることにより、その劣化を押さ
え、SDカメラで撮像したSDデータのアップコンバー
ジョンにおいても、総合的に高い変換性能を得ることが
できる。
メータを算出するために、画素データのフレーム間差分
を算出し、その絶対値の平均値をしきい値処理を行うよ
うにしたが、これは一例であり、時間差分を空間差分で
割り、正規化したデータにして、そのデータをしきい値
処理を行うようにしても良い。
を求めるために、差分の絶対値の平均値をしきい値とし
て予め設定したが、差分の絶対値のヒストグラムをn等
分するようにしきい値を設定することも可能である。
少ないビット数でパターン化する情報圧縮手段として、
ADRCを設けることにしたが、これは一例であり、信
号波形のパターンの少ないクラスで表現できるような情
報圧縮手段であれば何を設けるかは自由であり、例えば
DPCMやVQ(ベクトル量子化)等の圧縮手段を用い
ても良い。
め、水平方向のアップコンバージョンに水平補間フィル
タ11を用いたが、このかわりに、水平方向のアップコ
ンバージョン用のROMを用意し、水平方向のアップコ
ンバージョンにおいても推定式を用いた方式を採ること
も勿論可能である。
て撮像したHD画像データを理想フィルタによりダウン
コンバートし、それをSDカメラに使用されている輪郭
補正と同様の輪郭補正回路により輪郭補正を行ったSD
画像データを学習対象とすることで、従来の学習対象の
SDデータより、カメラ入力画像に近いものを対象とす
ることが出来、SDカメラで撮像したSD画像データの
アップコンバージョン、特に輪郭補正近傍の変換性能を
向上させることが出来る。
示すブロック図である。
の略線図である。
ための図である。
めの図である。
めの図である。
ある。
る。
路図である。
ルを作成する時の説明のためのブロック図である。
る。
Claims (9)
- 【請求項1】 ディジタル画像信号を、より画素数の多
いディジタル画像信号に変換するようにした画像情報変
換装置において、 外部から供給された画像情報から所定の位置の画像デー
タを切り出す画像切り出し手段と、 上記画像切り出し手段により抽出された画像情報のレベ
ル分布のパターンを検出し、上記パターンに基づいて、
上記画像情報が属するクラスを決定してクラス検出情報
を出力するクラス検出手段と、 上記クラス検出手段の結果からクラスを決定するクラス
コード発生手段と、 上記外部から供給された画像情報を、より高い解像度の
画像情報に変換するための情報である推定式の係数デー
タが上記クラス毎に記憶されている係数データ記憶手段
と、 上記係数データ記憶手段から供給された上記係数データ
に応じて、上記より高い解像度の画像情報に変換して出
力する画像変換手段とを有することを特徴とする画像情
報変換装置。 - 【請求項2】 請求項1に記載の画像情報変換装置にお
いて、 上記画像切り出し手段は、 上記外部から供給された画像情報から空間クラスを求め
るために所定の位置の画像データを切り出す第1の画像
切り出し手段と、 上記外部から供給された画像情報から動きクラスを求め
るために所定の位置の画像データを切り出す第2の画像
切り出し手段と、 上記外部から供給された画像情報から上記画像変換手段
に用いるために所定の位置の画像データを切り出す第3
の画像切り出し手段とからなり、 上記クラスコード発生手段は、上記空間クラスと上記動
きクラスからクラスを決定することを特徴とする画像情
報変換装置。 - 【請求項3】 請求項1に記載の画像情報変換装置にお
いて、 上記係数データ記憶手段では、上記外部から供給された
画像情報から近い位置の上記より高い解像度の画像情報
を変換するときの第1の係数データと、上記外部から供
給された画像情報から遠い位置の上記より高い解像度の
画像情報を変換するときの第2の係数データとが格納さ
れており、 上記外部から供給された画像情報に基づいて、上記第1
および第2の係数データの一方を選択的に読み出し、 上記画像変換手段において、読み出された係数データと
上記外部から供給された画像情報との線形一次式に基づ
いて上記より高い解像度の画像情報に変換することを特
徴とする画像情報変換装置。 - 【請求項4】 請求項2に記載の画像情報変換装置にお
いて、 上記第1の画像切り出し手段から所定の位置の画像デー
タを切り出し、上記切り出された画像データに対して、
ADRC符号化を行うことにより上記空間クラスが検出
される空間クラス検出手段と、 上記第2の画像切り出し手段から所定の位置の画像デー
タを切り出し、上記切り出された画像データに対して、
ADRC符号化を行うことにより上記動きクラスが検出
される動きクラス検出手段とからなり、 上記ADRC符号化は、2次元あるいは3次元のブロッ
ク内に含まれる複数のデータの最大値および上記複数の
データの最小値を検出する手段と、 上記最大値および最小値から上記ブロックのダイナミッ
クレンジを検出する手段と、 上記ダイナミックレンジを規定する値を基準とした相対
的なレベル関係を持つように修正された修正入力データ
を形成する手段と、 上記修正入力データを元の量子化ビット数以下のビット
数で量子化する手段とからなることを特徴とする画像情
報変換装置。 - 【請求項5】 ディジタル画像信号を、より画素数の多
いディジタル画像信号に変換するようにした画像情報変
換装置において、 より高い解像度の画像情報から標準的な画像情報へ変換
するフィルタ手段と、 上記標準的な画像情報に対して輪郭補正を行う第1の輪
郭補正手段と、 上記より高い解像度の画像情報に対して輪郭補正を行う
第2の輪郭補正手段と、 上記標準的な画像情報から所定の位置の画像データを切
り出す画像切り出し手段と、 上記画像切り出し手段により抽出された画像情報のレベ
ル分布のパターンを検出し、上記パターンに基づいて、
上記画像情報が属するクラスを決定してクラス検出情報
を出力するクラス検出手段と、 上記クラス検出手段の結果からクラスを決定するクラス
コード発生手段と、 上記標準的な画像情報と上記第2の輪郭補正手段からの
上記より高い解像度の画像情報とから上記標準的な画像
情報から上記より高い解像度の画像情報に変換するため
の情報である推定式の係数データを生成する係数データ
生成手段と、 上記係数データが上記クラス毎に記憶されている係数デ
ータ記憶手段とからなることを特徴とする画像情報変換
装置。 - 【請求項6】 請求項5に記載の画像情報変換装置にお
いて、 上記フィルタ手段では、上記より高い解像度の画像情報
に対して、水平方向の画像情報を1/2とし、さらに垂
直方向の画像情報を1/2とすることで上記標準的な画
像情報へ変換する画像フィルタ手段とからなることを特
徴とする画像情報変換装置。 - 【請求項7】 請求項5に記載の画像情報変換装置にお
いて、 上記画像切り出し手段は、 上記標準的な画像情報から空間クラスを求めるために所
定の位置の画像データを切り出す第1の画像切り出し手
段と、 上記標準的な画像情報から動きクラスを求めるために所
定の位置の画像データを切り出す第2の画像切り出し手
段と、 上記標準的な画像情報から上記画像変換手段に用いるた
めに所定の位置の画像データを切り出す第3の画像切り
出し手段とからなり、 上記クラスコード発生手段は、上記空間クラスと上記動
きクラスからクラスを決定することを特徴とする画像情
報変換装置。 - 【請求項8】 請求項5に記載の画像情報変換装置にお
いて、 上記係数データ記憶手段では、上記標準的な画像情報か
ら近い位置の上記より高い解像度の画像情報を変換する
ときの第1の係数データと、上記標準的な画像情報から
遠い位置の上記より高い解像度の画像情報を変換すると
きの第2の係数データとが格納されており、 上記標準的な画像情報に基づいて、上記第1および第2
の係数データの一方を選択的に読み出すことを特徴とす
る画像情報変換装置。 - 【請求項9】 請求項7に記載の画像情報変換装置にお
いて、 上記第1の画像切り出し手段から所定の位置の画像デー
タを切り出し、上記切り出された画像データに対して、
ADRC符号化を行うことにより上記空間クラスが検出
される空間クラス検出手段と、 上記第2の画像切り出し手段から所定の位置の画像デー
タを切り出し、上記切り出された画像データに対して、
ADRC符号化を行うことにより上記動きクラスが検出
される動きクラス検出手段とからなり、 上記ADRC符号化は、2次元あるいは3次元のブロッ
ク内に含まれる複数のデータの最大値および上記複数の
データの最小値を検出する手段と、 上記最大値および最小値から上記ブロックのダイナミッ
クレンジを検出する手段と、 上記ダイナミックレンジを規定する値を基準とした相対
的なレベル関係を持つように修正された修正入力データ
を形成する手段と、 上記修正入力データを元の量子化ビット数以下のビット
数で量子化する手段とからなることを特徴とする画像情
報変換装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP14824095A JP3724008B2 (ja) | 1995-05-23 | 1995-05-23 | 画像情報変換装置および係数データ作成装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP14824095A JP3724008B2 (ja) | 1995-05-23 | 1995-05-23 | 画像情報変換装置および係数データ作成装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH08317347A true JPH08317347A (ja) | 1996-11-29 |
| JP3724008B2 JP3724008B2 (ja) | 2005-12-07 |
Family
ID=15448384
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP14824095A Expired - Lifetime JP3724008B2 (ja) | 1995-05-23 | 1995-05-23 | 画像情報変換装置および係数データ作成装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3724008B2 (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0895188A3 (en) * | 1997-07-30 | 2000-01-12 | Sony Corporation | Method and apparatus for image scaling |
| WO2000019724A1 (fr) * | 1998-09-30 | 2000-04-06 | Sony Corporation | Dispositif arithmetique, convertisseur et procedes y relatifs |
| JP2005258282A (ja) * | 2004-03-15 | 2005-09-22 | Sony Corp | 情報処理装置および方法、記録媒体、並びにプログラム |
| KR100700982B1 (ko) * | 2005-05-24 | 2007-03-29 | 삼성전자주식회사 | 영상처리방법과, 영상처리장치와 이를 포함하는영상처리시스템 및 그 제어방법 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5366855B2 (ja) | 2010-02-16 | 2013-12-11 | 富士フイルム株式会社 | 画像処理方法及び装置並びにプログラム |
-
1995
- 1995-05-23 JP JP14824095A patent/JP3724008B2/ja not_active Expired - Lifetime
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0895188A3 (en) * | 1997-07-30 | 2000-01-12 | Sony Corporation | Method and apparatus for image scaling |
| WO2000019724A1 (fr) * | 1998-09-30 | 2000-04-06 | Sony Corporation | Dispositif arithmetique, convertisseur et procedes y relatifs |
| US6718073B1 (en) | 1998-09-30 | 2004-04-06 | Sony Corporation | Arithmetic device, and converter, and their methods |
| JP2005258282A (ja) * | 2004-03-15 | 2005-09-22 | Sony Corp | 情報処理装置および方法、記録媒体、並びにプログラム |
| KR100700982B1 (ko) * | 2005-05-24 | 2007-03-29 | 삼성전자주식회사 | 영상처리방법과, 영상처리장치와 이를 포함하는영상처리시스템 및 그 제어방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3724008B2 (ja) | 2005-12-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JPH08154251A (ja) | 画像信号補間装置 | |
| US7679676B2 (en) | Spatial signal conversion | |
| JP3674186B2 (ja) | 画像情報変換装置および方法 | |
| JP2000115716A (ja) | 映像信号の変換装置および変換方法、並びにそれを使用した画像表示装置およびテレビ受信機 | |
| JPH0795591A (ja) | ディジタル画像信号処理装置 | |
| JP3946781B2 (ja) | 画像情報変換装置及び方法 | |
| JP3724008B2 (ja) | 画像情報変換装置および係数データ作成装置 | |
| JPH0846934A (ja) | ディジタル画像信号の処理装置 | |
| JP3723995B2 (ja) | 画像情報変換装置および方法 | |
| JP3362463B2 (ja) | フレーム補間装置 | |
| JP4140091B2 (ja) | 画像情報変換装置および画像情報変換方法 | |
| JP4734239B2 (ja) | 空間的信号変換 | |
| JPH07193789A (ja) | 画像情報変換装置 | |
| JP3243861B2 (ja) | 画像情報変換装置 | |
| JP3480011B2 (ja) | 画像情報変換装置 | |
| JP3480015B2 (ja) | 画像データの生成装置および生成方法 | |
| JP3653287B2 (ja) | 画像情報変換装置及び画像情報変換方法 | |
| JP3800638B2 (ja) | 画像情報変換装置および方法 | |
| JP3922286B2 (ja) | 係数学習装置および方法 | |
| JP4038881B2 (ja) | 画像信号の変換装置および変換方法、並びにそれに使用される係数データの生成装置および生成方法 | |
| JPH08130744A (ja) | テレビジヨン受像装置 | |
| JP4062326B2 (ja) | 係数生成装置および方法 | |
| JP4001143B2 (ja) | 係数生成装置および方法 | |
| JP3777831B2 (ja) | 画像情報変換装置および変換方法 | |
| JP4042121B2 (ja) | 画像情報処理装置及び画像情報処理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040204 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040210 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040409 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041124 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050124 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20050607 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050808 |
|
| A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20050811 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050830 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050912 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080930 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090930 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090930 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100930 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100930 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110930 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110930 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120930 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120930 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130930 Year of fee payment: 8 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |