JPH08317347A - 画像情報変換装置 - Google Patents

画像情報変換装置

Info

Publication number
JPH08317347A
JPH08317347A JP14824095A JP14824095A JPH08317347A JP H08317347 A JPH08317347 A JP H08317347A JP 14824095 A JP14824095 A JP 14824095A JP 14824095 A JP14824095 A JP 14824095A JP H08317347 A JPH08317347 A JP H08317347A
Authority
JP
Japan
Prior art keywords
image information
image
data
class
circuit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP14824095A
Other languages
English (en)
Other versions
JP3724008B2 (ja
Inventor
Masashi Uchida
真史 内田
Tetsujiro Kondo
哲二郎 近藤
Kunio Kawaguchi
邦雄 川口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP14824095A priority Critical patent/JP3724008B2/ja
Publication of JPH08317347A publication Critical patent/JPH08317347A/ja
Application granted granted Critical
Publication of JP3724008B2 publication Critical patent/JP3724008B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4023Scaling of whole images or parts thereof, e.g. expanding or contracting based on decimating pixels or lines of pixels; based on inserting pixels or lines of pixels

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Television Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

(57)【要約】 【目的】 NTSC方式の映像信号をハイビジョン方式
の映像信号に変換する。 【構成】 HDデータが垂直間引きフィルタ22、水平
間引きフィルタ23を介してSDデータとなり、SD輪
郭補正回路24へ供給される。SD輪郭補正回路24か
ら領域切り出し回路26、28、32へ輪郭補正された
SDデータが供給される。領域切り出し回路26では、
ADRC回路27を介して空間クラスが形成され、領域
切り出し回路28では、動きクラス決定回路29を介し
て動きクラスが形成され、それぞれクラスコード発生回
路30へ供給される。クラスコード発生回路30におい
て、クラスコードが生成され、正規方程式加算回路33
へ供給される。正規方程式加算回路33では、遅延回路
31、領域切り出し回路32を介してSDデータが供給
され、HDデータがHD輪郭補正回路25を介して供給
され、正規方程式が生成される。そして、予測係数決定
回路34において、予測係数が決定されると、メモリ3
5へ格納される。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】この発明は、例えばテレビジョン
受像機やビデオテープレコーダ装置等に用いて好適な画
像情報変換装置に関し、外部から供給される通常の解像
度の画像情報を高解像度の画像情報に変換して出力する
ような画像情報変換装置に関する。
【0002】
【従来の技術】今日において、オーディオ・ビジュアル
指向の高まりから、より高解像度の画像を得ることがで
きるようなテレビジョン受像機の開発が望まれ、この要
望に応えて、いわゆるハイビジョンが開発された。この
ハイビジョンは、いわゆるNTSC方式に規定される走
査線数が525本なのに対して、2倍以上の1125本
となっているうえ、表示画面の縦横比もNTSC方式が
3:4に対して9:16と広角画面になっている。この
ため、高解像度で臨場感のある画面を得ることができる
ようになっている。
【0003】ここで、このような優れた特性を有するハ
イビジョンではあるが、NTSC方式の映像信号をその
まま供給しても画像表示を行うことはできない。これ
は、上述のようにNTSC方式とハイビジョン方式とで
は規格が異なるからである。このため、NTSC方式の
映像信号に応じた画像をハイビジョンで表示しようとす
る場合、従来は、例えば図9に示すような画像情報変換
装置を用いて映像信号のレート変換を行っていた。
【0004】図9において、従来の画像情報変換装置
は、入力端子41を介して供給されるNTSC方式の映
像信号(SDデータ)の水平方向の補間処理を行う水平
補間フィルタ42と、水平方向の補間処理の行われた映
像信号の垂直方向の補間処理を行う垂直補間フィルタ4
3とから構成されている。そして、出力端子44からハ
イビジョン方式の映像信号(HDデータ)を得ることが
できる。
【0005】具体的には、水平補間フィルタ42は、図
10に示すような構成を有しており、入力端子51を介
して供給されるNTSC方式の映像信号は、入力端子5
1を介して第1〜第mの乗算器52〜52m にそれぞれ
供給される。各乗算器52は、それぞれ映像信号に係数
を乗算して出力する。係数の乗算された映像信号は、そ
れぞれ第1〜第mの加算器54〜54n-1 に供給され
る。各加算器54〜54m-1 の間には、それぞれ時間T
の遅延レジスタ53〜53m が設けられている。そし
て、第mの乗算器52m から出力された映像信号は、第
mの遅延レジスタ53m により時間Tの遅延が施され、
第m−1の加算器54m-1 に供給される。
【0006】第m−1の加算器54m-1 は、第mの遅延
レジスタ53m からの時間Tの遅延時間が施された映像
信号と、第m−1の乗算器52m-1 からの映像信号とを
加算処理して出力する。この加算処理の施された映像信
号は、第m−1の遅延レジスタ53m-1 により再度、時
間Tの遅延時間が施され、図示しない第m−2の加算器
54m-2 において、同じく図示しない第m−2の乗算器
54m-2 からの映像信号と加算処理される。水平補間フ
ィルタ42は、このようにしてNTSC方式の映像信号
を出力端子55を介して垂直補間フィルタ43に供給す
る。
【0007】垂直補間フィルタ43は、上述の水平補間
フィルタ42と同様の構成を有しており、水平補間処理
の行われた映像信号に対して垂直方向の画素の補間を行
う。これにより、NTSC方式の映像信号に対して、垂
直方向の画素の補間を行う。このような変換のなされた
ハイビジョンの映像信号は、ハイビジョン受像機に供給
される。これにより、NTSC方式の映像信号に応じた
画像をハイビジョン受像機で表示することができる。
【0008】しかしながら、従来の画像情報変換装置
は、NTSC方式の映像信号を基にして、単に水平方向
および垂直方向の補間を行っているに過ぎないため、解
像度は基となるNTSC方式の映像信号と何ら変わらな
かった。特に、通常の動画を変換対象とした場合、垂直
方向の補間をフィールド内処理で行うのが一般的である
が、その場合、画像フィールド間相関を使用していない
ため、画像静止部においては変換ロスにより、NTSC
方式の映像信号よりもむしろ解像度が劣化する欠点があ
った。
【0009】これに対し、特願平6−205934号で
は、入力信号である画像信号レベルの3次元(時空間)
分布に応じてクラス分割を行い、クラス毎に予め学習に
より獲得された予測係数値を格納した記憶手段を持ち、
予測式に基づいた演算により最適な推定値を出力すると
いうものがある。
【0010】この手法は、HD画素を創造する場合、創
造するHD画素の近傍にある複数のSD画素データを用
いてクラス分割を行い、それぞれのクラス毎に予測係数
値を学習により獲得することで、画像静止部においては
フレーム内相関また動き部においてはフィールド内相関
を利用して、より真値に近いHD画素値を得るというよ
うな巧妙なものである。
【0011】例えば、図3において示すような、HD画
素y1 、y2 の創造を目的とした場合、図5に示すよう
なSD画素m1 〜m5 とSD画素n1 〜n5 のそれぞれ
空間的同一位置にある画素同士のフレーム間差分の平均
値を求め、それをしきい値処理してクラス分類すること
により、主に動きの程度の表現をクラス分類を行う。な
お、図3〜図6は、時間的に経過する#k-2 、#k-1 、
#k 、#k+1 の4フィールドの垂直方向の画素配列を表
している。
【0012】同時に図4において示すような、SD画素
1 〜k5 をADRC処理するこにより、少ないビット
数で、主に空間内の波形表現を目的としたクラス分類を
行う。この2種類のクラス分類で決定されたクラス毎
に、図6において示すようなSD画素x1 〜x9 を使用
して、線形一次式をたて、予測係数値を学習により獲得
する。この方式は、主に動きの程度を表すクラス分類
と、主に空間内の波形を表すクラス分類とを個別にそれ
ぞれに適した形で行うため、比較的少ないクラス数で高
い変換性能を得られるという特徴がある。
【0013】HD画素yの推定演算は、上述の手順で得
られた予測係数値w1 〜wn を用いて以下のような式で
行われる。 y=w1 1 +w2 2 +・・・+wn n (1) この例では、n=9である。
【0014】このように、SDデータに対応するHDデ
ータを推定するための係数データを各クラス毎に予め学
習により求めた上で、ROMテーブルに格納しておき、
入力されるSDデータおよびROMテーブルから読み出
した係数を出力することにより、入力されたSDデータ
を単に補間処理したのとは異なり、実際のHDデータに
より近いデータを出力することができるという特徴があ
る。
【0015】ところで、従来の画像情報変換装置におけ
る学習は、図7に示すような構成によっていた。すなわ
ち、入力端子61から入力されたHDデータを、垂直間
引きフィルタ回路62により、フィールド内の垂直方向
の周波数が1/2になるように間引き処理を行い、さら
に水平間引きフィルタ回路63により、HDデータの水
平方向の周波数が1/2になるように間引き処理を行う
ことにより、SDデータが得られる。
【0016】そして、領域切り出し回路64およびAD
RC回路65から空間クラスが得られ、領域切り出し回
路66および動きクラス決定回路67から動きクラスが
得られる。その空間クラスと動きクラスに応じてクラス
コード発生回路68からクラスコードが生成され、正規
方程式加算回路71では、そのクラスコードと遅延回路
69、領域切り出し回路70からのSDデータとHDデ
ータとから正規方程式が生成される。予測係数決定回路
72において、各クラスの予測係数が決定され、その予
測係数は、メモリ73に格納される。
【0017】また、テレビカメラの出力信号は、レンズ
の解像度特性、撮像管の電子ビームのアパーチャ特性等
の影響で、高い空間周波数成分ほどその出力が低下して
くる。これを補正するとともに、ディスプレイ装置にお
ける空間周波数の高域の低下をも見込んで映像信号の輪
郭を強調して送出し、見た目にシャープな画像を作り出
すための輪郭補正器(エンハンサーとも呼ばれる)が設
けられている。
【0018】この輪郭補正器では、一般に図8のような
処理が行われる。R(赤)、G(緑)、B(青)の3原
色の、例えばG信号から補正信号が生成される。遅延回
路85および86は、補正信号の処理に必要とされる時
間、R信号およびB信号を遅延させる。遅延回路87と
補正信号処理回路88によって、基本的にはG信号の高
域成分を切り出すハイパスフィルタの処理がされ、この
高域成分が補正信号として、アッテネータ92、93、
94によって、レベルが調整されて加算器89、90、
91にて、各色信号に対して重畳される。なお、輪郭補
正は、水平方向および垂直方向の両者に関してなされ、
遅延回路87において、G信号が水平方向の輪郭補正の
場合は、1サンプル遅延され、垂直方向の輪郭補正の場
合は、1ライン遅延とされる。
【0019】補正信号処理回路88は、具体的には、コ
アリング、輪郭信号に対する非線形処理等の非線形処理
を多く含んでいる。コアリングとは、小さな輪郭信号は
ほとんどがノイズ成分であると見なして、それを抑圧す
る処理である。輪郭信号に対する非線形処理とは、一般
的に小振幅の補正信号の利得は大きく、大振幅の補正信
号の利得は小さくする方法である。他にも、画像の輝度
により補正信号の利得を変化させたり、またSDデータ
の場合には、NTSCエンコードをも鑑みて、補正信号
を制御する場合もある。
【0020】すなわち、従来の画像信号変換装置におい
ては、上述のように輪郭補正が実施されたHDデータの
画像信号と、それを理想フィルタによりダウンコンバー
トすることにより作成したSDデータの画像信号との間
で学習を行っていた。従って、得られたSDデータはあ
くまでHDの輪郭補正が実施されたHDデータの画像信
号をダウンコンバートして得たSDデータであり、特に
輪郭近傍のデータの特性が、SDカメラで撮像したSD
データとは異なっていた。そのため、従来の画像信号変
換装置のおいてはHDデータからダウンコンバートして
得たSDデータのアップコンバージョンに関しては理想
的な変換が実現できたが、SDカメラで撮像したSDデ
ータのタップコンバージョンに関しては、特に輪郭近傍
において必ずしも理想的な変換とはならない欠点があっ
た。
【0021】
【発明が解決しようとする課題】したがって、この発明
は、上述の問題点に鑑みてなされたものであり、解像度
を向上させてNTSC方式の映像信号をハイビジョン方
式の映像信号に変換することが出来るような画像情報変
換装置の提供を目的とする。
【0022】
【課題を解決するための手段】請求項1に記載の発明
は、ディジタル画像信号を、より画素数の多いディジタ
ル画像信号に変換するようにした画像情報変換装置にお
いて、外部から供給された画像情報から所定の位置の画
像データを切り出す画像切り出し手段と、画像切り出し
手段により抽出された画像情報のレベル分布のパターン
を検出し、パターンに基づいて、画像情報が属するクラ
スを決定してクラス検出情報を出力するクラス検出手段
と、クラス検出手段の結果からクラスを決定するクラス
コード発生手段と、外部から供給された画像情報を、よ
り高い解像度の画像情報に変換するための情報である推
定式の係数データがクラス毎に記憶されている係数デー
タ記憶手段と、係数データ記憶手段から供給された係数
データに応じて、より高い解像度の画像情報に変換して
出力する画像変換手段とを有することを特徴とする画像
情報変換装置である。
【0023】さらに、請求項5に記載の発明は、ディジ
タル画像信号を、より画素数の多いディジタル画像信号
に変換するようにした画像情報変換装置において、より
高い解像度の画像情報から標準的な画像情報へ変換する
フィルタ手段と、標準的な画像情報に対して輪郭補正を
行う第1の輪郭補正手段と、より高い解像度の画像情報
に対して輪郭補正を行う第2の輪郭補正手段と標準的な
画像情報から所定の位置の画像データを切り出す画像切
り出し手段と、画像切り出し手段により抽出された画像
情報のレベル分布のパターンを検出し、パターンに基づ
いて、画像情報が属するクラスを決定してクラス検出情
報を出力するクラス検出手段と、クラス検出手段の結果
からクラスを決定するクラスコード発生手段と、標準的
な画像情報と第2の輪郭補正手段からのより高い解像度
の画像情報とから標準的な画像情報からより高い解像度
の画像情報に変換するための情報である推定式の係数デ
ータを生成する係数データ生成手段と、係数データがク
ラス毎に記憶されている係数データ記憶手段とからなる
ことを特徴とする画像情報変換装置である。
【0024】
【作用】この発明に係る画像情報変換装置は、入力SD
信号から、創造すべきHD画素の近傍に位置するSD画
素のレベル分布のパターンを検出し、この検出したパタ
ーンに基づいて、その領域の画像情報が属するクラスを
決定してクラス検出情報を出力する。さらに、創造すべ
きHD画素の近傍に位置するSD画素のフレーム間差分
を用いて動きの程度を表すクラスを決定し、クラス検出
情報を出力する。上述の2つのクラスを、クラスコード
発生回路により統合し、最終的なクラスとして出力す
る。係数データ記憶手段には、外部から供給された画像
情報を、この画像情報よりも高い解像度の画像情報に変
換するための情報であるあ線形推定式の係数データがク
ラス毎に記憶されており、この係数データは、クラス検
出情報に応じて出力される。そして、画像情報変換手段
が、係数データ記憶手段から供給された係数データに応
じて、外部から供給された画像情報を、外部から供給さ
れた画像情報よりも高い解像度の画像情報に変換する。
線形推定式の係数データの獲得のための学習対象とし
て、従来方式のように、HD画像データを単純にダウン
コンバートして作成したSD画像データを用いるのでは
なく、輪郭補正を行わずに撮像したHD画像データをダ
ウンコンバートして、さらにSDカメラに使用されてい
る輪郭補正回路と同様の、輪郭補正回路により輪郭補正
を行った画像をSD画像データとして用いることを特徴
としている。
【0025】
【実施例】以下、この発明の実施例について図面を参照
しながら詳細に説明する。図1は、画像情報変換装置の
信号処理の概略的構成を示す一実施例である。1で示す
入力端子から、外部から供給される画像情報として、例
えばいわゆるNTSC方式の映像信号がディジタル化さ
れ、SD(Standerd Difinition )データとして供給さ
れる。この実施例における、SD画素と創造するべきH
D画素の位置関係は、図3に示すとおりとする。すなわ
ち、創造するべきHD画素には、同一フィールド内で見
たとき、SD画素から近い位置に存在するHD画素y1
とSD画素から遠い位置に存在するy2 の2種類があ
る。以降、SD画素から近い位置に存在するHD画素を
推定するモードをモード1と呼び、SD画素から遠い位
置に存在するHD画素を推定するモードをモード2と呼
ぶ。
【0026】領域切り出し回路2では、入力端子1より
供給されたSD画像信号から、主に空間内の波形現象の
ためのクラス分類(以降、空間クラスと呼ぶ)に必要な
画素を切り出す。この実施例では、例えば図4に示すよ
うに創造するべきHD画素y1 、y2 の近傍に位置する
5つのSD画素k1 〜k5 を切り出す。領域切り出し回
路2により抽出されたSDデータは、ADRC回路3に
供給される。ADRC回路3では、領域のSDデータの
レベル分布のパターン化を目的として、各領域のデータ
を、例えば8ビットのSDデータから2ビットのSDデ
ータに圧縮するような演算が行われる。これにより、形
成されたパターン圧縮データをクラスコード発生回路6
に供給する。
【0027】本来、ADRC(Adaptive Dynamic Range
Coding )は、ディジタルVTRの高能率符号化用に開
発された適応量子化であるが、信号レベルの局所的なパ
ターンを短い語長で効率的に表現できるので、この実施
例では、ADRCを信号パターンのクラス分類のコード
発生に使用している。ADRC回路3は、領域内のダイ
ナミックレンジをDR、ビット割当をn、領域内画素の
データレベルをL、再量子化コードをQとして以下の式
(2)により、領域内の最大値MAXと最小値MINと
の間を指定されたビット長で均等に分割して再量子化を
行う。
【0028】 DR=MAX−MIN+1 Q=〔(L−MIN+0.5)・2n /DR〕 (2) ただし、〔 〕は切り捨て処理を意味する。
【0029】この実施例では、領域切り出し回路2によ
り分離されたそれぞれ5画素のSDデータを、各2ビッ
トに圧縮するものとする。圧縮されたSDデータをそれ
ぞれq1 〜q5 とする。
【0030】一方、入力端子1から供給されたSD画像
信号は、領域切り出し回路4にも供給される。領域切り
出し回路4は、主に動きの程度を表すためのクラス分類
(動きクラス)に必要な画素を切り出す働きをする。こ
の実施例では、例えば供給されたSD画像信号から、創
造するべきHD画素y1 、y2 に対して図5に示す位置
に存在する10個のSD画素m1 〜m5 およびn1 〜n
5 を抽出する。領域切り出し回路4により切り出された
データは、動きクラス決定回路5に供給される。動きク
ラス決定回路5は、供給されたSD画素データのフレー
ム間差分を算出し、その絶対値の平均値をしきい値処理
することにより動きの指標である動きパラメータを算出
する。具体的には、動きクラス決定回路5は式(3)に
より、供給されるSDデータの差分の絶対値の平均値pa
ram を算出する。
【0031】
【数1】 ただし、この実施例では、n=5である。
【0032】上述の手法で算出されたSDデータの差分
の絶対値の平均値param を予め設定したしきい値によ
り、このSDデータの差分の絶対値の平均値param を用
いて動きクラスmv-classを算出する。例えば、ここでは
動きクラスを4つ設けることとして、動きクラスmv-cla
ssを以下のように決定する。
【0033】 param ≦2の場合:動きクラスmv-class=0 param ≦4の場合:動きクラスmv-class=1 param ≦8の場合:動きクラスmv-class=2 param >8の場合:動きクラスmv-class=3 このように決定された動きクラスが、クラスコード発生
回路6に供給される。
【0034】クラスコード発生回路6は、ADRC回路
3から供給されるパターン圧縮データ(空間クラス)お
よび動きクラス決定回路5から供給される動きクラスmv
-classに基づいて以下の式(4)の演算を行うことによ
りクラスを検出し、そのクラスコードclass をROMテ
ーブル9に供給する。このクラスコードclass は、RO
Mテーブル9から読み出しアドレスを示すものとなって
いる。
【0035】
【数2】 この実施例では、nは5、pは2である。
【0036】ROMテーブル9には、SDデータのパタ
ーンとHDデータの関係を学習することにより、線形推
定式を用いて、SDデータに対応するHDデータを算出
するための係数データが各クラス毎に記憶されている。
これは、線形推定式によりSDデータを、この画像情報
よりも高い解像度の画像情報である、いわゆるハイビジ
ョンの規格に合致したHD(High Difinition )データ
に変換するための情報である。この実施例において、係
数データは、モード1とモード2で独立に用意される。
なお、ROMテーブル9に記憶されている係数データの
作成方法については後述する。ROMテーブル9から
は、クラスコードclass で示されるアドレスから、その
クラスの係数データであるwi(class)が読み出される。
この係数データは、推定演算回路10に供給される。
【0037】一方、入力SDデータは、領域切り出し回
路8にも供給される。領域切り出し回路8は、領域切り
出し回路4および動きクラス決定回路5の処理時間だ
け、入力SDデータを遅延させる働きをする遅延回路7
から図6に示すような位置にある、推定演算に使用する
9つのSD画素データx1 〜x9 を切り出す。領域切り
出し回路8の出力信号は、推定演算回路10に供給され
る。推定演算回路10は、領域切り出し回路8から供給
されるSDデータ、ROMデータテーブル9から供給さ
れる係数データに基づいて、入力されたSDデータに対
応するHDデータを算出する。
【0038】より具体的には、推定演算回路10は、領
域切り出し回路8から供給されるSDデータであるx1
〜x9 とROMテーブル9より供給された係数データで
あるw1 〜w9 により、モード1に関してはモード1用
の係数を用いて、モード2に関してはモード2用の係数
を用いて、係数データであるwi(class)に基づいて、そ
れぞれ以下の式(5)に示す演算を行うことにより、入
力されたSDデータに対応するHDデータを算出する。
作成されたHDデータは、水平補間フィルタ11に供給
される。
【0039】 hd´=w1 1 +w2 2 +w3 3 +・・・+w9 9 (5)
【0040】水平補間フィルタ11は、図9の水平補間
フィルタ43と同一なもので、補間処理により水平方向
の画素数を2倍にするものである。水平補間フィルタ1
1の出力は、出力端子12を介して出力される。この出
力端子12を介して出力されるHDデータは、例えばH
Dテレビジョン受像機やHDビデオテープレコーダ装置
等に供給される。
【0041】このように、SDデータに対応するHDデ
ータを推定するための係数データを各クラス毎に予め学
習により求めたうえで、ROMテーブル9に記憶してお
き、入力されるSDデータおよびROMテーブル9から
読み出した係数データに基づいて演算を行い、入力され
たSDデータに対応するHDデータを形成して出力する
ことにより、入力されるSDデータを単に補間処理した
のとは異なり、実際のHDデータにより近いデータを出
力することができる。
【0042】続いて、ROMテーブル9に格納される係
数データの作成方法について図2を用いて説明する。こ
の係数データの作成方法、より具体的には学習に用いる
HDデータおよびSDデータの作成方法が従来方式とは
異なる。上述の係数データを学習によって得るために
は、まず、既に知られているHD画像に対応したHD画
像の1/4の画素数のSD画像を形成する。
【0043】まず、入力端子21を介してHDデータが
供給されるが、このHDデータはHDカメラの輪郭補正
回路をオフにして撮影された画像とする。この供給され
た輪郭補正が行われていないHDデータは、供給される
HDデータの垂直方向の画素を垂直間引きフィルタ22
により、フィールド内の垂直方向の周波数が1/2にな
うように間引き処理され、さらに水平間引きフィルタ2
3により、HDデータの水平方向の画素を間引き処理す
る。さらに、標準的なSDカメラに使用されている輪郭
補正回路と同様のSD輪郭補正回路24により、水平垂
直方向の輪郭補正が実施され、SDデータが作成され
る。従来の学習で用いられていたSDデータが、HDカ
メラにより輪郭補正されたHDデータをダウンコンバー
トして作られていたのに対し、この実施例のSDデータ
は、輪郭補正されていないHDデータをダウンコンバー
トし、さらにSDカメラで使用されているものと同様の
輪郭補正回路により輪郭補正が行われたものであるの
で、従来のSDデータに比べ、特に輪郭近傍の特性がS
Dカメラで撮像、輪郭補正された、所謂一般的にいうと
ころのSDデータに近い。
【0044】このように作成されたSDデータは、領域
切り出し回路26、領域切り出し回路28、遅延回路3
1に供給される。一方、入力端子21に供給されたHD
データ(輪郭補正の行われていないHDデータ)は、標
準的なHDカメラに使用されている輪郭補正回路と同様
のHD輪郭補正回路25により輪郭補正された後、正規
方程式加算回路に供給される。領域切り出し回路26で
は、空間クラス分類を行うために、供給されたSD画像
信号から必要な画素を切り出す。具体的には、領域切り
出し回路26は先に説明した領域切り出し回路2と同一
の働きをする。切り出されたSDデータは、ADRC回
路27に供給される。
【0045】ADRC回路27は、領域毎に供給される
SDデータの1次元的あるいは2次元的なレベル分布の
パターンを検出すると共に、上述のように各領域の全て
のデータあるいは一部のデータを、例えば8ビットのS
Dデータから2ビットのSDデータに圧縮するような演
算を行うことによりパターン圧縮データを形成し、この
パターン圧縮データをクラスコード発生回路30に供給
する。ADRC回路27は、先に説明したADRC回路
3と同一のものである。
【0046】一方、領域切り出し回路28に供給された
SD画像信号は、動きクラス分類のために必要なデータ
切り出しが行われる。具体的には、領域切り出し回路2
8は、先に説明した領域切り出し回路4と同一の働きを
するものである。領域切り出し回路28により切り出さ
れたSDデータは、動きクラス決定回路29に供給され
る。この動きクラス決定回路29は具体的には、先に説
明した動きクラス決定回路5と同一の働きをするもので
ある。動きクラス決定回路29で決定された動きクラス
はクラスコード発生回路30に供給される。クラスコー
ド発生回路30は、先に説明したクラスコード発生回路
6と同一のものであり、ADRC回路27から供給され
るパターン圧縮データ(空間クラス)および動きクラス
決定回路29から供給された動きクラスに基づいて、上
述した式(4)の演算を行うことによりクラスを検出
し、そのクラスを示すクラスコードを出力するものであ
る。クラスコード発生回路30は、クラスコードを正規
方程式加算回路33に出力する。
【0047】一方、SD輪郭補正回路24の出力信号
は、遅延回路31を介して領域切り出し回路32に供給
される。遅延回路31は、領域切り出し回路28および
動きクラス決定回路29の処理時間だけ、入力SDデー
タを遅延させ、そのSDデータは、領域切り出し回路3
2へ供給され、推定演算に使用するSD画素データを切
り出される。領域切り出し回路32は具体的には、先に
説明した領域切り出し回路8と同一のものであり、動き
クラスに応じて、線形推定式に必要なSD画素を切り出
す働きをする。領域切り出し回路32の出力は、正規方
程式加算回路33に供給される。
【0048】ここで正規方程式加算回路33の説明のた
めに、複数個のSD画素からHD画素への変換式の学習
とその予測式を用いた信号変換について述べる。以下で
は、説明のために画素をより一般化してn画素による予
測を行う場合について説明する。SD画素レベルをそれ
ぞれ、x1 、・・・、xn として、それぞれにpビット
ADRCを行った結果の再量子化データをq1 、・・
・、qn とする。このとき、この領域のクラスclass を
上述の式(5)で定義する。上述したように、SD画素
レベルをそれぞれ、x1 、・・・、xn とし、HD画素
レベルをyとしたとき、クラス毎に係数w1 、・・・、
n によるnタップの線形推定式を設定する。これを式
(6)に示す。学習前は、wi が未定係数である。
【0049】 y=w1 1 +w2 2 +・・・+wn n (6)
【0050】学習は、クラス毎に複数の信号データに対
して行う。データ数がmの場合、式(6)に従って、以
下に示す式(7)が設定される。
【0051】 yk =w1 k1+w2 k2+・・・+wn kn (7) (k=1、2、・・・、m)
【0052】m>nの場合は、w1 、・・・、wn は、
一意に決まらないので、誤差ベクトルeの要素を式
(8)で定義して、しき(9)を最小にする係数を求め
る。いわゆる最小二乗法による解法である。
【0053】 ek =yk −{w1 k1+w2 k2+・・・+wn kn} (8) (k=1、2、・・・、m)
【0054】
【数3】
【0055】ここで、式(9)のwi による偏微分係数
を求める。それは式(10)を0にするように、各wi
を求めればよい。
【0056】
【数4】
【0057】以下、式(11)、式(12)のように、
jii を定義すると、式(10)は、行列を用いて式
(13)に書き換えられる。
【0058】
【数5】
【0059】
【数6】
【0060】
【数7】
【0061】この方程式は一般的に正規方程式と呼ばれ
ている。正規方程式加算回路33は、クラスコード発生
回路30から供給されたクラスコード、領域切り出し回
路32より供給されたSDデータx1 、・・・、xn
HD補正回路25より供給された、SDデータに対応す
るHD画素レベルyを用いて、この方程式の加算を行
う。
【0062】すべてのトレーニングデータの入力が終了
した後、正規方程式加算回路33は、予測係数決定回路
34に正規方程式データを出力する。予測係数決定回路
34は、正規方程式を掃き出し法などの一般的な行列解
法を用いて、wi について解き、予測係数を算出する。
予測係数決定回路34は、算出された予測係数をメモリ
35に書き込む。以上のようにトレーニングを行った結
果、メモリ35には、クラス毎に注目のHDデータyを
推定するための、統計的にもっとも真値に近い推定がで
きる予測係数が格納される。このメモリ35に格納され
たテーブルが、上述のように、この発明の画像信号変換
装置において使用されるROMテーブル9である。以上
の処理により、線形推定式によりSDデータからHDデ
ータを作成するための係数データの学習が終了する。
【0063】以上の説明で明らかなように、この実施例
では、学習の対象として、従来の学習で用いらていたS
DデータがHDカメラにより輪郭補正されたHDデータ
をダウンコンバートして作られていたのに対し、この実
施例のSDデータは、輪郭補正されていないHDデータ
をダウンコンバートし、さらにSDカメラで使用される
ものと同様の輪郭補正回路により輪郭補正が行われたも
のであるので、従来のSDデータに比べ、特に輪郭近傍
の特性が、SDカメラで撮像、輪郭補正された、所謂一
般的にいうところのSDデータに近い。したがって、従
来の画像情報変換装置においてはダウンコンバートして
作成されたSDデータのアップコンバージョンにおいて
は、特に輪郭近傍で、変換の性能が劣化したが、この実
施例の学習手法を用いることにより、その劣化を押さ
え、SDカメラで撮像したSDデータのアップコンバー
ジョンにおいても、総合的に高い変換性能を得ることが
できる。
【0064】そして、この実施例の説明では、動きパラ
メータを算出するために、画素データのフレーム間差分
を算出し、その絶対値の平均値をしきい値処理を行うよ
うにしたが、これは一例であり、時間差分を空間差分で
割り、正規化したデータにして、そのデータをしきい値
処理を行うようにしても良い。
【0065】また、この実施例の説明では、動きクラス
を求めるために、差分の絶対値の平均値をしきい値とし
て予め設定したが、差分の絶対値のヒストグラムをn等
分するようにしきい値を設定することも可能である。
【0066】なお、この実施例の説明では、空間波形を
少ないビット数でパターン化する情報圧縮手段として、
ADRCを設けることにしたが、これは一例であり、信
号波形のパターンの少ないクラスで表現できるような情
報圧縮手段であれば何を設けるかは自由であり、例えば
DPCMやVQ(ベクトル量子化)等の圧縮手段を用い
ても良い。
【0067】さらに、この実施例の説明では、簡単のた
め、水平方向のアップコンバージョンに水平補間フィル
タ11を用いたが、このかわりに、水平方向のアップコ
ンバージョン用のROMを用意し、水平方向のアップコ
ンバージョンにおいても推定式を用いた方式を採ること
も勿論可能である。
【0068】
【発明の効果】この発明に依れば、輪郭補正をオフにし
て撮像したHD画像データを理想フィルタによりダウン
コンバートし、それをSDカメラに使用されている輪郭
補正と同様の輪郭補正回路により輪郭補正を行ったSD
画像データを学習対象とすることで、従来の学習対象の
SDデータより、カメラ入力画像に近いものを対象とす
ることが出来、SDカメラで撮像したSD画像データの
アップコンバージョン、特に輪郭補正近傍の変換性能を
向上させることが出来る。
【図面の簡単な説明】
【図1】この発明に係る画像情報変換装置の一実施例を
示すブロック図である。
【図2】補正データテーブルを作成する時の説明のため
の略線図である。
【図3】SDデータとHDデータの位置関係を説明する
ための図である。
【図4】空間クラス分類に使用するデータを説明するた
めの図である。
【図5】動きクラス分類に使用するデータを説明するた
めの図である。
【図6】推定演算に使用する画素を説明するための図で
ある。
【図7】従来の画像情報変換装置の一例の回路図であ
る。
【図8】従来の画像情報変換装置の腰部の一例を示す回
路図である。
【図9】従来の画像変換装置における補正データテーブ
ルを作成する時の説明のためのブロック図である。
【図10】輪郭補正装置の説明のためのブロック図であ
る。
【符号の説明】
22 垂直間引きフィルタ 23 水平間引きフィルタ 24 SD輪郭補正回路 25 HD輪郭補正回路 26、28、32 領域切り出し回路 27 ADRC回路 29 動きクラス決定回路 30 クラスコード発生回路 31 遅延回路 33 正規方程式加算回路 34 予測係数決定回路 35 メモリ

Claims (9)

    【特許請求の範囲】
  1. 【請求項1】 ディジタル画像信号を、より画素数の多
    いディジタル画像信号に変換するようにした画像情報変
    換装置において、 外部から供給された画像情報から所定の位置の画像デー
    タを切り出す画像切り出し手段と、 上記画像切り出し手段により抽出された画像情報のレベ
    ル分布のパターンを検出し、上記パターンに基づいて、
    上記画像情報が属するクラスを決定してクラス検出情報
    を出力するクラス検出手段と、 上記クラス検出手段の結果からクラスを決定するクラス
    コード発生手段と、 上記外部から供給された画像情報を、より高い解像度の
    画像情報に変換するための情報である推定式の係数デー
    タが上記クラス毎に記憶されている係数データ記憶手段
    と、 上記係数データ記憶手段から供給された上記係数データ
    に応じて、上記より高い解像度の画像情報に変換して出
    力する画像変換手段とを有することを特徴とする画像情
    報変換装置。
  2. 【請求項2】 請求項1に記載の画像情報変換装置にお
    いて、 上記画像切り出し手段は、 上記外部から供給された画像情報から空間クラスを求め
    るために所定の位置の画像データを切り出す第1の画像
    切り出し手段と、 上記外部から供給された画像情報から動きクラスを求め
    るために所定の位置の画像データを切り出す第2の画像
    切り出し手段と、 上記外部から供給された画像情報から上記画像変換手段
    に用いるために所定の位置の画像データを切り出す第3
    の画像切り出し手段とからなり、 上記クラスコード発生手段は、上記空間クラスと上記動
    きクラスからクラスを決定することを特徴とする画像情
    報変換装置。
  3. 【請求項3】 請求項1に記載の画像情報変換装置にお
    いて、 上記係数データ記憶手段では、上記外部から供給された
    画像情報から近い位置の上記より高い解像度の画像情報
    を変換するときの第1の係数データと、上記外部から供
    給された画像情報から遠い位置の上記より高い解像度の
    画像情報を変換するときの第2の係数データとが格納さ
    れており、 上記外部から供給された画像情報に基づいて、上記第1
    および第2の係数データの一方を選択的に読み出し、 上記画像変換手段において、読み出された係数データと
    上記外部から供給された画像情報との線形一次式に基づ
    いて上記より高い解像度の画像情報に変換することを特
    徴とする画像情報変換装置。
  4. 【請求項4】 請求項2に記載の画像情報変換装置にお
    いて、 上記第1の画像切り出し手段から所定の位置の画像デー
    タを切り出し、上記切り出された画像データに対して、
    ADRC符号化を行うことにより上記空間クラスが検出
    される空間クラス検出手段と、 上記第2の画像切り出し手段から所定の位置の画像デー
    タを切り出し、上記切り出された画像データに対して、
    ADRC符号化を行うことにより上記動きクラスが検出
    される動きクラス検出手段とからなり、 上記ADRC符号化は、2次元あるいは3次元のブロッ
    ク内に含まれる複数のデータの最大値および上記複数の
    データの最小値を検出する手段と、 上記最大値および最小値から上記ブロックのダイナミッ
    クレンジを検出する手段と、 上記ダイナミックレンジを規定する値を基準とした相対
    的なレベル関係を持つように修正された修正入力データ
    を形成する手段と、 上記修正入力データを元の量子化ビット数以下のビット
    数で量子化する手段とからなることを特徴とする画像情
    報変換装置。
  5. 【請求項5】 ディジタル画像信号を、より画素数の多
    いディジタル画像信号に変換するようにした画像情報変
    換装置において、 より高い解像度の画像情報から標準的な画像情報へ変換
    するフィルタ手段と、 上記標準的な画像情報に対して輪郭補正を行う第1の輪
    郭補正手段と、 上記より高い解像度の画像情報に対して輪郭補正を行う
    第2の輪郭補正手段と、 上記標準的な画像情報から所定の位置の画像データを切
    り出す画像切り出し手段と、 上記画像切り出し手段により抽出された画像情報のレベ
    ル分布のパターンを検出し、上記パターンに基づいて、
    上記画像情報が属するクラスを決定してクラス検出情報
    を出力するクラス検出手段と、 上記クラス検出手段の結果からクラスを決定するクラス
    コード発生手段と、 上記標準的な画像情報と上記第2の輪郭補正手段からの
    上記より高い解像度の画像情報とから上記標準的な画像
    情報から上記より高い解像度の画像情報に変換するため
    の情報である推定式の係数データを生成する係数データ
    生成手段と、 上記係数データが上記クラス毎に記憶されている係数デ
    ータ記憶手段とからなることを特徴とする画像情報変換
    装置。
  6. 【請求項6】 請求項5に記載の画像情報変換装置にお
    いて、 上記フィルタ手段では、上記より高い解像度の画像情報
    に対して、水平方向の画像情報を1/2とし、さらに垂
    直方向の画像情報を1/2とすることで上記標準的な画
    像情報へ変換する画像フィルタ手段とからなることを特
    徴とする画像情報変換装置。
  7. 【請求項7】 請求項5に記載の画像情報変換装置にお
    いて、 上記画像切り出し手段は、 上記標準的な画像情報から空間クラスを求めるために所
    定の位置の画像データを切り出す第1の画像切り出し手
    段と、 上記標準的な画像情報から動きクラスを求めるために所
    定の位置の画像データを切り出す第2の画像切り出し手
    段と、 上記標準的な画像情報から上記画像変換手段に用いるた
    めに所定の位置の画像データを切り出す第3の画像切り
    出し手段とからなり、 上記クラスコード発生手段は、上記空間クラスと上記動
    きクラスからクラスを決定することを特徴とする画像情
    報変換装置。
  8. 【請求項8】 請求項5に記載の画像情報変換装置にお
    いて、 上記係数データ記憶手段では、上記標準的な画像情報か
    ら近い位置の上記より高い解像度の画像情報を変換する
    ときの第1の係数データと、上記標準的な画像情報から
    遠い位置の上記より高い解像度の画像情報を変換すると
    きの第2の係数データとが格納されており、 上記標準的な画像情報に基づいて、上記第1および第2
    の係数データの一方を選択的に読み出すことを特徴とす
    る画像情報変換装置。
  9. 【請求項9】 請求項7に記載の画像情報変換装置にお
    いて、 上記第1の画像切り出し手段から所定の位置の画像デー
    タを切り出し、上記切り出された画像データに対して、
    ADRC符号化を行うことにより上記空間クラスが検出
    される空間クラス検出手段と、 上記第2の画像切り出し手段から所定の位置の画像デー
    タを切り出し、上記切り出された画像データに対して、
    ADRC符号化を行うことにより上記動きクラスが検出
    される動きクラス検出手段とからなり、 上記ADRC符号化は、2次元あるいは3次元のブロッ
    ク内に含まれる複数のデータの最大値および上記複数の
    データの最小値を検出する手段と、 上記最大値および最小値から上記ブロックのダイナミッ
    クレンジを検出する手段と、 上記ダイナミックレンジを規定する値を基準とした相対
    的なレベル関係を持つように修正された修正入力データ
    を形成する手段と、 上記修正入力データを元の量子化ビット数以下のビット
    数で量子化する手段とからなることを特徴とする画像情
    報変換装置。
JP14824095A 1995-05-23 1995-05-23 画像情報変換装置および係数データ作成装置 Expired - Lifetime JP3724008B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP14824095A JP3724008B2 (ja) 1995-05-23 1995-05-23 画像情報変換装置および係数データ作成装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP14824095A JP3724008B2 (ja) 1995-05-23 1995-05-23 画像情報変換装置および係数データ作成装置

Publications (2)

Publication Number Publication Date
JPH08317347A true JPH08317347A (ja) 1996-11-29
JP3724008B2 JP3724008B2 (ja) 2005-12-07

Family

ID=15448384

Family Applications (1)

Application Number Title Priority Date Filing Date
JP14824095A Expired - Lifetime JP3724008B2 (ja) 1995-05-23 1995-05-23 画像情報変換装置および係数データ作成装置

Country Status (1)

Country Link
JP (1) JP3724008B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0895188A3 (en) * 1997-07-30 2000-01-12 Sony Corporation Method and apparatus for image scaling
WO2000019724A1 (fr) * 1998-09-30 2000-04-06 Sony Corporation Dispositif arithmetique, convertisseur et procedes y relatifs
JP2005258282A (ja) * 2004-03-15 2005-09-22 Sony Corp 情報処理装置および方法、記録媒体、並びにプログラム
KR100700982B1 (ko) * 2005-05-24 2007-03-29 삼성전자주식회사 영상처리방법과, 영상처리장치와 이를 포함하는영상처리시스템 및 그 제어방법

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5366855B2 (ja) 2010-02-16 2013-12-11 富士フイルム株式会社 画像処理方法及び装置並びにプログラム

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0895188A3 (en) * 1997-07-30 2000-01-12 Sony Corporation Method and apparatus for image scaling
WO2000019724A1 (fr) * 1998-09-30 2000-04-06 Sony Corporation Dispositif arithmetique, convertisseur et procedes y relatifs
US6718073B1 (en) 1998-09-30 2004-04-06 Sony Corporation Arithmetic device, and converter, and their methods
JP2005258282A (ja) * 2004-03-15 2005-09-22 Sony Corp 情報処理装置および方法、記録媒体、並びにプログラム
KR100700982B1 (ko) * 2005-05-24 2007-03-29 삼성전자주식회사 영상처리방법과, 영상처리장치와 이를 포함하는영상처리시스템 및 그 제어방법

Also Published As

Publication number Publication date
JP3724008B2 (ja) 2005-12-07

Similar Documents

Publication Publication Date Title
JPH08154251A (ja) 画像信号補間装置
US7679676B2 (en) Spatial signal conversion
JP3674186B2 (ja) 画像情報変換装置および方法
JP2000115716A (ja) 映像信号の変換装置および変換方法、並びにそれを使用した画像表示装置およびテレビ受信機
JPH0795591A (ja) ディジタル画像信号処理装置
JP3946781B2 (ja) 画像情報変換装置及び方法
JP3724008B2 (ja) 画像情報変換装置および係数データ作成装置
JPH0846934A (ja) ディジタル画像信号の処理装置
JP3723995B2 (ja) 画像情報変換装置および方法
JP3362463B2 (ja) フレーム補間装置
JP4140091B2 (ja) 画像情報変換装置および画像情報変換方法
JP4734239B2 (ja) 空間的信号変換
JPH07193789A (ja) 画像情報変換装置
JP3243861B2 (ja) 画像情報変換装置
JP3480011B2 (ja) 画像情報変換装置
JP3480015B2 (ja) 画像データの生成装置および生成方法
JP3653287B2 (ja) 画像情報変換装置及び画像情報変換方法
JP3800638B2 (ja) 画像情報変換装置および方法
JP3922286B2 (ja) 係数学習装置および方法
JP4038881B2 (ja) 画像信号の変換装置および変換方法、並びにそれに使用される係数データの生成装置および生成方法
JPH08130744A (ja) テレビジヨン受像装置
JP4062326B2 (ja) 係数生成装置および方法
JP4001143B2 (ja) 係数生成装置および方法
JP3777831B2 (ja) 画像情報変換装置および変換方法
JP4042121B2 (ja) 画像情報処理装置及び画像情報処理方法

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20040204

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040210

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040409

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20041124

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050124

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20050607

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050808

A911 Transfer of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20050811

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050830

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050912

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080930

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090930

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090930

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100930

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100930

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110930

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110930

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120930

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120930

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130930

Year of fee payment: 8

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term