JPH09214901A - モーションと空間的な相関度を用いる飛越し順次変換装置及びその方法 - Google Patents

モーションと空間的な相関度を用いる飛越し順次変換装置及びその方法

Info

Publication number
JPH09214901A
JPH09214901A JP9011745A JP1174597A JPH09214901A JP H09214901 A JPH09214901 A JP H09214901A JP 9011745 A JP9011745 A JP 9011745A JP 1174597 A JP1174597 A JP 1174597A JP H09214901 A JPH09214901 A JP H09214901A
Authority
JP
Japan
Prior art keywords
sample
delay
output
line
constant
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP9011745A
Other languages
English (en)
Other versions
JP3249060B2 (ja
Inventor
Eitaku Kin
永澤 金
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JPH09214901A publication Critical patent/JPH09214901A/ja
Application granted granted Critical
Publication of JP3249060B2 publication Critical patent/JP3249060B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H04N7/012Conversion between an interlaced and a progressive signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N11/00Colour television systems
    • H04N11/06Transmission systems characterised by the manner in which the individual colour picture signal components are combined
    • H04N11/20Conversion of the manner in which the individual colour picture signal components are combined, e.g. conversion of colour television standards
    • H04N11/22Conversion of the manner in which the individual colour picture signal components are combined, e.g. conversion of colour television standards in which simultaneous signals are converted into sequential signals or vice versa

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Systems (AREA)

Abstract

(57)【要約】 【課題】 モーションと空間的な相関度を用いる飛越し
順次変換装置及びその方法を提供する。 【解決手段】 飛越し順次変換装置は、入力される飛越
し映像信号を空間的に補間して空間補間された信号を出
力する空間補間器110と、入力される飛越し映像信号
を時間的に補間して時間補間された信号を出力する時間
補間器120と、入力される飛越し映像信号に対してモ
ーション相関度、垂直相関度、及び時間−垂直相関度を
検出するモーション−空間相関器130と、モーション
相関度、垂直相関度、及び時間−垂直相関度を所定の定
数と比べて、その比較結果に応じて空間補間された信号
と時間補間された信号のうち一つを選択する選択器14
0とを有する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は飛越し映像を順次映
像に変換する装置及びその方法に係り、特にモーション
と空間的な相関度に基づいて空間的に補間したり、時間
的に補間する飛越し順次変換装置及びその方法に関す
る。
【0002】
【従来の技術】一般に、飛越し順次変換(Interlaced-t
o-Progressive Conversion:IPC)装置は、NTS
C、PAL、SECAMなどのシステムにおける飛越し
走査による多数のアーティファクト、すなわち、垂直解
像度の低下、走査線のフリッカ現象、広い領域のフリッ
カ現象を減らすための方法に多用している。
【0003】高解像度のTV(HDTV)システムは各
種の標準信号フォーマットを採用しており、各種の形態
の入/出力標準信号間の変換を頻繁に必要とするので、
最近飛越し順次変換装置は一層重要になった。初期の飛
越し順次変換アルゴリズムは、NTSC、PAL、SE
CAMなどのシステムのために開発された。その後に提
案された各種のアルゴリズムは、飛越し走査時に除かれ
たラインを補間により再生するということに共通に基づ
く。
【0004】このようなアーティファクトを低減するた
めに提案されたアルゴリズムとして、単純なるライン重
なり、垂直フィルタリング、垂直エッジ制御に応じる補
間法は、文献〔1〕に開示されている: 〔1〕D. I. C.Hentschei,“Comparsion Between Med
ian Filtering and Vertical Edge Controlled Interpo
lator for Flicker Reduction,” IEEE Trans.on Con
sumer Electronics,vol.35,no.3,pp.279-289,Augus
t 1989。
【0005】エッジ方向による補間法は文献〔2〕に開
示されている: 〔2〕D. Bagni,R.Lancini,S.Landi and S.Tubaro,
“HD-TV Spatio-temporal Upconversion,” Proc. of
the Int. Workshop on HDTV,1994。
【0006】加重されたメジアン(median)フィルター
に基づく高速の非線形的な補間法は文献〔3〕に開示さ
れている: 〔3〕J.Juhola,A.Nieminen,J.Salo and Y.Neuvo,
“Scan Rate ConversionUsing Weighted Median Filter
ing,” Proc.IEEE ISCAS-89,Portland,USA, May 1
989, pp. 433-436 。
【0007】FIRメジアンハイブリッドフィルターに
基づくアルゴリズムは文献〔4〕に開示されている: 〔4〕A.Lehtonen and M.Renfors,“Non-linear Quinc
unx Interpolation Filtering,” Proc.SPIE's Visua
l Communication and Image Processing,Lausanne,Sw
izerland,Oct 1990,pp. 132-135 。
【0008】相補的なメジアンフィルターに基づくアル
ゴリズムは文献〔5〕に開示されている: 〔5〕H.Blume,L.Schwoerer and K.Zygis,“Subband
Based Upconversion Using Complementary Median Filt
er,” Proc. of the Int. Workshop on HDTV, 1994。
【0009】方向によるメジアンフィルタリングに基づ
くアルゴリズムは文献〔6〕に開示されている: 〔6〕T.Doyle,“Interlaced to Sequential Conversi
on for EDTVApplications,” pp.421-430,Signal Pro
cessing of HDTV,L. Chiariglione Ed,. Elsevier Sc
ience Publishers,North Holand,1988 。
【0010】垂直−時間軸のメジアンフィルターに基づ
くアルゴリズムは文献〔7〕及び文献〔8〕に開示され
ている: 〔7〕P. Frencken,“Two Integrated ProgressiveSca
n Converters,” IEEE Trans on Consumer Electronic
s,vol.32,no.3,pp.237-240,1986、 〔8〕T.Doyle and P.Frencken,“Median Filtering o
f Television Images,” IEEE Digest of Technical P
apers,pp.186-187, 1986。
【0011】動き適応方式は文献
〔9〕及び文献〔1
0〕に開示されている:
〔9〕N.Suzuki and et al,“Improved Synthetic Mot
ion Signal For Perfect Motion-Adaptive Pro-Scan Co
nversion in IDTV Receivers,” IEEE Trans.on Consu
mer Electronics,vol.33,no.3,pp.266-271,August
1989、 〔10〕C.P.Markhauser,“Motion Adaptive Pro-Scan
Converter with TwoDimensional Contour Enhnacemen
t,” IEEE Trans. on Consumer Electronics, vol.3
6,no.2,pp. 110-114,May 1990。
【0012】一方、飛越し順次変換方法は、空間補間方
法、時間補間方法、空間補間及び時間補間を考慮する3
次元の補間方法に大別される。3次元の補間方法では、
モーションの検出及び検出されたモーションに基づいて
時間補間を適宜に適用しなければならない。なぜなら、
適正でない時間補間は引き裂けアーティファクト(tear
ing-artifact)のような画質劣化現象を発生させる恐れ
もあるからである。これは、時間サンプリングレートが
実際の映像信号ではナイキストレートより小さいため、
理論的に判断可能な最大の時間周波数は限定しているこ
とによる。しかしながら、このような限定は、本発明の
提案のように、サンプルの空間的な情報をモーション情
報と共に用いることにより、モーションに対する情報の
信頼性を高める。
【0013】
【発明が解決しようとする課題】したがって、本発明の
目的は、モーション信号と空間的な相関度に基づき飛越
し映像信号を空間補間と時間補間を行うことにより、順
次映像信号に変換する飛越し順次変換装置を提供するこ
とにある。本発明の他の目的は、モーション信号と空間
的な相関度に基づき空間補間された映像信号または時間
補間された映像信号を選択出力する3次元の飛越し順次
変換方法を提供することにある。
【0014】
【課題を解決するための手段】前記の目的を達成するた
めに本発明による飛越し順次変換装置は、入力される飛
越し映像信号を順次映像信号に変換する飛越し順次変換
装置において、前記入力される飛越し映像信号を空間的
に補間して空間補間された信号を出力する空間補間手段
と、前記入力される飛越し映像信号を時間的に補間して
時間補間された信号を出力する時間補間手段と、前記入
力される飛越し映像信号を入力して直前のフィールドの
所定数のサンプルデータと次のフィールドの所定数のサ
ンプルデータを用いてモーション相関度、垂直相関度、
及び時間−垂直相関度を検出するモーション−空間相関
手段と、前記検出されたモーション相関度、垂直相関
度、及び時間−垂直相関度を所定の定数と比べて、その
比較結果に応じて前記空間補間された信号と前記時間補
間された信号のうち一つを選択する選択手段とを含むこ
とを特徴とする。前記他の目的を達成するために本発明
による飛越し順次変換方法は、入力される飛越し映像信
号を順次映像信号に変換する飛越し順次変換方法におい
て、(a)前記入力される飛越し映像信号を空間的に補
間して空間補間された信号を出力する段階と、(b)前
記入力される飛越し映像信号を時間的に補間して時間補
間された信号を出力する段階と、(c)前記入力される
飛越し映像信号に対してモーション相関度、垂直相関
度、及び時間−垂直相関度を検出する段階と、(d)前
記検出されたモーション相関度が所定の第1定数以上で
あれば、前記空間補間された信号を選択する段階と、
(e)前記モーション相関度が前記第1定数より小さ
く、前記検出された垂直相関度が所定の第2定数以上で
あれば、時間補間された信号を選択する段階と、(f)
前記モーション相関度が前記第1定数より小さく、前記
垂直相関度が第2定数より小さいとき、前記検出された
時間−垂直相関度が所定の第3定数以上であれば、前記
空間補間された信号を選択する段階と、(g)前記モー
ション相関度が前記第1定数より小さく、前記垂直相関
度が第2定数より小さいとき、前記時間−垂直相関度が
所定の第3定数より小さければ、前記時間補間された信
号を選択する段階とを含むことを特徴とする。
【0015】
【発明の実施の形態】以下、添付した図面に基づき本発
明の実施の形態を詳しく説明する。図1は本発明による
飛越し順次変換装置の一実施例によるブロック図であ
る。本発明による飛越し順次変換装置は、入力される飛
越し映像信号Vinを所定のアルゴリズムにより空間的
に補間する空間補間器110と、入力される飛越し映像
信号Vinを所定のアルゴリズムにより時間的に補間す
る時間補間器120と、入力される飛越し映像信号Vi
nに対してモーション相関度DM、垂直方向への相関度
(以下、“垂直相関度”と略称する)DV、時間補間と
垂直補間との相関度(以下、“時間−垂直相関度”と略
称する)DTを検出するモーション−空間相関器130
と、前記モーション−空間相関器130から出力される
モーション相関度DM、垂直相関度DV、及び時間−垂
直相関度DTを所定の定数TM,T1,T2とそれぞれ
比べて、その比較結果に応じて空間補間器110の出力
信号Isまたは時間補間器120の出力信号Itを選択
して補間された信号Voutを出力する選択器140と
から構成される。
【0016】次に、図1に示した装置の動作を説明す
る。図1において、入力される飛越し映像信号Vinは
空間補間器110、時間補間器120及びモーション−
空間補間器130に印加される。本発明は空間補間され
た順次映像信号(以下、“空間補間された信号”と略称
する)と時間補間された順次映像信号(以下、“時間補
間された信号”と略称する)が与えられたとき、モーシ
ョン情報と空間情報とに基づいて空間補間された信号ま
たは時間補間された信号をスイッチング出力するので、
本発明は空間補間器110と時間補間器120に用いら
れる空間補間アルゴリズムと時間補間アルゴリズムには
係わらない。
【0017】モーション−空間相関器130は、飛越し
映像信号Vinを入力してモーション相関度DM、垂直
相関度DV、及び時間−垂直相関度DTを検出する。モ
ーション−空間相関器130の詳細構成と動作は図2を
参照して説明する。選択器140は、モーション相関度
DMと所定の定数TMとを比べ、垂直相関度DVと所定
の定数T1とを比べ、かつ、時間−垂直相関度DTと所
定の情報T2とを比べて、その比較結果に応じて空間補
間器110の出力信号Isまたは時間補間器120の出
力信号Itを選択して補間された信号Voutを出力す
る。選択器140の詳細説明は図4を参照して後述す
る。
【0018】図2は図1に示したモーション−空間相関
器の詳細ブロック図である。サンプルディレイ201,
203,204,206、及びラインディレイ202,
205は第1サンプル検出部を構成し、サンプルw1〜
w5を検出する。フィールドメモリ210、サンプルデ
ィレイ211,213、及びラインディレイ212は第
2サンプル検出部を構成し、サンプルx1,x2を検出
する。フィールドメモリ220、サンプルディレイ22
1,223,224,226、及びラインディレイ22
2,225は第1サンプル検出部を構成し、サンプルv
1〜v5を検出する。
【0019】モーション相関器230はサンプルv1〜
v5,w1〜w5を入力してモーション相関度DMを計
算して出力する。減算器241及び絶対値回路242は
サンプルx1,x2を入力して垂直相関度DVを計算し
て出力する。加算器251,252、減算器253、及
び絶対値回路254はサンプルx1,x2,v3,w3
を入力して時間−垂直相関度DTを計算して出力する。
【0020】図2に示したサンプル間の幾何学的な関係
を図3に示す。まず、図3において、“x”は補間によ
り復元しようとするサンプル(以下、“現在の補間サン
プル”と称する)の位置を示す。“x1”は現在の補間
サンプルの位置に対応する直前のラインのサンプルを示
す。かつ、“x2”は現在の補間サンプルの位置に対応
する次のラインのサンプルを示す。
【0021】“v3”は現在の補間サンプルの位置に対
応する直前のフィールドのサンプルである。“v2”は
“v3”サンプルの直前のサンプルであり、“v4”は
“v3”サンプルの次のサンプルである。かつ、“v
1”は“v3”サンプルの位置に対応する直前のライン
のサンプルであり、“v5”は“v3”サンプルの位置
に対応する次のラインのサンプルである。ここで、“v
3”は第1サンプルとすることができる。
【0022】さらに、“w3”は現在の補間サンプルの
位置に対応する次のフィールドのサンプルである。“w
2”は“w3”サンプルの直前のサンプルであり、“w
4”は“w3”サンプルの次のサンプルである。かつ、
“w1”は“w3”サンプルの位置に対応する直前のラ
インのサンプルであり、“w5”は“w3”サンプルの
位置に対応する次のラインのサンプルである。ここで、
“w3”は第2サンプルとすることができる。そして、
入力信号が飛越し映像信号であるため、現在のフィール
ドが奇数(偶数)フィールドであれば、直前のフィール
ドと次のフィールドは偶数(奇数)である。
【0023】なお、図2に示した装置の動作を図3を参
照して説明する。図2において、飛越し映像信号Vin
は、フィールドメモリ210、サンプルディレイ20
1、及びラインディレイ202に入力される。フィール
ドメモリ210は1フィールド分の入力映像信号Vin
を貯蔵し、1フィールド周期ほど遅延された映像信号を
出力する。フィールドメモリ220はフィールドメモリ
210から遅延された映像信号を入力し、1フィールド
ほど遅延された映像信号を貯蔵し、1フィールド周期ほ
どさらに遅延されて入力信号に比べて2フィールド周期
ほど遅延された信号を出力する。前記フィールドメモリ
210,220は先入先出メモリで構成されうる。
【0024】サンプルディレイ201は入力映像信号V
inを入力して、図3に示した次のフィールドのサンプ
ルw5を出力する。ラインディレイ202は入力信号V
inを入力して1水平ライン周期ほど遅延させ、前記サ
ンプルディレイ201がサンプルw5を出力するとき、
w4サンプルを出力する。サンプルディレイ203はラ
インディレイ202の出力信号を1サンプル周期ほど遅
延してサンプルw3を出力する。サンプルディレイ20
4はサンプルディレイ203の出力信号を1サンプル周
期ほど遅延してサンプルw2を出力する。ラインディレ
イ205はラインディレイ202の出力信号を1水平ラ
イン周期ほど遅延させる。サンプルディレイ206はラ
インディレイ205の出力信号を1サンプル周期ほど遅
延してサンプルw1を出力する。
【0025】一方、サンプルディレイ211はフィール
ドメモリ210により1フィールド周期ほど遅延された
信号を1サンプル周期ほどさらに遅延させ、サンプルx
2を出力する。ラインディレイ212はフィールドメモ
リ210により出力された信号を1水平ライン周期ほど
さらに遅延させる。サンプルディレイ213はラインデ
ィレイ212の出力信号を1サンプル周期ほど遅延さ
せ、サンプルx1を出力する。
【0026】サンプルディレイ221はフィールドメモ
リ220により出力される2フィールド周期が遅延され
た信号を1サンプル周期ほどさらに遅延させ、サンプル
v5を出力する。ラインディレイ222はフィールドメ
モリ220により出力された信号を1水平ライン周期ほ
どさらに遅延させ、v4サンプルを出力する。サンプル
ディレイ223はラインディレイ222の出力信号を1
サンプル周期ほど遅延してサンプルv3を出力し、サン
プルディレイ224はサンプルディレイ223の出力信
号を1サンプル周期ほど遅延してサンプルv2を出力す
る。ラインディレイ225はラインディレイ222の出
力信号を1水平ライン周期ほど遅延させる。サンプルデ
ィレイ226はラインディレイ225の出力信号を1サ
ンプル周期ほど遅延してサンプルv1を出力する。
【0027】モーション相関器230は、直前のフィー
ルドのサンプルv1〜v5と次のフィールドのサンプル
w1〜w5を入力してモーション相関度DMを計算す
る。この際、モーション相関度230の出力信号DMは
数1のように表される。
【0028】
【数1】
【0029】ここで、aiは所定の係数である。モーシ
ョン相関度DMは現在の補間により復元しようとするサ
ンプルの位置(幾何学的にx1とx2の中心、図3の
x)を中心にしてモーションが発生したかを評価する尺
度とする。減算器241はサンプルディレイ211から
出力される現在のフィールドのx1のサンプルデータか
らサンプルディレイ213から出力される現在のフィー
ルドのx2のサンプルデータを減算してその減算結果を
出力する。その後、絶対値回路242は前記減算された
値の絶対値を計算して垂直相関度DVとして出力する。
したがって、垂直相関度DVは数2のように表すことが
できる。
【0030】
【数2】
【0031】加算器251はv3のサンプルデータとw
3のサンプルデータを加算する。かつ、加算器252は
x1のサンプルデータとx2のサンプルデータを加算す
る。減算器253は加算器251から出力される和信号
から、加算器252から出力される和信号を減算してそ
の減算結果を絶対値回路254で絶対値を計算すると、
時間−垂直相関度DTとなる。
【0032】
【数3】
【0033】モーション相関器230から出力されるモ
ーション相関度DM、絶対値回路242から出力される
垂直相関度DV、絶対値回路254から出力される時間
−垂直相関度DTは、図1に示した選択器140に入力
される。
【0034】選択器140の動作を図4に示した流れ図
を参照して説明する。図4において、選択器140はモ
ーション相関度DMを定数TMと比べて(ステップS1
01)、モーション相関度DMが定数値TM以上であれ
ば、モーションが発生するので、空間補間器110から
出力された空間補間信号Isを選択出力する(ステップ
102)。
【0035】選択器140は、モーション相関度DMが
モーション定数TMより小さければ、垂直相関度DVと
定数T1を比べて(ステップS103)、垂直相関度D
Vが定数T1値以上のときは、時間補間器120から出
力された時間補間された信号Itを選択出力する(ステ
ップS104)。
【0036】ここで、モーション相関度DMが定数TM
値より小さいとき、先ず垂直相関度DVを定数T1と比
べることは、時間補間により発生されうるアーティファ
クトが垂直相関度DVの大きさに応じて視覚的に別様に
感知されるからである。垂直相関度DVが定数T1値以
上であれば、垂直方向への相関性が小さいため、適正で
ない時間補間によるアーティファクトは視覚的に容易に
感知されない。したがって、DM<TMであり、DV≧
T1のときは、時間補間器120の出力信号Itを選択
器140により選択出力する(ステップS103)。
【0037】しかしながら、DM<TMであり、DV<
T1のときは、適正でない時間補間によるアーティファ
クトが視覚的に容易に感知できる。したがって、選択器
140は時間的補間と垂直補間との相関度を示す時間−
垂直相関度DTに応じて空間補間器110の出力信号I
sまたは時間補間器120の出力信号Itを選択出力す
る。
【0038】すなわち、選択器140は、モーション相
関度DMが定数TM値より小さく、垂直相関度DVが定
数T1値より小さいとき、時間−垂直相関度DTを定数
T2と比べる(ステップS105)。時間−垂直相関度
DTが定数T2値以上であれば、時間補間と垂直補間と
の相関度が小さいため、アーティファクトによる影響を
減らすため、空間補間器110の出力信号Isを選択出
力する(ステップS106)。一方、時間−垂直相関度
DTが定数T2値より小さければ、時間補間と垂直補間
との相関度が大きいため、時間補間器120の出力信号
Itを選択出力する(ステップS107)。
【0039】
【発明の効果】上述したように、本発明による飛越し順
次変換装置及びその方法は、モーションと空間相関度を
共に用いて飛越し映像信号を時間的に補間したり、空間
的に補間することにより、モーションに対する情報の信
頼性を高め、アーティファクトを効率よく減らすことが
できる。
【図面の簡単な説明】
【図1】 本発明による飛越し順次変換装置の一実施例
によるブロック図である。
【図2】 図1に示したモーション−空間相関器の詳細
ブロック図である。
【図3】 空間または時間補間された信号をスイッチン
グするために用いられたサンプルの幾何学的な関係を説
明するための図面である。
【図4】 図1に示した選択器でモーション−空間相関
器の出力信号に応じて空間補間された信号または時間補
間された信号をスイッチングする方法のための流れ図で
ある。
【符号の説明】
110 空間補間器 120 時間補間器 130 モーション−空間相関器 140 選択器 210,220 フィールドメモリ 202,205,212,222,225
ラインディレイ 201,203,204,206,211,213,2
21,223,224,226 サ
ンプルディレイ 230 モーション相関器 241,253 減算器 251,252 加算器 242,254 絶対値回路

Claims (14)

    【特許請求の範囲】
  1. 【請求項1】 入力される飛越し映像信号を順次映像信
    号に変換する飛越し順次変換装置において、 前記入力される飛越し映像信号を空間的に補間して空間
    補間された信号を出力する空間補間手段と、 前記入力される飛越し映像信号を時間的に補間して時間
    補間された信号を出力する時間補間手段と、 前記入力される飛越し映像信号を入力して直前のフィー
    ルドの所定数のサンプルデータと次のフィールドの所定
    数のサンプルデータを用いてモーション相関度、垂直相
    関度及び時間−垂直相関度を検出するモーション−空間
    相関手段と、 前記検出されたモーション相関度、垂直相関度、及び時
    間−垂直相関度を所定の定数と比べて、その比較結果に
    応じて前記空間補間された信号と前記時間補間された信
    号のうち一つを選択する選択手段とを含むことを特徴と
    する飛越し順次変換装置。
  2. 【請求項2】 前記モーション−空間相関手段は、 現在の補間サンプルの位置に対応する直前のフィールド
    の第1サンプル、前記第1サンプルを中心とする上下左
    右のサンプルを含む第1サンプル群と、現在の補間サン
    プルの位置に対応する次のフィールドの第2サンプル、
    前記第2サンプルを中心とする上下左右のサンプルを含
    む第2サンプル群とのモーション相関度を検出する第1
    検出手段と、 前記現在の補間サンプルの位置に対応する直前のライン
    のサンプルと次のラインのサンプルとの差を計算するこ
    とにより、垂直相関度を検出する第2検出手段と、 前記第1サンプルと第2サンプルの和と前記現在の補間
    サンプルの直前のラインのサンプルと次のラインのサン
    プルの和との差を計算することにより、時間−垂直相関
    度を検出する第3検出手段とを含むことを特徴とする請
    求項1記載の飛越し順次変換装置。
  3. 【請求項3】 前記第2検出手段は、 現在の補間サンプルの位置に対応する直前のラインのサ
    ンプルから次のラインのサンプルを減算して第1減算結
    果を出力する第1減算器と、 前記第1減算結果の絶対値を計算する第1絶対値回路と
    を含むことを特徴とする請求項2記載の飛越し順次変換
    装置。
  4. 【請求項4】 前記第3検出手段は、 前記第1サンプルと前記第2サンプルを加算する第1加
    算器と、 現在の補間サンプルの位置に対応する現在のフィールド
    の以前のラインのサンプルと次のラインのサンプルを加
    算する第2加算器と、 前記第1加算器の出力から前記第2加算器の出力を減算
    して第2減算結果を出力する第2減算器と、 前記第2減算結果の絶対値を計算する第2絶対値回路と
    を含むことを特徴とする請求項2記載の飛越し順次変換
    装置。
  5. 【請求項5】 前記第1サンプル群を検出するための第
    1サンプル検出手段と、 現在の補間サンプルに対応する現在のフィールドの以前
    のラインのサンプルと次のラインのサンプルを検出する
    ための第2サンプル検出手段と、 前記第2サンプル群を検出するための第3サンプル検出
    手段とをさらに含むことを特徴とする請求項2記載の飛
    越し順次変換装置。
  6. 【請求項6】 前記第1サンプル検出手段は、 前記飛越し映像信号を入力して1サンプル周期ほど遅延
    させる第1サンプルディレイと、 前記飛越し映像信号を入力して1水平ライン周期ほど遅
    延させる第1ラインディレイと、 前記第1ラインディレイの出力を入力して1サンプル周
    期ほど遅延させる第2サンプルディレイと、 前記第2サンプルディレイの出力を入力して1サンプル
    周期ほど遅延させる第3サンプルディレイと、 前記第1ラインディレイの出力を入力して1水平ライン
    周期ほど遅延させる第2ラインディレイと、 前記第2ラインディレイの出力を入力して1サンプル周
    期ほど遅延させる第4サンプルディレイとを含むことを
    特徴とする請求項5記載の飛越し順次変換装置。
  7. 【請求項7】 前記第2サンプル検出手段は、 前記飛越し映像信号を入力して1フィールド周期ほど遅
    延させる第1フィールドメモリと、 前記第1フィールドメモリの出力を入力して1サンプル
    周期ほど遅延させる第5サンプルディレイと、 前記第1フィールドメモリの出力を入力して1水平ライ
    ン周期ほど遅延させる第3ラインディレイと、 前記第3ラインディレイの出力を入力して1サンプル周
    期ほど遅延させる第6サンプルディレイとを含むことを
    特徴とする請求項5記載の飛越し順次変換装置。
  8. 【請求項8】 前記第3サンプル検出手段は、 前記第1フィールドメモリの出力を入力して1フィール
    ド周期ほど遅延させる第2フィールドメモリと、 前記第2フィールドメモリの出力を入力して1サンプル
    周期ほど遅延させる第7サンプルディレイと、 前記第2フィールドメモリの出力を入力して1水平ライ
    ン周期ほど遅延させる第4ラインディレイと、 前記第4ラインディレイの出力を入力して1サンプル周
    期ほど遅延させる第8サンプルディレイと、 前記第8サンプルディレイの出力を入力して1サンプル
    周期ほど遅延させる第9サンプルディレイと、 前記第4ラインディレイの出力を入力して1水平ライン
    周期ほど遅延させる第5ラインディレイと、 前記第5ラインディレイの出力を入力して1サンプル周
    期ほど遅延させる第10サンプルディレイとを含むこと
    を特徴とする請求項5記載の飛越し順次変換装置。
  9. 【請求項9】 前記選択手段は、前記モーション相関度
    が所定の第1定数以上であれば、前記空間補間された信
    号を選択出力することを特徴とする請求項1記載の飛越
    し順次変換装置。
  10. 【請求項10】 前記選択手段は、前記モーション相関
    度が前記第1定数より小さく、前記垂直相関度が第2定
    数より大きいとき、前記時間補間された信号を選択出力
    することを特徴とする請求項1記載の飛越し順次変換装
    置。
  11. 【請求項11】 前記選択手段は、前記モーション相関
    度が前記第1定数より小さく、前記垂直相関度が第2定
    数より小さいとき、前記時間−垂直相関度が所定の第3
    定数以上であれば、前記空間補間された信号を選択出力
    することを特徴とする請求項1記載の飛越し順次変換装
    置。
  12. 【請求項12】 前記選択手段は、前記モーション相関
    度が前記第1定数より小さく、前記垂直相関度が第2定
    数より小さいとき、前記時間−垂直相関度が所定の第3
    定数より小さければ、前記時間補間された信号を選択出
    力することを特徴とする請求項1記載の飛越し順次変換
    装置。
  13. 【請求項13】 入力される飛越し映像信号を順次映像
    信号に変換する飛越し順次変換方法において、 (a)前記入力される飛越し映像信号を空間的に補間し
    て空間補間された信号を出力する段階と、 (b)前記入力される飛越し映像信号を時間的に補間し
    て時間補間された信号を出力する段階と、 (c)前記入力される飛越し映像信号に対してモーショ
    ン相関度、垂直相関度及び時間−垂直相関度を検出する
    段階と、 (d)前記検出されたモーション相関度が所定の第1定
    数以上であれば、前記空間補間された信号を選択する段
    階と、 (e)前記モーション相関度が前記第1定数より小さ
    く、前記検出された垂直相関度が所定の第2定数以上で
    あれば、時間補間された信号を選択する段階と、 (f)前記モーション相関度が前記第1定数より小さ
    く、前記垂直相関度が第2定数より小さいとき、前記検
    出された時間−垂直相関度が所定の第3定数以上であれ
    ば、前記空間補間された信号を選択する段階と、 (g)前記モーション相関度が前記第1定数より小さ
    く、前記垂直相関度が第2定数より小さいとき、前記時
    間−垂直相関度が所定の第3定数より小さければ、前記
    時間補間された信号を選択する段階とを含むことを特徴
    とする飛越し順次変換方法。
  14. 【請求項14】 前記(c)段階は、 (c1)前記飛越し映像信号の現在の補間サンプルの位
    置に対応する直前のフィールドの第1サンプル、前記第
    1サンプルを中心とする上下左右のサンプルを含む第1
    サンプル群と、現在の補間サンプルの位置に対応する次
    のフィールドの第2サンプル、前記第2サンプルを中心
    とする上下左右のサンプルを含む第2サンプル群とのモ
    ーション相関度を検出する段階と、 (c2)前記現在の補間サンプルの位置に対応する直前
    のラインのサンプルと次のラインのサンプルとの差を計
    算することにより、垂直相関度を検出する段階と、 (c3)前記第1サンプルと第2サンプルの和と前記現
    在の補間サンプルの直前のラインのサンプルと次のライ
    ンのサンプルの和との差を計算することにより、時間−
    垂直相関度を検出する段階とを含むことを特徴とする請
    求項13記載の飛越し順次変換方法。
JP01174597A 1996-01-27 1997-01-24 モーションと空間的な相関度を用いる飛越し順次変換装置及びその方法 Expired - Fee Related JP3249060B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR19961795 1996-01-27
KR1019960001795A KR0176568B1 (ko) 1996-01-27 1996-01-27 모션과 공간적인 상관도를 이용한 비월순차 변환장치 및 그 방법

Publications (2)

Publication Number Publication Date
JPH09214901A true JPH09214901A (ja) 1997-08-15
JP3249060B2 JP3249060B2 (ja) 2002-01-21

Family

ID=19450195

Family Applications (1)

Application Number Title Priority Date Filing Date
JP01174597A Expired - Fee Related JP3249060B2 (ja) 1996-01-27 1997-01-24 モーションと空間的な相関度を用いる飛越し順次変換装置及びその方法

Country Status (3)

Country Link
US (1) US5943099A (ja)
JP (1) JP3249060B2 (ja)
KR (1) KR0176568B1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000021292A1 (en) * 1998-10-02 2000-04-13 Sony Corporation Movement deciding device and method
EP1039746A3 (en) * 1999-03-24 2001-12-12 Pioneer Corporation Line interpolation method and apparatus
JP2008526133A (ja) * 2004-12-27 2008-07-17 インテル・コーポレーション 時空間適応性ビデオデインターレーシング
WO2009005121A1 (ja) * 2007-07-03 2009-01-08 Nec Corporation インターレース-プログレッシブ変換方法、及びその装置と、プログラム

Families Citing this family (84)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2311183A (en) * 1996-03-13 1997-09-17 Innovision Plc Gradient based motion estimation
KR100235988B1 (ko) * 1997-11-12 1999-12-15 구자홍 디티브이 영상 포맷 변환장치 및 그 방법
EP0946055B1 (en) * 1998-03-09 2006-09-06 Sony Deutschland GmbH Method and system for interpolation of digital signals
JP3820026B2 (ja) * 1998-03-09 2006-09-13 パイオニア株式会社 走査線補間方法
US6160586A (en) * 1998-09-30 2000-12-12 Vtel Corporation Digital video processing using a dynamically varying number of video fields
US6239842B1 (en) * 1998-12-18 2001-05-29 Oplus Technologies Ltd. Method of de-interlacing video signals using a mixed mode spatial and temporal approximation technique
US6188437B1 (en) * 1998-12-23 2001-02-13 Ati International Srl Deinterlacing technique
US6630961B1 (en) * 1999-06-30 2003-10-07 Lg Electronics Inc. Deinterlacing device and method
KR100303728B1 (ko) * 1999-07-29 2001-09-29 구자홍 격행주사 영상의 디인터레이싱 방법
KR100631496B1 (ko) * 2000-01-12 2006-10-09 엘지전자 주식회사 디인터레이싱 장치
US6680752B1 (en) 2000-03-31 2004-01-20 Ati International Srl Method and apparatus for deinterlacing video
US6970206B1 (en) 2000-04-20 2005-11-29 Ati International Srl Method for deinterlacing interlaced video by a graphics processor
EP1511311B1 (en) * 2003-08-26 2007-04-04 STMicroelectronics S.r.l. Method and system for de-interlacing digital images, and computer program product therefor
US7663695B2 (en) 2000-05-05 2010-02-16 Stmicroelectronics S.R.L. Method and system for de-interlacing digital images, and computer program product therefor
US6414719B1 (en) * 2000-05-26 2002-07-02 Sarnoff Corporation Motion adaptive median filter for interlace to progressive scan conversion
JP4239380B2 (ja) * 2000-08-18 2009-03-18 ソニー株式会社 画像信号処理装置
CA2317870A1 (en) 2000-09-08 2002-03-08 Jaldi Semiconductor Corp. A system and method for scaling images
CA2344615A1 (en) 2000-09-08 2002-03-08 Jaldi Semiconductor Corp. A method and apparatus for motion adaptive deinterlacing
US6760376B1 (en) * 2000-11-06 2004-07-06 Koninklijke Philips Electronics N.V. Motion compensated upconversion for video scan rate conversion
US6839094B2 (en) * 2000-12-14 2005-01-04 Rgb Systems, Inc. Method and apparatus for eliminating motion artifacts from video
US6822691B1 (en) 2000-12-20 2004-11-23 Samsung Electronics Co., Ltd. Method of detecting motion in an interlaced video sequence utilizing region by region motion information and apparatus for motion detection
US7095445B2 (en) * 2000-12-20 2006-08-22 Samsung Electronics Co., Ltd. Method of detecting motion in an interlaced video sequence based on logical operation on linearly scaled motion information and motion detection apparatus
KR100360893B1 (ko) * 2001-02-01 2002-11-13 엘지전자 주식회사 영상 움직임 보상 장치 및 방법
KR100750108B1 (ko) * 2001-03-02 2007-08-17 삼성전자주식회사 비월 비디오 시퀀스에서 반복적 움직임을 검출하기 위한방법 및 장치와 비월 비디오 신호 처리를 위한 장치
KR100422575B1 (ko) * 2001-07-26 2004-03-12 주식회사 하이닉스반도체 디인터레이싱을 위한 공간축/시간축 보간 시스템 및 방법
US6933983B2 (en) * 2001-09-10 2005-08-23 Jaldi Semiconductor Corp. System and method for reducing noise in images
US6847405B2 (en) * 2001-09-14 2005-01-25 Sony Corporation Motion-adaptive de-interlacing method and system for digital televisions
US7110612B1 (en) 2001-10-11 2006-09-19 Pixelworks, Inc. Weighted absolute difference based noise reduction method and apparatus
US6992725B2 (en) * 2001-10-22 2006-01-31 Nec Electronics America, Inc. Video data de-interlacing using perceptually-tuned interpolation scheme
US7423691B2 (en) * 2001-11-19 2008-09-09 Matsushita Electric Industrial Co., Ltd. Method of low latency interlace to progressive video format conversion
US7245326B2 (en) * 2001-11-19 2007-07-17 Matsushita Electric Industrial Co. Ltd. Method of edge based interpolation
KR100939156B1 (ko) * 2001-11-23 2010-01-28 엔엑스피 비 브이 하나의 패스로 다중 출력 이미지들을 제공하기 위한 신호 처리 장치 및 tv 장치
US7154556B1 (en) * 2002-03-21 2006-12-26 Pixelworks, Inc. Weighted absolute difference based deinterlace method and apparatus
JP3898546B2 (ja) * 2002-03-27 2007-03-28 株式会社東芝 画像走査変換方法及び装置
KR100913890B1 (ko) * 2002-04-17 2009-09-02 오리온피디피주식회사 움직임 적응 시공간 디인터레이싱 방법
US6678003B2 (en) 2002-05-21 2004-01-13 Alcon, Inc. Image deinterlacing system for removing motion artifacts and associated methods
KR100902315B1 (ko) * 2002-07-25 2009-06-12 삼성전자주식회사 디인터레이싱장치 및 방법
KR20040009967A (ko) * 2002-07-26 2004-01-31 삼성전자주식회사 디인터레이싱장치 및 방법
KR20040061244A (ko) * 2002-12-30 2004-07-07 삼성전자주식회사 디-인터레이싱 방법 및 그 장치
FR2851398A1 (fr) * 2003-02-19 2004-08-20 St Microelectronics Sa Procede et dispositif de de-entrelacement par analyse de pixels
JP4261970B2 (ja) * 2003-04-24 2009-05-13 キヤノン株式会社 映像情報処理装置及び映像情報処理方法
DE10318620A1 (de) * 2003-04-24 2004-11-25 Micronas Gmbh Verfahren und Vorrichtung zur Ermittlung eines Abstandes zwischen einer ersten und zweiten Signalfolge
GB2402288B (en) * 2003-05-01 2005-12-28 Imagination Tech Ltd De-Interlacing of video data
JP4217543B2 (ja) * 2003-06-05 2009-02-04 キヤノン株式会社 動き情報処理装置及び方法
KR100574943B1 (ko) * 2003-06-10 2006-05-02 삼성전자주식회사 영상 변환 방법 및 장치
KR100580172B1 (ko) * 2003-06-27 2006-05-16 삼성전자주식회사 디-인터레이싱 방법, 그 장치, 그 비디오 디코더 및 그재생 장치
US7432979B2 (en) * 2003-09-03 2008-10-07 Sony Corporation Interlaced to progressive scan image conversion
DE602004004672T2 (de) * 2003-09-04 2007-11-15 Koninklijke Philips Electronics N.V. Robuste entschachtelung von videosignalen
US7362376B2 (en) * 2003-12-23 2008-04-22 Lsi Logic Corporation Method and apparatus for video deinterlacing and format conversion
US9292904B2 (en) * 2004-01-16 2016-03-22 Nvidia Corporation Video image processing with parallel processing
US7760968B2 (en) * 2004-01-16 2010-07-20 Nvidia Corporation Video image processing with processing time allocation
US7653265B2 (en) * 2004-01-16 2010-01-26 Nvidia Corporation Video image processing with utility processing stage
US7308159B2 (en) * 2004-01-16 2007-12-11 Enuclia Semiconductor, Inc. Image processing system and method with dynamically controlled pixel processing
GB2411784B (en) * 2004-03-02 2006-05-10 Imagination Tech Ltd Motion compensation deinterlacer protection
US20050273657A1 (en) * 2004-04-01 2005-12-08 Hiroshi Ichiki Information processing apparatus and method, and recording medium and program for controlling the same
TWI280798B (en) * 2004-09-22 2007-05-01 Via Tech Inc Apparatus and method of adaptive de-interlace of image
KR100594780B1 (ko) * 2004-10-09 2006-06-30 삼성전자주식회사 영상변환 장치 및 그 방법
US7362378B2 (en) 2005-01-10 2008-04-22 Matsushita Electric Industrial Co., Ltd. Method of edge based pixel location and interpolation
US7853044B2 (en) * 2005-01-13 2010-12-14 Nvidia Corporation Video processing system and method with dynamic tag architecture
US7738740B2 (en) * 2005-01-13 2010-06-15 Nvidia Corporation Video processing system and method with dynamic tag architecture
US7869666B2 (en) 2005-01-13 2011-01-11 Nvidia Corporation Video processing system and method with dynamic tag architecture
US20060152627A1 (en) * 2005-01-13 2006-07-13 Ruggiero Carl J Video processing system and method with dynamic tag architecture
US7542095B2 (en) * 2005-01-20 2009-06-02 Samsung Electronics Co., Ltd. Method and system of noise-adaptive motion detection in an interlaced video sequence
US8325273B2 (en) * 2005-06-06 2012-12-04 Broadcom Corporation System and method for vertical gradient detection in video processing
US7982798B2 (en) * 2005-09-08 2011-07-19 Silicon Image, Inc. Edge detection
US7787048B1 (en) * 2005-09-08 2010-08-31 Nvidia Corporation Motion-adaptive video de-interlacer
US7619639B1 (en) * 2005-09-12 2009-11-17 Nvidia Corporation Adaptive scaling using a programmable video engine
US7796191B1 (en) 2005-09-21 2010-09-14 Nvidia Corporation Edge-preserving vertical interpolation
FR2906053A1 (fr) * 2006-09-15 2008-03-21 St Microelectronics Sa Desentrelacement d'images.
US8644379B2 (en) * 2007-03-07 2014-02-04 Himax Technologies Limited De-interlacing method and method of compensating a de-interlaced pixel
US20090046202A1 (en) * 2007-08-17 2009-02-19 Himax Technologies Limited De-interlace method and apparatus
US8300987B2 (en) * 2007-09-28 2012-10-30 Ati Technologies Ulc Apparatus and method for generating a detail-enhanced upscaled image
US8964117B2 (en) 2007-09-28 2015-02-24 Ati Technologies Ulc Single-pass motion adaptive deinterlacer and method therefore
JP5142373B2 (ja) * 2007-11-29 2013-02-13 パナソニック株式会社 再生装置
US8259228B2 (en) * 2007-12-10 2012-09-04 Ati Technologies Ulc Method and apparatus for high quality video motion adaptive edge-directional deinterlacing
US8396129B2 (en) * 2007-12-28 2013-03-12 Ati Technologies Ulc Apparatus and method for single-pass, gradient-based motion compensated image rate conversion
US8497938B2 (en) * 2008-03-21 2013-07-30 Nec Corporation Image processing method, image processing apparatus and image processing program
US20090268088A1 (en) * 2008-04-25 2009-10-29 Hui Zhou Motion adaptive de-interlacer and method for use therewith
CN102138323A (zh) * 2008-09-01 2011-07-27 三菱数字电子美国公司 画面改善系统
US8559746B2 (en) * 2008-09-04 2013-10-15 Silicon Image, Inc. System, method, and apparatus for smoothing of edges in images to remove irregularities
US8670073B2 (en) * 2010-08-02 2014-03-11 Broadcom Corporation Method and system for video noise filtering
US20120038764A1 (en) * 2010-08-16 2012-02-16 Pasco Corporation Spatial information integrated database generating apparatus and computer readable medium storing spatial information integrated database generating program
US8284307B1 (en) * 2010-11-01 2012-10-09 Marseille Networks, Inc. Method for processing digital video fields
US9324131B1 (en) 2013-04-06 2016-04-26 Crucial Ip, Inc. Method and apparatus for motion adaptive deinterlacing with reduced artifacts

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02166889A (ja) * 1988-12-20 1990-06-27 Sony Corp 変換回路
JPH0435485A (ja) * 1990-05-31 1992-02-06 Kokusai Denshin Denwa Co Ltd <Kdd> 動き適応インターレース・ノーインターレース変換方式

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000021292A1 (en) * 1998-10-02 2000-04-13 Sony Corporation Movement deciding device and method
US6418233B1 (en) 1998-10-02 2002-07-09 Sony Corporation Motion determining apparatus and determining method
EP1039746A3 (en) * 1999-03-24 2001-12-12 Pioneer Corporation Line interpolation method and apparatus
US6636267B1 (en) 1999-03-24 2003-10-21 Pioneer Corporation Line interpolation apparatus and line interpolation method
JP2008526133A (ja) * 2004-12-27 2008-07-17 インテル・コーポレーション 時空間適応性ビデオデインターレーシング
WO2009005121A1 (ja) * 2007-07-03 2009-01-08 Nec Corporation インターレース-プログレッシブ変換方法、及びその装置と、プログラム

Also Published As

Publication number Publication date
JP3249060B2 (ja) 2002-01-21
US5943099A (en) 1999-08-24
KR0176568B1 (ko) 1999-05-01
KR970060969A (ko) 1997-08-12

Similar Documents

Publication Publication Date Title
JP3249060B2 (ja) モーションと空間的な相関度を用いる飛越し順次変換装置及びその方法
EP1223748B1 (en) Motion detection in an interlaced video signal
CN1096185C (zh) 使用运动和空间相关的隔行向逐行转换装置和方法
CA2231430C (en) Motion compensated interpolation
EP1158792B1 (en) Filter for deinterlacing a video signal
JP2832927B2 (ja) 走査線補間装置及び走査線補間用動きベクトル検出装置
JP3845456B2 (ja) 動き補正ビデオ信号処理方式
EP1164792A2 (en) Format converter using bidirectional motion vector and method thereof
KR20040009967A (ko) 디인터레이싱장치 및 방법
JP2002057993A (ja) インタレース・プログレッシブ変換装置、インタレース・プログレッシブ変換方法及び記録媒体
US5497203A (en) Motion detection circuit for high definition television based on muse
JPH0662283A (ja) ビデオ信号のノイズ低減システム
JPH1070679A (ja) フィルムモード互換性のためのフレーム補間方法
JP3814326B2 (ja) 映像信号処理回路
JP3546698B2 (ja) 走査線補間回路
GB2312806A (en) Motion compensated video signal interpolation
KR100382650B1 (ko) 비디오신호 처리 시스템에서의 스케일 움직임 정보를이용한 움직임 검출 방법 및 장치와 이를 이용한 데이터보간 방법 및 장치
JP2770300B2 (ja) 画像信号処理処置
JP3172323B2 (ja) 映像信号の方式変換装置
US20060232453A1 (en) Resampling detection apparatus, resampling detection method, resampling apparatus, and resampling method
KR100382651B1 (ko) 비디오신호 처리 시스템에서의 영역별 움직임 판단 정보를이용한 움직임 검출 방법 및 장치와 이를 이용한 데이터보간 방법 및 장치
JP3918759B2 (ja) 画像データの生成装置および生成方法
JP3721941B2 (ja) 走査線補間装置
JP4310847B2 (ja) 画像情報変換装置および変換方法
JP4206827B2 (ja) 映像信号処理装置

Legal Events

Date Code Title Description
A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20010410

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20011002

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071109

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081109

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091109

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101109

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees