JPH09163216A - 高解像度の電子式映像拡大装置及びその方法 - Google Patents
高解像度の電子式映像拡大装置及びその方法Info
- Publication number
- JPH09163216A JPH09163216A JP8066822A JP6682296A JPH09163216A JP H09163216 A JPH09163216 A JP H09163216A JP 8066822 A JP8066822 A JP 8066822A JP 6682296 A JP6682296 A JP 6682296A JP H09163216 A JPH09163216 A JP H09163216A
- Authority
- JP
- Japan
- Prior art keywords
- image
- output
- video
- unit
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
- H04N5/145—Movement estimation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- Editing Of Facsimile Originals (AREA)
- Studio Circuits (AREA)
- Image Processing (AREA)
- Television Systems (AREA)
Abstract
(57)【要約】
【課題】 動画像の入力と同時に正確な画素間の副画素
の動き成分を検出して多数の副画素の映像情報を決定
し、巡回型フィルタによる映像合成で解像度を向上さ
せ、電子式映像拡大での高画質を実現する。 【解決手段】 映像信号から水平・垂直方向に画素単位
の動き成分と副画素単位の動き成分を検出する動き検出
部６１と、その画素単位の水平・垂直動き成分で映像信
号を補正し拡大対象領域を検出する領域検出部６２と、
その検出された映像の標本化周期を空間的に拡大し、前
記副画素単位の水平・垂直動き成分で映像補正する拡大
映像補正部６３と、拡大映像補正部６３による映像に対
する既値の全画素情報を受けて提供される矩形函数を重
畳し、その画素を中心に既値の画素情報を隣接した未値
の画素に拡張する映像補間部６４と、これによる映像及
び１フィールド前に出力された映像を、別の加重値をも
って巡回型フィルタで合成し出力する映像合成部６５
と、映像合成部６５の出力映像を記憶し、次の映像合成
時に映像合成部６５へ帰還する映像メモリ部６６と、を
備えた構成とする。
の動き成分を検出して多数の副画素の映像情報を決定
し、巡回型フィルタによる映像合成で解像度を向上さ
せ、電子式映像拡大での高画質を実現する。 【解決手段】 映像信号から水平・垂直方向に画素単位
の動き成分と副画素単位の動き成分を検出する動き検出
部６１と、その画素単位の水平・垂直動き成分で映像信
号を補正し拡大対象領域を検出する領域検出部６２と、
その検出された映像の標本化周期を空間的に拡大し、前
記副画素単位の水平・垂直動き成分で映像補正する拡大
映像補正部６３と、拡大映像補正部６３による映像に対
する既値の全画素情報を受けて提供される矩形函数を重
畳し、その画素を中心に既値の画素情報を隣接した未値
の画素に拡張する映像補間部６４と、これによる映像及
び１フィールド前に出力された映像を、別の加重値をも
って巡回型フィルタで合成し出力する映像合成部６５
と、映像合成部６５の出力映像を記憶し、次の映像合成
時に映像合成部６５へ帰還する映像メモリ部６６と、を
備えた構成とする。
Description
【０００１】
【発明の属する技術分野】本発明は、高解像度の電子式
映像拡大技術に関するもので、より具体的には、カメラ
に動画像として入ってくる映像情報を用い解像度を向上
させる電子式映像拡大方法及びその装置に関するもので
ある。
映像拡大技術に関するもので、より具体的には、カメラ
に動画像として入ってくる映像情報を用い解像度を向上
させる電子式映像拡大方法及びその装置に関するもので
ある。
【０００２】
【従来の技術】映像処理技術の全般で使われている映像
の拡大は、映像を表現する画素数の増加を意味するの
で、解像度の向上と直結する問題である。現在では、小
さい（低解像度）映像から大きい（高解像度）映像をつ
くり出す方法として、主に信号の補間(interpolation)
方式を使用している。しかし、停止画像内で空間的に隣
接した各画素の情報だけを扱う補間方式による拡大は、
映像の大きさだけを増加させるものであり、情報量の保
存の点でみると実質的な解像度の向上にはあまり役立っ
ていない。これに関連した周知技術として、"Digital z
ooming system utilizing imagebuffers and employing
an approximated bilinear interpolationmethod"(Pat
ent No.5307167,Inventors:Park,Sung Wook/Paik,joon
Ki,Assigness:Samsung Electronics Co.,Ltd,特許登録
日：１９９２．３．１６）がある。
の拡大は、映像を表現する画素数の増加を意味するの
で、解像度の向上と直結する問題である。現在では、小
さい（低解像度）映像から大きい（高解像度）映像をつ
くり出す方法として、主に信号の補間(interpolation)
方式を使用している。しかし、停止画像内で空間的に隣
接した各画素の情報だけを扱う補間方式による拡大は、
映像の大きさだけを増加させるものであり、情報量の保
存の点でみると実質的な解像度の向上にはあまり役立っ
ていない。これに関連した周知技術として、"Digital z
ooming system utilizing imagebuffers and employing
an approximated bilinear interpolationmethod"(Pat
ent No.5307167,Inventors:Park,Sung Wook/Paik,joon
Ki,Assigness:Samsung Electronics Co.,Ltd,特許登録
日：１９９２．３．１６）がある。
【０００３】以下、添付図面を参照して従来の映像拡大
技術について説明する。図１は、入力映像の１次元信号
と映像信号の標本化原理を示した概念図で、図２は、画
素と画素との間の映像情報を決定するために隣接画素か
ら補間を行う従来の映像拡大方法を示した概念図であ
る。また図３は、カメラの信号処理に使用される従来の
映像拡大装置を示したブロック図で、そして図４は、カ
メラの信号処理に使用される映像安定化機能を含んだ従
来の映像拡大装置を表したブロック図である。
技術について説明する。図１は、入力映像の１次元信号
と映像信号の標本化原理を示した概念図で、図２は、画
素と画素との間の映像情報を決定するために隣接画素か
ら補間を行う従来の映像拡大方法を示した概念図であ
る。また図３は、カメラの信号処理に使用される従来の
映像拡大装置を示したブロック図で、そして図４は、カ
メラの信号処理に使用される映像安定化機能を含んだ従
来の映像拡大装置を表したブロック図である。
【０００４】図１に図示のように、入力映像(input ima
ge signal)について正規の標本化周期（画素間の距離）
で映像がサンプリングされると仮定する。図面において
は、映像拡大の原理を理解し易くするため、２次元の映
像信号を１次元の映像信号と仮定して図示した。このと
き、副画素(sub-pixel) についての情報は得られないの
で、標本化周波数相当の映像解像度だけ得られることに
なる。従って、映像拡大に必要な副画素の情報は、得ら
れた隣接画素の情報から補間して決定する。
ge signal)について正規の標本化周期（画素間の距離）
で映像がサンプリングされると仮定する。図面において
は、映像拡大の原理を理解し易くするため、２次元の映
像信号を１次元の映像信号と仮定して図示した。このと
き、副画素(sub-pixel) についての情報は得られないの
で、標本化周波数相当の映像解像度だけ得られることに
なる。従って、映像拡大に必要な副画素の情報は、得ら
れた隣接画素の情報から補間して決定する。
【０００５】図２には従来の補間による映像拡大方法の
一例を図式化してあり、映像を２倍に拡大するときに必
要な副画素情報Ｐ’（ｘ’），（ｘ’＝０，１，……，
ｎ，……，Ｎ−１）を１次補間法によって推定したもの
である。これを式で表すと次の数式１のようになる。
尚、数式１におけるｋは０＜ｋ≦１の補間係数であり、
図２の例ではｋ＝０．５である。また、ｘ＝０，１，…
…，Ｎ−１。
一例を図式化してあり、映像を２倍に拡大するときに必
要な副画素情報Ｐ’（ｘ’），（ｘ’＝０，１，……，
ｎ，……，Ｎ−１）を１次補間法によって推定したもの
である。これを式で表すと次の数式１のようになる。
尚、数式１におけるｋは０＜ｋ≦１の補間係数であり、
図２の例ではｋ＝０．５である。また、ｘ＝０，１，…
…，Ｎ−１。
【数１】Ｐ’（ｘ’）＝（１−ｋ）・Ｐ（ｘ）＋ｋ・Ｐ
（ｘ＋１）
（ｘ＋１）
【０００６】この方式に沿って映像の水平方向と垂直方
向に対し独自的に補間をかけると、空間的に補間された
映像が得られる。
向に対し独自的に補間をかけると、空間的に補間された
映像が得られる。
【０００７】その他に、２次補間(2nd order interpola
tion) 、周波数解釈による補間、逆フィルタ(inversefi
lter) 等の高周波成分を生かす各種方法が用いられてい
るが、限定された標本画素で補間できる映像解像度は制
限されている。
tion) 、周波数解釈による補間、逆フィルタ(inversefi
lter) 等の高周波成分を生かす各種方法が用いられてい
るが、限定された標本画素で補間できる映像解像度は制
限されている。
【０００８】図３は、既存のビデオカメラで使用される
電子的映像拡大装置の基本的構成についての例示図であ
る。まず光学系（図示略）を通して入力される入力映像
(image input) は、ＣＣＤ等の撮像素子３１により電気
的信号に変換された後、Ａ／Ｄ変換器（ＡＤＣ）３２で
デジタル信号に変換される。そして、電子式映像拡大部
３３において１次補間等による方式で空間的拡大が行わ
れ、Ｄ／Ａ変換器（ＤＡＣ）３４を経て最終的な映像信
号として出力(image output)される。
電子的映像拡大装置の基本的構成についての例示図であ
る。まず光学系（図示略）を通して入力される入力映像
(image input) は、ＣＣＤ等の撮像素子３１により電気
的信号に変換された後、Ａ／Ｄ変換器（ＡＤＣ）３２で
デジタル信号に変換される。そして、電子式映像拡大部
３３において１次補間等による方式で空間的拡大が行わ
れ、Ｄ／Ａ変換器（ＤＡＣ）３４を経て最終的な映像信
号として出力(image output)される。
【０００９】また図４は、既存のビデオカメラにおい
て、手ブレによる不安定な映像のブレを画像中の画素単
位の動きを検出して補正した後、電子ズーム(digital z
oom)を行う電子式映像拡大装置についての例示図であ
る。まず光学系（図示略）を通して入力される入力映像
は撮像素子４１で電気的信号に変換され、該映像信号が
Ａ／Ｄ変換器４２でデジタル信号に変換される。そし
て、動き検出器(motion detector) ４３において映像信
号から画像の時間的画素の動き成分が検出され、映像安
定化器（ＤＩＳ）４４により安定化が行われる。次いで
電子式映像拡大部４５で１次補間等の方式で空間的映像
拡大が施され、Ｄ／Ａ変換器４６を介して最終的な映像
信号が出力される。
て、手ブレによる不安定な映像のブレを画像中の画素単
位の動きを検出して補正した後、電子ズーム(digital z
oom)を行う電子式映像拡大装置についての例示図であ
る。まず光学系（図示略）を通して入力される入力映像
は撮像素子４１で電気的信号に変換され、該映像信号が
Ａ／Ｄ変換器４２でデジタル信号に変換される。そし
て、動き検出器(motion detector) ４３において映像信
号から画像の時間的画素の動き成分が検出され、映像安
定化器（ＤＩＳ）４４により安定化が行われる。次いで
電子式映像拡大部４５で１次補間等の方式で空間的映像
拡大が施され、Ｄ／Ａ変換器４６を介して最終的な映像
信号が出力される。
【００１０】
【発明が解決しようとする課題】上記のような従来の電
子式映像拡大技術においては、入力映像の一部領域の映
像情報を空間的に拡大して出力する方法が使用されてい
るが、この方法による映像拡大は、画面倍率に反比例し
て空間解像度が劣化することになり、拡大倍率にある程
度の限界があるという改善点がある。
子式映像拡大技術においては、入力映像の一部領域の映
像情報を空間的に拡大して出力する方法が使用されてい
るが、この方法による映像拡大は、画面倍率に反比例し
て空間解像度が劣化することになり、拡大倍率にある程
度の限界があるという改善点がある。
【００１１】
【課題を解決するための手段】本発明では、動画素の入
力と同時に正確な画素と画素との間の副画素のカメラ動
き成分を検出して多数の副画素の映像情報を決定し、巡
回型(IIR:infinite impulse response) フィルタ等によ
る映像合成で解像度を向上させ、電子ズームによる映像
拡大での高画質を実現した高解像度の電子式映像拡大装
置及び電子式映像拡大方法を提供する。
力と同時に正確な画素と画素との間の副画素のカメラ動
き成分を検出して多数の副画素の映像情報を決定し、巡
回型(IIR:infinite impulse response) フィルタ等によ
る映像合成で解像度を向上させ、電子ズームによる映像
拡大での高画質を実現した高解像度の電子式映像拡大装
置及び電子式映像拡大方法を提供する。
【００１２】この目的を達成するために本発明の電子式
映像拡大装置は、映像信号を入力して水平・垂直の方向
に画素単位の動き成分と副画素単位の動き成分を検出す
る動き検出部と、この動き検出部から出力される画素単
位の水平・垂直動き成分を受けて映像信号を補正し、拡
大対象領域を検出する領域検出部と、この領域検出部の
出力を入力して検出された映像の標本化の周期を空間的
に拡大し、前記動き検出部から出力される副画素単位の
水平・垂直動き成分を受けて映像を補正する拡大映像補
正部と、この拡大映像補正部から出力される空間的に拡
大された映像に対する既値の全画素情報を受け、該画素
情報と提供される矩形函数とを重畳し、その画素を中心
に既値の画素情報を隣接した未値の画素に拡張して出力
する映像補間部と、この映像補間部から出力される空間
的に動き補償されて空間的に拡張された映像、及び、１
フィールド（又はフレーム）前に出力されて記憶されて
いる映像を受け、これら２つの入力映像信号を、それぞ
れ別の加重値をもつ巡回型フィルタで合成して最終映像
を出力する映像合成部と、この映像合成部から出力され
る拡大補間された１フィールド（又はフレーム）の最終
出力映像を記憶し、次の映像合成のために記憶した１フ
ィールド（又はフレーム）前の映像を前記映像合成部へ
帰還出力する映像メモリ部と、を備えてなることを特徴
とする。
映像拡大装置は、映像信号を入力して水平・垂直の方向
に画素単位の動き成分と副画素単位の動き成分を検出す
る動き検出部と、この動き検出部から出力される画素単
位の水平・垂直動き成分を受けて映像信号を補正し、拡
大対象領域を検出する領域検出部と、この領域検出部の
出力を入力して検出された映像の標本化の周期を空間的
に拡大し、前記動き検出部から出力される副画素単位の
水平・垂直動き成分を受けて映像を補正する拡大映像補
正部と、この拡大映像補正部から出力される空間的に拡
大された映像に対する既値の全画素情報を受け、該画素
情報と提供される矩形函数とを重畳し、その画素を中心
に既値の画素情報を隣接した未値の画素に拡張して出力
する映像補間部と、この映像補間部から出力される空間
的に動き補償されて空間的に拡張された映像、及び、１
フィールド（又はフレーム）前に出力されて記憶されて
いる映像を受け、これら２つの入力映像信号を、それぞ
れ別の加重値をもつ巡回型フィルタで合成して最終映像
を出力する映像合成部と、この映像合成部から出力され
る拡大補間された１フィールド（又はフレーム）の最終
出力映像を記憶し、次の映像合成のために記憶した１フ
ィールド（又はフレーム）前の映像を前記映像合成部へ
帰還出力する映像メモリ部と、を備えてなることを特徴
とする。
【００１３】また、上記の目的を達成するために本発明
の電子式映像拡大方法は、映像信号を入力する入力段階
と、該入力段階による映像信号から水平・垂直の方向に
画素単位の動き成分と副画素単位の動き成分を検出する
動き検出段階と、前記入力段階による映像信号を、前記
動き検出段階において検出された画素単位の水平・垂直
動き成分で補正し、拡大対象領域を検出する領域検出段
階と、該領域検出段階で検出された拡大対象領域の映像
の標本化周期を空間的に拡大し、前記動き検出段階によ
る副画素単位の水平・垂直動き成分で拡大された映像を
補正する映像補正段階と、該映像補正段階で空間的に拡
大された映像に対する既値の全画像情報を矩形函数と重
畳し、その画素を中心に既値の画素情報を隣接した未値
の各画素へ拡張する映像補間段階と、該映像補間段階で
空間的に動き補償されて空間的に拡張された映像及び記
憶してある１フィールド（又はフレーム）前の映像を、
それぞれ別の時間軸上の加重値を置く巡回型フィルタで
合成して最終映像を出力する映像合成段階と、出力され
る拡大補間された１フィールド（又はフレーム）の最終
出力を記憶し、前記映像合成段階における次の映像合成
の際に１フィールド（又はフレーム）前の映像を帰還さ
せるための記憶段階と、を含んでなることを特徴とす
る。
の電子式映像拡大方法は、映像信号を入力する入力段階
と、該入力段階による映像信号から水平・垂直の方向に
画素単位の動き成分と副画素単位の動き成分を検出する
動き検出段階と、前記入力段階による映像信号を、前記
動き検出段階において検出された画素単位の水平・垂直
動き成分で補正し、拡大対象領域を検出する領域検出段
階と、該領域検出段階で検出された拡大対象領域の映像
の標本化周期を空間的に拡大し、前記動き検出段階によ
る副画素単位の水平・垂直動き成分で拡大された映像を
補正する映像補正段階と、該映像補正段階で空間的に拡
大された映像に対する既値の全画像情報を矩形函数と重
畳し、その画素を中心に既値の画素情報を隣接した未値
の各画素へ拡張する映像補間段階と、該映像補間段階で
空間的に動き補償されて空間的に拡張された映像及び記
憶してある１フィールド（又はフレーム）前の映像を、
それぞれ別の時間軸上の加重値を置く巡回型フィルタで
合成して最終映像を出力する映像合成段階と、出力され
る拡大補間された１フィールド（又はフレーム）の最終
出力を記憶し、前記映像合成段階における次の映像合成
の際に１フィールド（又はフレーム）前の映像を帰還さ
せるための記憶段階と、を含んでなることを特徴とす
る。
【００１４】
【発明の実施の形態】添付図面を参照して本発明の実施
形態を説明する。
形態を説明する。
【００１５】図６は、位相差情報と巡回型フィルタを用
いて高解像度の映像を合成する本発明による電子式映像
拡大装置の第１実施形態を示したブロック図である。
いて高解像度の映像を合成する本発明による電子式映像
拡大装置の第１実施形態を示したブロック図である。
【００１６】動き検出部(motion detector) ６１は、映
像信号〔Ｐ（ｘ；ｎ）〕を受けて、水平・垂直の方向に
画素単位の動き(pixel motion)成分と副画素単位の動き
(subpixel motion) 成分とを検出し出力する。領域検出
部(area detector) ６２は、映像信号〔Ｐ（ｘ；ｎ）〕
を受けて、動き検出部６１から出力される画素単位の水
平・垂直動き成分〔Ｖ（ｎ）〕に従って映像信号〔Ｐ
（ｘ；ｎ）〕を補正し、拡大対象領域を検出する。拡大
映像補正部(zoomed image compensator)６３は、領域検
出部６２の出力を受けて、検出された映像の標本化周期
を空間的に拡大した後、動き検出部６１から出力される
副画素単位の水平・垂直動き成分〔ｖ（ｎ）〕に従って
映像を補正し出力する。
像信号〔Ｐ（ｘ；ｎ）〕を受けて、水平・垂直の方向に
画素単位の動き(pixel motion)成分と副画素単位の動き
(subpixel motion) 成分とを検出し出力する。領域検出
部(area detector) ６２は、映像信号〔Ｐ（ｘ；ｎ）〕
を受けて、動き検出部６１から出力される画素単位の水
平・垂直動き成分〔Ｖ（ｎ）〕に従って映像信号〔Ｐ
（ｘ；ｎ）〕を補正し、拡大対象領域を検出する。拡大
映像補正部(zoomed image compensator)６３は、領域検
出部６２の出力を受けて、検出された映像の標本化周期
を空間的に拡大した後、動き検出部６１から出力される
副画素単位の水平・垂直動き成分〔ｖ（ｎ）〕に従って
映像を補正し出力する。
【００１７】映像補間部(image interpolation part)６
４は、拡大映像補正部６３から出力される空間的に拡大
された映像［ｐ〔ｉ−ｖ（ｎ）；ｎ〕］についての既知
の全画素情報を受けて、該画素情報と提供される矩形函
数(rectangle function)を重畳(convolution) し、その
画素を中心に既知の画素情報を隣接した未値の各画素に
拡張して出力する。映像合成部(image synthesis part)
６５は、空間的動き補償が行われて空間的に拡張された
映像補間部６４による映像［Ｐrect〔ｉ−ｖ（ｎ）；
ｎ〕］、及び、１フィールド（又はフレーム）の以前に
出力されて記憶されている映像〔ｑ（ｉ；ｎ−１）〕を
受けて、これら２つの映像信号を、それぞれ別の時間軸
上の加重値を置く巡回型フィルタで合成(synthesis)
し、最終的映像〔ｑ（ｉ；ｎ）〕を出力する。映像メモ
リ部(image memory part) ６６は、映像合成部６５から
出力される拡大補間された１フィールド（又はフレー
ム）の最終出力映像〔ｑ（ｉ；ｎ）〕を記憶し、次の映
像合成時に、該記憶した１フィールド（又はフレーム）
前の映像〔ｑ（ｉ；ｎ−１）〕を映像合成部６５へ帰還
出力する。映像メモリ部６６としては、１つのフィール
ドメモリを使用可能である。
４は、拡大映像補正部６３から出力される空間的に拡大
された映像［ｐ〔ｉ−ｖ（ｎ）；ｎ〕］についての既知
の全画素情報を受けて、該画素情報と提供される矩形函
数(rectangle function)を重畳(convolution) し、その
画素を中心に既知の画素情報を隣接した未値の各画素に
拡張して出力する。映像合成部(image synthesis part)
６５は、空間的動き補償が行われて空間的に拡張された
映像補間部６４による映像［Ｐrect〔ｉ−ｖ（ｎ）；
ｎ〕］、及び、１フィールド（又はフレーム）の以前に
出力されて記憶されている映像〔ｑ（ｉ；ｎ−１）〕を
受けて、これら２つの映像信号を、それぞれ別の時間軸
上の加重値を置く巡回型フィルタで合成(synthesis)
し、最終的映像〔ｑ（ｉ；ｎ）〕を出力する。映像メモ
リ部(image memory part) ６６は、映像合成部６５から
出力される拡大補間された１フィールド（又はフレー
ム）の最終出力映像〔ｑ（ｉ；ｎ）〕を記憶し、次の映
像合成時に、該記憶した１フィールド（又はフレーム）
前の映像〔ｑ（ｉ；ｎ−１）〕を映像合成部６５へ帰還
出力する。映像メモリ部６６としては、１つのフィール
ドメモリを使用可能である。
【００１８】尚、ｘ，ｉ，Ｖ（ｎ），ｖ（ｎ）は２次元
空間ベクトルを表す。
空間ベクトルを表す。
【００１９】映像合成部６５は詳細には、空間的動き補
償されて空間的に拡張された映像補間部６４による映像
［Ｐrect〔ｉ−ｖ（ｎ）；ｎ〕］と時間軸上の加重値
（１−ｋ）とを乗算する第１掛算器６５１と、１フィー
ルド（又はフレーム）前に出力されて映像メモリ部６６
に記憶されている映像〔ｑ（ｉ；ｎ−１）〕と時間軸上
の加重値（ｋ）とを乗算する第２掛算器６５２と、第１
掛算器６５１及び第２掛算器６５２の各出力を加算して
最終映像〔ｑ（ｉ；ｎ）〕を出力する加算器６５３と、
から構成される。
償されて空間的に拡張された映像補間部６４による映像
［Ｐrect〔ｉ−ｖ（ｎ）；ｎ〕］と時間軸上の加重値
（１−ｋ）とを乗算する第１掛算器６５１と、１フィー
ルド（又はフレーム）前に出力されて映像メモリ部６６
に記憶されている映像〔ｑ（ｉ；ｎ−１）〕と時間軸上
の加重値（ｋ）とを乗算する第２掛算器６５２と、第１
掛算器６５１及び第２掛算器６５２の各出力を加算して
最終映像〔ｑ（ｉ；ｎ）〕を出力する加算器６５３と、
から構成される。
【００２０】図８には、位相差情報による適応的な加重
値と巡回型フィルタを用いて高解像度の映像を合成する
本発明による電子式映像拡大装置の第２実施形態をブロ
ック図で示している。
値と巡回型フィルタを用いて高解像度の映像を合成する
本発明による電子式映像拡大装置の第２実施形態をブロ
ック図で示している。
【００２１】動き検出部８１は、〔Ｐ（ｘ；ｎ）〕を受
けて、水平・垂直の方向に画素単位の動き成分と副画素
単位の動き成分とを検出し出力する。領域検出部８２
は、映像信号〔Ｐ（ｘ；ｎ）〕を受けて、動き検出部８
１から出力される画素単位の水平・垂直動き成分〔Ｖ
（ｎ）〕に従って映像信号〔Ｐ（ｘ；ｎ）〕を補正し、
拡大対象領域を検出する。拡大映像補正部８３は、領域
検出部８２の出力を受けて、検出された映像の標本化周
期を空間的に拡大した後、動き検出部８１から出力され
る副画素単位の水平・垂直動き成分〔ｖ（ｎ）〕に従っ
て映像を補正し出力する。
けて、水平・垂直の方向に画素単位の動き成分と副画素
単位の動き成分とを検出し出力する。領域検出部８２
は、映像信号〔Ｐ（ｘ；ｎ）〕を受けて、動き検出部８
１から出力される画素単位の水平・垂直動き成分〔Ｖ
（ｎ）〕に従って映像信号〔Ｐ（ｘ；ｎ）〕を補正し、
拡大対象領域を検出する。拡大映像補正部８３は、領域
検出部８２の出力を受けて、検出された映像の標本化周
期を空間的に拡大した後、動き検出部８１から出力され
る副画素単位の水平・垂直動き成分〔ｖ（ｎ）〕に従っ
て映像を補正し出力する。
【００２２】そして映像補間部８４は、拡大映像補正部
８３から出力される空間的に拡大された映像［ｐ〔ｉ−
ｖ（ｎ）；ｎ〕］についての既知の全画素情報を受け
て、該画素情報と提供される矩形函数を重畳し、その画
素を中心に既知の画素情報を隣接した未値の各画素に拡
張して出力する。映像合成部８５は、空間的動き補償が
行われて空間的に拡張された映像補間部８４による映像
［Ｐrect〔ｉ−ｖ（ｎ）；ｎ〕］、及び、１フィールド
（又はフレーム）の以前に出力されて記憶されている映
像〔ｑ（ｉ；ｎ−１）〕を受けて、これら２つの映像信
号を、それぞれ別の時間軸上の加重値を置く巡回型フィ
ルタで合成し、最終的映像〔ｑ（ｉ；ｎ）〕を出力す
る。映像メモリ部８６は、映像合成部８５から出力され
る拡大補間された１フィールド（又はフレーム）の最終
出力映像〔ｑ（ｉ；ｎ）〕を記憶し、次の映像合成時
に、該記憶した１フィールド（又はフレーム）の以前の
映像〔ｑ（ｉ；ｎ−１）〕を映像合成部８５へ帰還出力
する。
８３から出力される空間的に拡大された映像［ｐ〔ｉ−
ｖ（ｎ）；ｎ〕］についての既知の全画素情報を受け
て、該画素情報と提供される矩形函数を重畳し、その画
素を中心に既知の画素情報を隣接した未値の各画素に拡
張して出力する。映像合成部８５は、空間的動き補償が
行われて空間的に拡張された映像補間部８４による映像
［Ｐrect〔ｉ−ｖ（ｎ）；ｎ〕］、及び、１フィールド
（又はフレーム）の以前に出力されて記憶されている映
像〔ｑ（ｉ；ｎ−１）〕を受けて、これら２つの映像信
号を、それぞれ別の時間軸上の加重値を置く巡回型フィ
ルタで合成し、最終的映像〔ｑ（ｉ；ｎ）〕を出力す
る。映像メモリ部８６は、映像合成部８５から出力され
る拡大補間された１フィールド（又はフレーム）の最終
出力映像〔ｑ（ｉ；ｎ）〕を記憶し、次の映像合成時
に、該記憶した１フィールド（又はフレーム）の以前の
映像〔ｑ（ｉ；ｎ−１）〕を映像合成部８５へ帰還出力
する。
【００２３】映像合成部８５は詳細には、時間軸上の加
重値（１−ｋ）と空間軸上の加重値［ｒ〔ｉ−ｖ
（ｎ）〕］とを加算する第１加算器８５１と、空間的動
き補償されて空間的に拡張された映像補間部８４による
映像［Ｐrect〔ｉ−ｖ（ｎ）；ｎ〕］と第１加算器８５
１の出力とを乗算する第１掛算器８５２と、時間軸上の
加重値（ｋ）と空間軸上の加重値［ｒ〔ｉ−ｖ
（ｎ）〕］とを加減する加減器８５３と、１フィールド
（又はフレーム）前に出力されて映像メモリ部８６に記
憶されている映像〔ｑ（ｉ；ｎ−１）〕と加減器８５３
の出力とを乗算する第２掛算器８５４と、第１掛算器８
５２及び第２掛算器８５４の各出力を加算して最終映像
〔ｑ（ｉ；ｎ）〕を出力する第２加算器８５５と、から
構成される。
重値（１−ｋ）と空間軸上の加重値［ｒ〔ｉ−ｖ
（ｎ）〕］とを加算する第１加算器８５１と、空間的動
き補償されて空間的に拡張された映像補間部８４による
映像［Ｐrect〔ｉ−ｖ（ｎ）；ｎ〕］と第１加算器８５
１の出力とを乗算する第１掛算器８５２と、時間軸上の
加重値（ｋ）と空間軸上の加重値［ｒ〔ｉ−ｖ
（ｎ）〕］とを加減する加減器８５３と、１フィールド
（又はフレーム）前に出力されて映像メモリ部８６に記
憶されている映像〔ｑ（ｉ；ｎ−１）〕と加減器８５３
の出力とを乗算する第２掛算器８５４と、第１掛算器８
５２及び第２掛算器８５４の各出力を加算して最終映像
〔ｑ（ｉ；ｎ）〕を出力する第２加算器８５５と、から
構成される。
【００２４】このような第１、第２実施形態の回路によ
る動作は次のようになる。まず、簡単に整理すると、各
実施形態とも、停止画素に比べてはるかに多くの情報量
をもつ動画素から解像度を向上させる映像拡大技術を採
用しており、これは、空間的拡大で補間法によってしか
推定できなかった画素間の情報（副画素の情報）を、空
間的ブレをもつ動映像からその動きを検出し適切に補正
して決定するようにした方法である。即ち、画素と画素
との間の情報（副画素の情報）を、カメラのブレ（空間
的ブレ）等による微細な時点の位相差から得られる映像
により得ようとするものである。
る動作は次のようになる。まず、簡単に整理すると、各
実施形態とも、停止画素に比べてはるかに多くの情報量
をもつ動画素から解像度を向上させる映像拡大技術を採
用しており、これは、空間的拡大で補間法によってしか
推定できなかった画素間の情報（副画素の情報）を、空
間的ブレをもつ動映像からその動きを検出し適切に補正
して決定するようにした方法である。即ち、画素と画素
との間の情報（副画素の情報）を、カメラのブレ（空間
的ブレ）等による微細な時点の位相差から得られる映像
により得ようとするものである。
【００２５】カメラのブレは、撮影者の手ブレ等による
手動的（受動的）な映像のブレと、カメラの受光光学系
のレンズ部や、撮像素子を特定の周波数で発振させて得
られる能動的な映像のブレと、に分けられ、本発明にお
いてはこれら２種類のブレを全て対象とすることができ
る。このような映像のブレに対する動き成分（ｘ，ｙ方
向の２次元ベクトル）では、画素単位の動き成分だけで
なく、画素間の動き成分である副画素の動きが正確に検
出されなければならない。検出された動き成分の副画素
情報は映像の標本化空間周波数に対する位相差に該当す
る。言い換えれば、基本的原理は、過去の映像と入力映
像とをそれぞれの副画素の動き情報で補正した後、適応
的な時間軸上、空間軸上の加重値と積算して出力するも
のである。これは、入力映像と過去の映像とを巡回型フ
ィルタ（ＩＩＲフィルタ）によって時間方向低域通過フ
ィルタに通すことと、副画素の位置補正及び位相の加重
値を制御することとを統合した方式であると言える。
手動的（受動的）な映像のブレと、カメラの受光光学系
のレンズ部や、撮像素子を特定の周波数で発振させて得
られる能動的な映像のブレと、に分けられ、本発明にお
いてはこれら２種類のブレを全て対象とすることができ
る。このような映像のブレに対する動き成分（ｘ，ｙ方
向の２次元ベクトル）では、画素単位の動き成分だけで
なく、画素間の動き成分である副画素の動きが正確に検
出されなければならない。検出された動き成分の副画素
情報は映像の標本化空間周波数に対する位相差に該当す
る。言い換えれば、基本的原理は、過去の映像と入力映
像とをそれぞれの副画素の動き情報で補正した後、適応
的な時間軸上、空間軸上の加重値と積算して出力するも
のである。これは、入力映像と過去の映像とを巡回型フ
ィルタ（ＩＩＲフィルタ）によって時間方向低域通過フ
ィルタに通すことと、副画素の位置補正及び位相の加重
値を制御することとを統合した方式であると言える。
【００２６】図５は、標本化された入力映像を矩形函数
の重畳を用い補間して出力を得る原理を示した概念図で
ある。即ち、映像の拡大による補間出力の説明のため
に、標本化された入力映像を矩形函数の重畳を用いて拡
張する原理を表したものである。
の重畳を用い補間して出力を得る原理を示した概念図で
ある。即ち、映像の拡大による補間出力の説明のため
に、標本化された入力映像を矩形函数の重畳を用いて拡
張する原理を表したものである。
【００２７】入力画素Ｐ（ｘ）の空間的に拡大しようと
する領域に対して標本化周期を倍率に比例するように拡
大して表現すると、副画素の観点からみた場合、アンダ
ーサンプリング(under sampling)された入力信号ｐ
（ｉ）に変換される。尚、ｄｘは１画素であり、ｍ・ｄ
ｉ個の副画素に再構成される。この確定された入力信号
ｐ（ｉ）に対し、次の数式２のようにして矩形函数Ｒｅ
ｃｔ（ｉ）の重畳をかけると、０次補間によるぎっしり
と空間拡張された映像信号Ｐrect（ｉ）が得られる。
する領域に対して標本化周期を倍率に比例するように拡
大して表現すると、副画素の観点からみた場合、アンダ
ーサンプリング(under sampling)された入力信号ｐ
（ｉ）に変換される。尚、ｄｘは１画素であり、ｍ・ｄ
ｉ個の副画素に再構成される。この確定された入力信号
ｐ（ｉ）に対し、次の数式２のようにして矩形函数Ｒｅ
ｃｔ（ｉ）の重畳をかけると、０次補間によるぎっしり
と空間拡張された映像信号Ｐrect（ｉ）が得られる。
【数２】Ｐrect（ｉ）＝ｐ（ｉ）×Ｒｅｃｔ（ｉ）
【００２８】この拡張された映像信号Ｐrect（ｉ）を用
いる映像の拡大技術は次のようなものである。図７に、
カメラの動きによる副画素動きの位相差で標本化された
入力映像と以前の出力映像を、時間軸上の加重値をとっ
て合成する原理を表した概念図を示す。
いる映像の拡大技術は次のようなものである。図７に、
カメラの動きによる副画素動きの位相差で標本化された
入力映像と以前の出力映像を、時間軸上の加重値をとっ
て合成する原理を表した概念図を示す。
【００２９】図６に示した通り、当該装置に電源が印加
されると動き検出部６１は、映像信号〔Ｐ（ｘ；ｎ）〕
を入力して水平・垂直の方向に画素単位の動き成分と副
画素単位の動き成分を検出する。次に領域検出部６２
は、映像信号〔Ｐ（ｘ；ｎ）〕を入力し、動き検出部６
１から出力される画素単位の水平・垂直の動き成分〔Ｖ
（ｎ）〕を受けて映像信号〔Ｐ（ｘ；ｎ）〕を補正し、
拡大対象領域を検出する。続いて拡大映像補正部６３
は、領域検出部６２の出力を入力し、検出された映像の
標本化周期を空間的に拡大した後、動き検出部６１から
出力される副画素単位の水平・垂直動き成分〔ｖ
（ｎ）〕を受けて映像補正する。
されると動き検出部６１は、映像信号〔Ｐ（ｘ；ｎ）〕
を入力して水平・垂直の方向に画素単位の動き成分と副
画素単位の動き成分を検出する。次に領域検出部６２
は、映像信号〔Ｐ（ｘ；ｎ）〕を入力し、動き検出部６
１から出力される画素単位の水平・垂直の動き成分〔Ｖ
（ｎ）〕を受けて映像信号〔Ｐ（ｘ；ｎ）〕を補正し、
拡大対象領域を検出する。続いて拡大映像補正部６３
は、領域検出部６２の出力を入力し、検出された映像の
標本化周期を空間的に拡大した後、動き検出部６１から
出力される副画素単位の水平・垂直動き成分〔ｖ
（ｎ）〕を受けて映像補正する。
【００３０】そして、映像補間部６４は、拡大映像補正
部６３で空間的拡大された映像［ｐ〔ｉ−ｖ（ｎ）；
ｎ〕］に対する既値の全画素情報を入力して該画素情報
と提供される矩形函数を重畳し、当該画素を中心に既値
の画素情報を未値の各画素に拡張して空間的に拡張され
た映像［Ｐrect〔ｉ−ｖ（ｎ）；ｎ〕］を出力する（ｎ
はフィールド番号：field number）。この映像補間部６
４の出力を受ける映像合成部６５は、空間的に動きが補
償されて空間的に拡張された映像補間部６４による映像
［Ｐrect〔ｉ−ｖ（ｎ）；ｎ〕］と、１フィールド（又
はフレーム）以前に出力されて映像メモリ部６６に記憶
されている映像〔ｑ（ｉ；ｎ−１）〕とを、それぞれ別
の時間軸上の加重値を置く巡回型フィルタで合成し、最
終映像〔ｑ（ｉ；ｎ）〕を出力する。
部６３で空間的拡大された映像［ｐ〔ｉ−ｖ（ｎ）；
ｎ〕］に対する既値の全画素情報を入力して該画素情報
と提供される矩形函数を重畳し、当該画素を中心に既値
の画素情報を未値の各画素に拡張して空間的に拡張され
た映像［Ｐrect〔ｉ−ｖ（ｎ）；ｎ〕］を出力する（ｎ
はフィールド番号：field number）。この映像補間部６
４の出力を受ける映像合成部６５は、空間的に動きが補
償されて空間的に拡張された映像補間部６４による映像
［Ｐrect〔ｉ−ｖ（ｎ）；ｎ〕］と、１フィールド（又
はフレーム）以前に出力されて映像メモリ部６６に記憶
されている映像〔ｑ（ｉ；ｎ−１）〕とを、それぞれ別
の時間軸上の加重値を置く巡回型フィルタで合成し、最
終映像〔ｑ（ｉ；ｎ）〕を出力する。
【００３１】映像メモリ部６６は、映像合成部６５によ
る拡大補間された１フィールド（又はフレーム）の最終
出力映像〔ｑ（ｉ；ｎ）〕を記憶し、次の映像合成に際
してその記憶した１フィールド（又はフレーム）前の映
像〔ｑ（ｉ；ｎ−１）〕を映像合成部６５へ帰還出力す
る。
る拡大補間された１フィールド（又はフレーム）の最終
出力映像〔ｑ（ｉ；ｎ）〕を記憶し、次の映像合成に際
してその記憶した１フィールド（又はフレーム）前の映
像〔ｑ（ｉ；ｎ−１）〕を映像合成部６５へ帰還出力す
る。
【００３２】映像合成部６５内では、まず第１掛算器６
５１が、映像補間部６４による空間的動き補償されて空
間的に拡張された映像［Ｐrect〔ｉ−ｖ（ｎ）；ｎ〕］
を受けて時間軸上の加重値（１−ｋ）と乗算する。ま
た、第２掛算器６５２は、１フィールド（又はフレー
ム）前に出力されて映像メモリ部６６に記憶されている
映像〔ｑ（ｉ；ｎ−１）〕を受けて時間軸上の加重値
（ｋ）と乗算する。そして、加算器６５３により、第１
掛算器６５１及び第２掛算器６５２の各出力が加算さ
れ、最終映像〔ｑ（ｉ；ｎ）〕が出力される。
５１が、映像補間部６４による空間的動き補償されて空
間的に拡張された映像［Ｐrect〔ｉ−ｖ（ｎ）；ｎ〕］
を受けて時間軸上の加重値（１−ｋ）と乗算する。ま
た、第２掛算器６５２は、１フィールド（又はフレー
ム）前に出力されて映像メモリ部６６に記憶されている
映像〔ｑ（ｉ；ｎ−１）〕を受けて時間軸上の加重値
（ｋ）と乗算する。そして、加算器６５３により、第１
掛算器６５１及び第２掛算器６５２の各出力が加算さ
れ、最終映像〔ｑ（ｉ；ｎ）〕が出力される。
【００３３】より詳細には、拡張された映像［Ｐ
rect〔ｉ−ｖ（ｎ）；ｎ〕］と、１フィールド（又はフ
レーム）前に出力した拡大副映像〔ｑ（ｉ；ｎ−１）〕
とを、次の数式３のようにして巡回型フィルタ方式によ
り時間軸上の加重値ｋ（０＜ｋ≦１）をもって合成し、
出力映像〔ｑ（ｉ；ｎ）〕を決定する。尚、初期出力画
素ｑ（ｉ；０）はＰrect（ｉ；０）とする。また、ｎ＝
１，２，……。
rect〔ｉ−ｖ（ｎ）；ｎ〕］と、１フィールド（又はフ
レーム）前に出力した拡大副映像〔ｑ（ｉ；ｎ−１）〕
とを、次の数式３のようにして巡回型フィルタ方式によ
り時間軸上の加重値ｋ（０＜ｋ≦１）をもって合成し、
出力映像〔ｑ（ｉ；ｎ）〕を決定する。尚、初期出力画
素ｑ（ｉ；０）はＰrect（ｉ；０）とする。また、ｎ＝
１，２，……。
【数３】ｑ（ｉ；ｎ）＝（１−ｋ）・Ｐrect〔ｉ−ｖ
（ｎ）；ｎ〕＋ｋ・ｑ（ｉ；ｎ−１）
（ｎ）；ｎ〕＋ｋ・ｑ（ｉ；ｎ−１）
【００３４】実際の撮影のときには、時間軸上の加重値
（ｋ）が大きくなると各過去映像の比重が入力映像より
大きくなり、約０．５から０．９の間の値を時間軸上の
加重値（ｋ）がもつ場合に安定でノイズが減殺された映
像を出力できる。図７は、ｋ＝０．５，ｎ＝１である場
合に、前の出力映像と入力映像が時間軸上の加重値を置
く巡回型フィルタを通過した後の出力映像についての例
を、１次元信号で表したものである。
（ｋ）が大きくなると各過去映像の比重が入力映像より
大きくなり、約０．５から０．９の間の値を時間軸上の
加重値（ｋ）がもつ場合に安定でノイズが減殺された映
像を出力できる。図７は、ｋ＝０．５，ｎ＝１である場
合に、前の出力映像と入力映像が時間軸上の加重値を置
く巡回型フィルタを通過した後の出力映像についての例
を、１次元信号で表したものである。
【００３５】一方、映像の出力において副画素のより正
確な値を出力に反映させるためには、０次補間による情
報の一律的な拡散よりも、入力映像の動き成分の位相に
対して空間的な加重値がより高く制御された映像の拡大
の方がよりよく、いっそう解像度が向上する。これを実
現したのが図８に示した第２実施形態である。
確な値を出力に反映させるためには、０次補間による情
報の一律的な拡散よりも、入力映像の動き成分の位相に
対して空間的な加重値がより高く制御された映像の拡大
の方がよりよく、いっそう解像度が向上する。これを実
現したのが図８に示した第２実施形態である。
【００３６】図９は、カメラの動きによる副画素動きの
位相差で標本化された入力映像と以前の出力映像とを、
時間軸上の加重値と空間軸上の加重値とをもって合成す
る原理を表した概念図である。
位相差で標本化された入力映像と以前の出力映像とを、
時間軸上の加重値と空間軸上の加重値とをもって合成す
る原理を表した概念図である。
【００３７】第２実施形態における動き検出部８１、領
域検出部８２、拡大映像補正部８３、映像補間部８４、
映像メモリ部８６の各動作は、それぞれ第１実施形態に
おける動き検出部６１、領域検出部６２、拡大映像補正
部６３、映像補間部６４、映像メモリ部６６の各動作と
同様である。
域検出部８２、拡大映像補正部８３、映像補間部８４、
映像メモリ部８６の各動作は、それぞれ第１実施形態に
おける動き検出部６１、領域検出部６２、拡大映像補正
部６３、映像補間部６４、映像メモリ部６６の各動作と
同様である。
【００３８】映像合成部８５は、空間的に動きが補償さ
れて空間的に拡張された映像補間部８４による映像［Ｐ
rect〔ｉ−ｖ（ｎ）；ｎ〕］と、１フィールド（又はフ
レーム）の以前に出力されて記憶されている映像〔ｑ
（ｉ；ｎ−１）〕とを、それぞれ別の時間軸上の加重値
及び空間軸上の加重値を置く巡回型フィルタで合成して
最終映像〔ｑ（ｉ；ｎ）〕を出力する。即ち、まず映像
合成部８５内の第１加算器８５１は、時間軸上の加重値
（１−ｋ）と空間軸上の加重値［ｒ〔ｉ−ｖ（ｎ）〕］
とを加算する。そして第１掛算器８５２が、映像補間部
８６による空間的動き補償されて空間的に拡張された映
像［Ｐrect〔ｉ−ｖ（ｎ）；ｎ〕］と第１加算器８５１
の出力とを乗算する。また、加減器８５３は、時間軸上
の加重値（ｋ）と空間軸上の加重値［ｒ〔ｉ−ｖ
（ｎ）〕］とを加減する。そして第２掛算器８５４が、
１フィールド（又はフレーム）前に出力されて映像メモ
リ部８６に記憶されている映像〔ｑ（ｉ；ｎ−１）〕と
加減器８５４の出力とを乗算する。最後に第２加算器８
５５は、第１掛算器８５２及び第２掛算器８５４の各出
力を加算して最終映像〔ｑ（ｉ；ｎ）〕を出力する。
れて空間的に拡張された映像補間部８４による映像［Ｐ
rect〔ｉ−ｖ（ｎ）；ｎ〕］と、１フィールド（又はフ
レーム）の以前に出力されて記憶されている映像〔ｑ
（ｉ；ｎ−１）〕とを、それぞれ別の時間軸上の加重値
及び空間軸上の加重値を置く巡回型フィルタで合成して
最終映像〔ｑ（ｉ；ｎ）〕を出力する。即ち、まず映像
合成部８５内の第１加算器８５１は、時間軸上の加重値
（１−ｋ）と空間軸上の加重値［ｒ〔ｉ−ｖ（ｎ）〕］
とを加算する。そして第１掛算器８５２が、映像補間部
８６による空間的動き補償されて空間的に拡張された映
像［Ｐrect〔ｉ−ｖ（ｎ）；ｎ〕］と第１加算器８５１
の出力とを乗算する。また、加減器８５３は、時間軸上
の加重値（ｋ）と空間軸上の加重値［ｒ〔ｉ−ｖ
（ｎ）〕］とを加減する。そして第２掛算器８５４が、
１フィールド（又はフレーム）前に出力されて映像メモ
リ部８６に記憶されている映像〔ｑ（ｉ；ｎ−１）〕と
加減器８５４の出力とを乗算する。最後に第２加算器８
５５は、第１掛算器８５２及び第２掛算器８５４の各出
力を加算して最終映像〔ｑ（ｉ；ｎ）〕を出力する。
【００３９】より詳細には、拡張された映像［Ｐ
rect〔ｉ−ｖ（ｎ）；ｎ〕］と、１フィールド（又はフ
レーム）前（ｎ−１）に出力した拡大副映像〔ｑ（ｉ；
ｎ−１）〕とを、次の数式４のようにして巡回型フィル
タにより時間軸上の加重値ｋ（０＜ｋ≦１）と空間軸上
の加重値ｒ〔ｉ−ｖ（ｎ）〕をもって合成し、出力映像
〔ｑ（ｉ；ｎ）〕を決定する。尚、初期出力画素ｑ
（ｉ；０）はＰrect（ｉ；０）とする。また、ｎ＝１，
２，……。
rect〔ｉ−ｖ（ｎ）；ｎ〕］と、１フィールド（又はフ
レーム）前（ｎ−１）に出力した拡大副映像〔ｑ（ｉ；
ｎ−１）〕とを、次の数式４のようにして巡回型フィル
タにより時間軸上の加重値ｋ（０＜ｋ≦１）と空間軸上
の加重値ｒ〔ｉ−ｖ（ｎ）〕をもって合成し、出力映像
〔ｑ（ｉ；ｎ）〕を決定する。尚、初期出力画素ｑ
（ｉ；０）はＰrect（ｉ；０）とする。また、ｎ＝１，
２，……。
【数４】ｑ（ｉ；ｎ）＝［（１−ｋ）＋ｒ〔ｉ−ｖ
（ｎ）〕］・Ｐrect〔ｉ−ｖ（ｎ）；ｎ〕＋［ｋ−ｒ
〔ｉ−ｖ（ｎ）〕］・ｑ（ｉ；ｎ−１）
（ｎ）〕］・Ｐrect〔ｉ−ｖ（ｎ）；ｎ〕＋［ｋ−ｒ
〔ｉ−ｖ（ｎ）〕］・ｑ（ｉ；ｎ−１）
【００４０】実際の撮影のときには、時間軸上の加重値
（ｋ）が大きい値をもつようになると各過去映像の比重
が入力映像より大きくなり、約０．５から０．９の間の
値を時間軸上の加重値（ｋ）がもつ場合に安定してノイ
ズが減殺された映像を出力できる。また、入力映像の動
き成分による中心位置に空間的に高い加重値をもたせる
ようにすることによって、解像度の向上に更に寄与する
ことができる。
（ｋ）が大きい値をもつようになると各過去映像の比重
が入力映像より大きくなり、約０．５から０．９の間の
値を時間軸上の加重値（ｋ）がもつ場合に安定してノイ
ズが減殺された映像を出力できる。また、入力映像の動
き成分による中心位置に空間的に高い加重値をもたせる
ようにすることによって、解像度の向上に更に寄与する
ことができる。
【００４１】図９は、ｋ＝０．５，ｎ＝１である場合
に、前の出力映像と入力映像とが時間的な巡回型フィル
タと空間的制御を通過した出力映像についての例を、１
次元信号で表したものである。このとき、空間軸上の加
重値ｒ〔ｉ−ｖ（ｎ）〕は周期ｍの函数であり、振幅を
入力映像の状態に従って調整すると効果的である。
に、前の出力映像と入力映像とが時間的な巡回型フィル
タと空間的制御を通過した出力映像についての例を、１
次元信号で表したものである。このとき、空間軸上の加
重値ｒ〔ｉ−ｖ（ｎ）〕は周期ｍの函数であり、振幅を
入力映像の状態に従って調整すると効果的である。
【００４２】結果的に、時間の経過によるｎ値の増加に
従って多数の副画素の動き成分が検出されればされるほ
ど映像の解像度は高くなり、空間的にも安定した映像と
して受け入れられる。従って、映像メモリによる以前出
力値と副画素の動きの位相差が勘案された映像から適切
な空間的、時間的加重値を調節して、より高解像度の映
像を、巡回型フィルタによる簡単な演算と１つの映像メ
モリによる簡単な構成で実現できる。
従って多数の副画素の動き成分が検出されればされるほ
ど映像の解像度は高くなり、空間的にも安定した映像と
して受け入れられる。従って、映像メモリによる以前出
力値と副画素の動きの位相差が勘案された映像から適切
な空間的、時間的加重値を調節して、より高解像度の映
像を、巡回型フィルタによる簡単な演算と１つの映像メ
モリによる簡単な構成で実現できる。
【００４３】
【発明の効果】以上述べたように本発明によれば、高倍
率のズームレンズや高解像／高密度の撮像素子を要せず
とも、既存の限定された画素数をもった撮像素子におけ
る空間的な解像度の限界を動画像の情報から克服でき
る。また、基本的に空間的ブレをもつ動映像から動きを
検出して画素と画素との間の映像情報を決定することに
よって高い解像度の映像を得られ、その結果、電子的な
補間による映像拡大に際する解像度の劣化を減じること
ができる。更に、巡回型フィルタ等による映像構成によ
って解像度を向上させ、手ブレを安定化させた映像を得
られ、及び時間的巡回型フィルタの特性によるノイズ減
殺効果をもつ高解像度の電子式映像像拡大方法及び映像
拡大装置を提供することができる。本発明のこのような
効果は全てのカメラ分野で利用可能である。
率のズームレンズや高解像／高密度の撮像素子を要せず
とも、既存の限定された画素数をもった撮像素子におけ
る空間的な解像度の限界を動画像の情報から克服でき
る。また、基本的に空間的ブレをもつ動映像から動きを
検出して画素と画素との間の映像情報を決定することに
よって高い解像度の映像を得られ、その結果、電子的な
補間による映像拡大に際する解像度の劣化を減じること
ができる。更に、巡回型フィルタ等による映像構成によ
って解像度を向上させ、手ブレを安定化させた映像を得
られ、及び時間的巡回型フィルタの特性によるノイズ減
殺効果をもつ高解像度の電子式映像像拡大方法及び映像
拡大装置を提供することができる。本発明のこのような
効果は全てのカメラ分野で利用可能である。
【図１】入力映像の１次元信号と映像信号の標本化原理
を図示した概念図。
を図示した概念図。
【図２】隣接画素からの補間により画素間の映像情報を
決定する従来の映像拡大方法を図示した概念図。
決定する従来の映像拡大方法を図示した概念図。
【図３】カメラの信号処理に使用される従来の映像拡大
装置のブロック図。
装置のブロック図。
【図４】カメラの信号処理に使用される従来の映像安定
化機能をもつ映像拡大装置のブロック図。
化機能をもつ映像拡大装置のブロック図。
【図５】本発明の実施形態における、標本化された入力
映像を矩形函数の重畳を用い補間して出力を得る原理を
表した概念図。
映像を矩形函数の重畳を用い補間して出力を得る原理を
表した概念図。
【図６】位相差情報と巡回型フィルタを用いて高解像度
の映像を合成する本発明による電子式映像拡大装置の第
１実施形態を示すブロック図。
の映像を合成する本発明による電子式映像拡大装置の第
１実施形態を示すブロック図。
【図７】カメラの動きによって副画素動きの位相差で標
本化された入力映像と以前の出力映像を、時間軸上の加
重値をとって合成する原理を表した概念図。
本化された入力映像と以前の出力映像を、時間軸上の加
重値をとって合成する原理を表した概念図。
【図８】位相差情報による適応的な加重値と巡回型フィ
ルタを用いて高解像度の映像を合成する本発明による電
子式映像拡大装置の第２実施形態を示すブロック図。
ルタを用いて高解像度の映像を合成する本発明による電
子式映像拡大装置の第２実施形態を示すブロック図。
【図９】カメラの動きによる副画素動きの位相差で標本
化された入力映像と以前の出力映像とを、時間軸上の加
重値と空間軸上の加重値とをもって合成する原理を表し
た概念図。
化された入力映像と以前の出力映像とを、時間軸上の加
重値と空間軸上の加重値とをもって合成する原理を表し
た概念図。
３１ 撮像素子 ３２ Ａ／Ｄ変換器 ３３ 電子式映像拡大部 ３４ Ｄ／Ａ変換器 ４１ 撮像素子 ４２ Ａ／Ｄ変換器 ４３ 動き検出部 ４４ 映像安定化部 ４５ 電子映像拡大部 ４６ Ｄ／Ａ変換器 ６１ 動き検出部 ６２ 領域検出部 ６３ 拡大映像補正部 ６４ 映像補間部 ６５ 映像合成部 ６６ 映像メモリ部 ８１ 動き検出部 ８２ 領域検出部 ８３ 拡大映像補正部 ８４ 映像補間部 ８５ 映像合成部 ８６ 映像メモリ部
Claims (10)
- 【請求項１】 映像信号を入力して水平・垂直の方向に
画素単位の動き成分と副画素単位の動き成分を検出する
動き検出部と、この動き検出部から出力される画素単位
の水平・垂直動き成分を受けて映像信号を補正し、拡大
対象領域を検出する領域検出部と、この領域検出部の出
力を入力して検出された映像の標本化の周期を空間的に
拡大し、前記動き検出部から出力される副画素単位の水
平・垂直動き成分を受けて映像を補正する拡大映像補正
部と、この拡大映像補正部から出力される空間的に拡大
された映像に対する既値の全画素情報を受け、該画素情
報と提供される矩形函数とを重畳し、その画素を中心に
既値の画素情報を隣接した未値の画素に拡張して出力す
る映像補間部と、この映像補間部から出力される空間的
に動き補償されて空間的に拡張された映像、及び、１フ
ィールド（又はフレーム）前に出力されて記憶されてい
る映像を受け、これら２つの入力映像信号を、それぞれ
別の加重値をもつ巡回型フィルタで合成して最終映像を
出力する映像合成部と、この映像合成部から出力される
拡大補間された１フィールド（又はフレーム）の最終出
力映像を記憶し、次の映像合成のために記憶した１フィ
ールド（又はフレーム）前の映像を前記映像合成部へ帰
還出力する映像メモリ部と、を備えてなることを特徴と
する電子式映像拡大装置。 - 【請求項２】 映像合成部は、映像補間部から出力され
る空間的に動き補償されて空間的に拡張された映像と時
間軸上の加重値（１−ｋ）とを乗算する第１掛算器と、
１フィールド（又はフレーム）前に出力されて記憶され
ている映像と時間軸上の加重値（ｋ）とを乗算する第２
掛算器と、これら第１掛算器及び第２掛算器の各出力を
加算して最終映像を出力する加算器と、を有してなる請
求項１記載の電子式映像拡大装置。 - 【請求項３】 映像合成部は、時間軸上の加重値（１−
ｋ）と空間軸上の加重値とを加算する第１加算器と、映
像補間部から出力される空間的に動き補償されて空間的
に拡張された映像と前記第１加算器の出力とを乗算する
第１掛算器と、時間軸上の加重値（ｋ）と空間軸上の加
重値とを加減する加減器と、１フィールド（又はフレー
ム）前に出力されて記憶されている映像と前記加減器の
出力とを乗算する第２掛算器と、前記第１掛算器及び第
２掛算器の各出力を加算して最終映像を出力する第２加
算器と、を有してなる請求項１記載の電子式映像拡大装
置。 - 【請求項４】 １フィールド（又はフレーム）前に出力
されて記憶されている映像に対する時間軸上の加重値
（ｋ）が大きくなると各過去映像の比重が入力映像より
も大きくなり、該加重値（ｋ）が０．５から０．９の間
の値をもつときに安定したノイズの減殺された映像が出
力される請求項２又は請求項３記載の電子式映像拡大装
置。 - 【請求項５】 空間軸上の加重値は、入力映像の動き成
分による中心位置で空間的に高い加重値をもつ請求項３
記載の電子式映像拡大装置。 - 【請求項６】 映像メモリ部は、１つのフィールドメモ
リである請求項１記載の電子式映像拡大装置。 - 【請求項７】 映像信号を入力する入力段階と、該入力
段階による映像信号から水平・垂直の方向に画素単位の
動き成分と副画素単位の動き成分を検出する動き検出段
階と、前記入力段階による映像信号を、前記動き検出段
階において検出された画素単位の水平・垂直動き成分で
補正し、拡大対象領域を検出する領域検出段階と、該領
域検出段階で検出された拡大対象領域の映像の標本化周
期を空間的に拡大し、前記動き検出段階による副画素単
位の水平・垂直動き成分で拡大された映像を補正する映
像補正段階と、該映像補正段階で空間的に拡大された映
像に対する既値の全画像情報を矩形函数と重畳し、その
画素を中心に既値の画素情報を隣接した未値の各画素へ
拡張する映像補間段階と、該映像補間段階で空間的に動
き補償されて空間的に拡張された映像及び記憶してある
１フィールド（又はフレーム）前の映像を、それぞれ別
の時間軸上の加重値を置く巡回型フィルタで合成して最
終映像を出力する映像合成段階と、出力される拡大補間
された１フィールド（又はフレーム）の最終出力を記憶
し、前記映像合成段階における次の映像合成の際に１フ
ィールド（又はフレーム）前の映像を帰還させるための
記憶段階と、を含んでなることを特徴とする電子式映像
拡大方法。 - 【請求項８】 映像合成段階で、２つの入力映像信号に
それぞれ空間軸上の加重値を付加する請求項７記載の電
子式映像拡大方法。 - 【請求項９】 映像合成段階において、１フィールド
（又はフレーム）前の映像に対する時間軸上の加重値が
大きくなることで各過去映像の比重が入力映像より大き
くなり、該加重値が０．５から０．９の間の値をもつと
きに安定したノイズの減殺された映像が出力される請求
項７又は請求項８記載の電子式映像拡大方法。 - 【請求項１０】 空間軸上の加重値は、入力映像の動き
成分による中心位置で空間的に高い加重値をもつ請求項
８記載の電子式映像拡大方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1019950041540A KR0175406B1 (ko) | 1995-11-15 | 1995-11-15 | 고해상도의 전자식 영상확대장치 및 그 방법 |
| KR1995P41540 | 1995-11-15 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH09163216A true JPH09163216A (ja) | 1997-06-20 |
| JP4249272B2 JP4249272B2 (ja) | 2009-04-02 |
Family
ID=19434264
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP06682296A Expired - Fee Related JP4249272B2 (ja) | 1995-11-15 | 1996-03-22 | 高解像度の電子式映像拡大装置及びその方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US5666160A (ja) |
| JP (1) | JP4249272B2 (ja) |
| KR (1) | KR0175406B1 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2010026839A1 (ja) | 2008-09-04 | 2010-03-11 | 独立行政法人科学技術振興機構 | 映像信号変換システム |
Families Citing this family (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100283574B1 (ko) * | 1996-08-27 | 2001-03-02 | 윤종용 | 모니터 화면 사이즈 제어 회로 및 그 제어방법 |
| US6580456B1 (en) | 1997-11-16 | 2003-06-17 | Pictos Technologies, Inc. | Programmable timing generator |
| US6597394B1 (en) | 1997-11-16 | 2003-07-22 | Pictos Technologies, Inc. | Programmable image transform processor for digital image processing |
| US6750876B1 (en) | 1997-11-16 | 2004-06-15 | Ess Technology, Inc. | Programmable display controller |
| US6538694B1 (en) * | 1997-12-04 | 2003-03-25 | Victor Company Of Japan, Limited | Image pickup apparatus equipped with compatible-with-zooming type contour compensation circuit, compatible-with-image-pickup-conditions type image output circuit, and compatible-with-all-pixel-readout-system-solid-image-pickup-element type electronic zoom circuit |
| US6101235A (en) * | 1998-05-27 | 2000-08-08 | General Electric Company | Methods and apparatus for altering spatial characteristics of a digital image |
| US6476873B1 (en) | 1998-10-23 | 2002-11-05 | Vtel Corporation | Enhancement of a selectable region of video |
| US6463177B1 (en) | 1998-11-04 | 2002-10-08 | Sharp Laboratories Of America, Inc. | Dynamic management of embedded coded images in a digital storage device |
| KR100561449B1 (ko) * | 1999-01-19 | 2006-03-16 | 삼성전자주식회사 | 디지털 줌 아웃 처리 장치 |
| KR100619680B1 (ko) * | 1999-12-07 | 2006-09-06 | 엘지전자 주식회사 | 홍채 인식 시스템의 모션 블러링 교정방법 |
| JP3991543B2 (ja) | 2000-01-11 | 2007-10-17 | 株式会社日立製作所 | 撮像装置 |
| US6718074B1 (en) | 2000-06-02 | 2004-04-06 | Cognex Corporation | Method and apparatus for inspection for under-resolved features in digital images |
| JP3913491B2 (ja) * | 2001-04-20 | 2007-05-09 | 三洋電機株式会社 | ディジタルズーム装置 |
| JP4046957B2 (ja) * | 2001-07-05 | 2008-02-13 | キヤノン株式会社 | 撮像装置及びその制御方法、情報処理装置及び方法、並びに記憶媒体 |
| US7657123B2 (en) * | 2001-10-03 | 2010-02-02 | Microsoft Corporation | Text document capture with jittered digital camera |
| CN1327690C (zh) * | 2004-03-19 | 2007-07-18 | 华亚微电子（上海）有限公司 | 一种视频图像缩放过程中的清晰度补偿方法 |
| JPWO2006043483A1 (ja) * | 2004-10-18 | 2008-05-22 | 松下電器産業株式会社 | 映像信号処理装置 |
| US8149918B2 (en) | 2005-11-10 | 2012-04-03 | Electronics And Telecommunications Research Institute | Method of estimating coded block pattern and method of determining block mode using the same for moving picture encoder |
| US8994877B2 (en) | 2008-07-30 | 2015-03-31 | Semiconductor Components Industries, Llc | Method and system for synchronizing a flash to an imager |
| US9484946B2 (en) * | 2014-08-25 | 2016-11-01 | Nxp B.V. | Digital-to-analog converter (DAC), method for operating a DAC and transceiver circuit |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5083208A (en) * | 1988-12-26 | 1992-01-21 | Ricoh Company, Ltd. | Electronic zoom apparatus |
| KR940007161B1 (ko) * | 1991-06-21 | 1994-08-06 | 삼성전자 주식회사 | 이미지버퍼를 이용한 전자주밍시스템 |
| US5371539A (en) * | 1991-10-18 | 1994-12-06 | Sanyo Electric Co., Ltd. | Video camera with electronic picture stabilizer |
| JPH06205271A (ja) * | 1992-12-28 | 1994-07-22 | Canon Inc | カメラ一体型ビデオカメラ |
-
1995
- 1995-11-15 KR KR1019950041540A patent/KR0175406B1/ko not_active Expired - Fee Related
-
1996
- 1996-03-22 JP JP06682296A patent/JP4249272B2/ja not_active Expired - Fee Related
- 1996-06-03 US US08/656,808 patent/US5666160A/en not_active Expired - Lifetime
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2010026839A1 (ja) | 2008-09-04 | 2010-03-11 | 独立行政法人科学技術振興機構 | 映像信号変換システム |
Also Published As
| Publication number | Publication date |
|---|---|
| KR970032151A (ko) | 1997-06-26 |
| JP4249272B2 (ja) | 2009-04-02 |
| US5666160A (en) | 1997-09-09 |
| KR0175406B1 (ko) | 1999-03-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4249272B2 (ja) | 高解像度の電子式映像拡大装置及びその方法 | |
| US8072511B2 (en) | Noise reduction processing apparatus, noise reduction processing method, and image sensing apparatus | |
| JP3734829B2 (ja) | 電子画像安定化システム及び方法 | |
| US4672442A (en) | Frame rate conversion system in television signal | |
| US8009934B2 (en) | Image processing method and apparatus setting spatial decimation to movement within image regions | |
| JP2989364B2 (ja) | 画像処理装置及び画像処理方法 | |
| JP4218022B2 (ja) | 合成画像を生成する方法 | |
| EP2302906A2 (en) | Image processing apparatus and method, recording medium, and program | |
| JPH02246686A (ja) | 画像の動きベクトル検出装置および揺れ補正装置 | |
| JP2009037460A (ja) | 画像処理方法、画像処理装置、及びこの画像処理装置を備えた電子機器 | |
| KR100232113B1 (ko) | 동벡터검출장치 | |
| JP2007088828A (ja) | 手ぶれ補正装置 | |
| JP3868446B2 (ja) | 撮像装置 | |
| JP2624507B2 (ja) | 動き補正型テレシネ装置 | |
| EP0641123B1 (en) | Image movement compensation apparatus | |
| JP2641599B2 (ja) | 動きベクトル検出装置 | |
| JP2007527139A (ja) | 動き補償画像信号の補間 | |
| JP2621468B2 (ja) | ビデオカメラ装置 | |
| JPH08279949A (ja) | 電子ズーム処理装置および電子ズーム処理方法 | |
| JP2006325276A (ja) | 撮像装置 | |
| JP2621469B2 (ja) | ビデオカメラ装置 | |
| JP4379100B2 (ja) | 撮像装置および方法、並びにプログラム | |
| JPH1153530A (ja) | 画像補間装置 | |
| JP3374431B2 (ja) | 補間機能付き撮像装置 | |
| GB2343317A (en) | Video motion detection |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040831 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20040901 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040921 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20041217 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20041222 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20050125 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050322 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20050510 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081105 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090115 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120123 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081105 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130123 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |