JPH07123308A - 電子ズーム装置及び電子ズーム方法 - Google Patents
電子ズーム装置及び電子ズーム方法Info
- Publication number
- JPH07123308A JPH07123308A JP6205820A JP20582094A JPH07123308A JP H07123308 A JPH07123308 A JP H07123308A JP 6205820 A JP6205820 A JP 6205820A JP 20582094 A JP20582094 A JP 20582094A JP H07123308 A JPH07123308 A JP H07123308A
- Authority
- JP
- Japan
- Prior art keywords
- image data
- image
- zoom
- coefficient
- class code
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Studio Circuits (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Controls And Circuits For Display Device (AREA)
- Viewfinders (AREA)
- Image Processing (AREA)
Abstract
(57)【要約】
【構成】 予め、ブロック化された基本画像とこの基本
画像を拡大した拡大画像とから補間画素を補間するため
のデータが学習されてＲＯＭ１０４内に記憶されてい
る。ブロック化回路１０２でブロック化された基本画像
データはクラスコード発生回路１０３でクラス分類さ
れ、クラスコードが発生される。ＲＯＭ１０４では上記
クラスコードに応じた補間のためのデータが読み出され
て画素合成回路１０７に送られる。また、画素合成回路
１０７には画素位置変換部１０５からの位置変換された
基本画像データの各画素が送られることにより、拡大画
像が合成される。 【効果】 解像度を低下させずに拡大画像を合成するこ
とができる。
画像を拡大した拡大画像とから補間画素を補間するため
のデータが学習されてＲＯＭ１０４内に記憶されてい
る。ブロック化回路１０２でブロック化された基本画像
データはクラスコード発生回路１０３でクラス分類さ
れ、クラスコードが発生される。ＲＯＭ１０４では上記
クラスコードに応じた補間のためのデータが読み出され
て画素合成回路１０７に送られる。また、画素合成回路
１０７には画素位置変換部１０５からの位置変換された
基本画像データの各画素が送られることにより、拡大画
像が合成される。 【効果】 解像度を低下させずに拡大画像を合成するこ
とができる。
Description
【０００１】
【産業上の利用分野】本発明は、入力画像信号が拡大さ
れた画像信号を出力する電子ズーム装置及び電子ズーム
方法に関する。
れた画像信号を出力する電子ズーム装置及び電子ズーム
方法に関する。
【０００２】
【従来の技術】従来の電子ズーム装置において、所定の
画像をズームアップしてズーム画像を合成する場合に
は、線形補間フィルタ等を用いてズーム画像中に画素を
補間している。
画像をズームアップしてズーム画像を合成する場合に
は、線形補間フィルタ等を用いてズーム画像中に画素を
補間している。
【０００３】
【発明が解決しようとする課題】ところで、この線形補
間フィルタを用いると、ズーム画像のエッジ部又は境界
部の解像度が無くなるので、ズーム画像にはぼけが目立
つようになる。この現象は、ズーム率を大きくするほど
顕著に現れる。また、ズーム画像を用いる場合には、ズ
ームアップされる対象物の細部を拡大して詳細に見たい
という意図があるにも関わらず、対象物に対してズーム
アップすると解像度が低下してしまうのは問題である。
間フィルタを用いると、ズーム画像のエッジ部又は境界
部の解像度が無くなるので、ズーム画像にはぼけが目立
つようになる。この現象は、ズーム率を大きくするほど
顕著に現れる。また、ズーム画像を用いる場合には、ズ
ームアップされる対象物の細部を拡大して詳細に見たい
という意図があるにも関わらず、対象物に対してズーム
アップすると解像度が低下してしまうのは問題である。
【０００４】そこで、本発明は上述の実情に鑑み、画像
をズームアップした場合に、解像度を落とさずにズーム
画像を合成することができる電子ズーム装置及び電子ズ
ーム方法を提供するものである。
をズームアップした場合に、解像度を落とさずにズーム
画像を合成することができる電子ズーム装置及び電子ズ
ーム方法を提供するものである。
【０００５】
【課題を解決するための手段】本発明に係る電子ズーム
装置は、入力される基本画像の画像データのブロック化
を行うブロック化手段と、上記ブロック化手段からのブ
ロック化された画像データを複数のクラスに分類し、こ
のクラスを示すクラスコードを発生するクラス分類手段
と、上記クラス分類手段からのクラスコードに応じて最
適化された所定の画像データを発生する画像データ発生
手段と、ズーム率に応じて、上記基本画像の画像データ
のズーム画像上での表示位置を移動させる表示位置変換
手段と、上記画像データ発生手段からの画像データと上
記表示位置変換手段からの画像データを合成してズーム
画像を出力する画素合成手段とを有して成ることにより
上述した課題を解決する。
装置は、入力される基本画像の画像データのブロック化
を行うブロック化手段と、上記ブロック化手段からのブ
ロック化された画像データを複数のクラスに分類し、こ
のクラスを示すクラスコードを発生するクラス分類手段
と、上記クラス分類手段からのクラスコードに応じて最
適化された所定の画像データを発生する画像データ発生
手段と、ズーム率に応じて、上記基本画像の画像データ
のズーム画像上での表示位置を移動させる表示位置変換
手段と、上記画像データ発生手段からの画像データと上
記表示位置変換手段からの画像データを合成してズーム
画像を出力する画素合成手段とを有して成ることにより
上述した課題を解決する。
【０００６】ここで、上記画像データ発生手段は、上記
拡大されたズーム画像を得るための補間画像データを発
生することが好ましい。また、上記画像データ発生手段
は、クラスコードに応じた係数を発生する係数記憶手段
と、上記係数発生手段からの係数と上記入力される画像
データとを演算して所定の画素を求める画素演算手段と
から成ることを特徴とする。
拡大されたズーム画像を得るための補間画像データを発
生することが好ましい。また、上記画像データ発生手段
は、クラスコードに応じた係数を発生する係数記憶手段
と、上記係数発生手段からの係数と上記入力される画像
データとを演算して所定の画素を求める画素演算手段と
から成ることを特徴とする。
【０００７】さらに、上記係数記憶手段には、基本画像
とこの基本画像が拡大されたズーム画像とを比較して予
め補間すべき画素を学習することにより得られる係数が
記憶されていることを特徴とする。本発明に係る電子ズ
ーム方法は、入力される基本画像の画像データのブロッ
ク化を行うブロック化工程と、上記ブロック化工程から
のブロック化された画像データを複数のクラスに分類
し、このクラスを示すクラスコードを発生するクラス分
類工程と、上記クラス分類工程からのクラスコードに応
じて最適化された所定の画像データを発生する画像デー
タ発生工程と、ズーム率に応じて、上記基本画像の画像
データのズーム画像上での表示位置を移動させる表示位
置変換工程と、上記画像データ発生工程からの画像デー
タと上記表示位置変換工程からの画像データを合成して
ズーム画像を出力する画素合成工程とを有して成ること
により上述した課題を解決する。
とこの基本画像が拡大されたズーム画像とを比較して予
め補間すべき画素を学習することにより得られる係数が
記憶されていることを特徴とする。本発明に係る電子ズ
ーム方法は、入力される基本画像の画像データのブロッ
ク化を行うブロック化工程と、上記ブロック化工程から
のブロック化された画像データを複数のクラスに分類
し、このクラスを示すクラスコードを発生するクラス分
類工程と、上記クラス分類工程からのクラスコードに応
じて最適化された所定の画像データを発生する画像デー
タ発生工程と、ズーム率に応じて、上記基本画像の画像
データのズーム画像上での表示位置を移動させる表示位
置変換工程と、上記画像データ発生工程からの画像デー
タと上記表示位置変換工程からの画像データを合成して
ズーム画像を出力する画素合成工程とを有して成ること
により上述した課題を解決する。
【０００８】また、上記画像データ発生工程は、クラス
コードに応じた係数を発生する係数記憶工程と、上記係
数発生工程からの係数と上記入力される画像データとを
演算して所定の画素を求める画素演算工程とから成るこ
とを特徴とする。さらに、上記係数記憶工程には、基本
画像とこの基本画像が拡大されたズーム画像とを比較し
て予め補間すべき画素を学習することにより得られる係
数が記憶されていることを特徴とする。
コードに応じた係数を発生する係数記憶工程と、上記係
数発生工程からの係数と上記入力される画像データとを
演算して所定の画素を求める画素演算工程とから成るこ
とを特徴とする。さらに、上記係数記憶工程には、基本
画像とこの基本画像が拡大されたズーム画像とを比較し
て予め補間すべき画素を学習することにより得られる係
数が記憶されていることを特徴とする。
【０００９】
【作用】入力画像に応じて得られたクラスコードに応じ
て所定の画像データを発生し、表示位置変換手段からの
画像データと合成して拡大画像あるいはズーム画像を得
ているため、解像度を劣化させることなく拡大画像ある
いはズーム画像を生成することができる。
て所定の画像データを発生し、表示位置変換手段からの
画像データと合成して拡大画像あるいはズーム画像を得
ているため、解像度を劣化させることなく拡大画像ある
いはズーム画像を生成することができる。
【００１０】また、係数記憶手段において予め記憶され
ている係数と入力される基本画像の画像データとを演算
して補間画素を求め、この補間画素を用いて基本画像を
拡大することにより、高画質の拡大画像を得ることがで
きる。
ている係数と入力される基本画像の画像データとを演算
して補間画素を求め、この補間画素を用いて基本画像を
拡大することにより、高画質の拡大画像を得ることがで
きる。
【００１１】
【実施例】以下、本発明の好ましい実施例について、図
面を参照しながら説明する。図１は、本発明に係る電子
ズーム装置の第１の実施例の概略的な構成を示すブロッ
ク図である。この図１に示す装置において、画像信号生
成回路１００は、光学的画像から入力画像信号を生成す
る。この画像信号生成回路１００としては、例えばビデ
オカメラが挙げられる。
面を参照しながら説明する。図１は、本発明に係る電子
ズーム装置の第１の実施例の概略的な構成を示すブロッ
ク図である。この図１に示す装置において、画像信号生
成回路１００は、光学的画像から入力画像信号を生成す
る。この画像信号生成回路１００としては、例えばビデ
オカメラが挙げられる。
【００１２】ズーム率選択回路１０１は、予め定められ
た複数のズーム率の内から、ズーム画像のためのズーム
率をユーザが任意に選択できるようにする。このような
選択に応じて、選択回路１０１はズーム率信号を補間画
像データ発生回路１１０のブロック化回路１０２に出力
する。ここで、画像信号生成回路１００からの入力画像
信号としての基本画像のディジタル画像データは、ブロ
ック化回路１０２に送られる。上記ブロック化回路１０
２には基本画像を拡大する所望のズーム率が上記ズーム
率選択回路１０１から与えられている。よって、上記ブ
ロック化回路１０２では、上記ズーム率により、ズーム
前の基本画像内のズームされる領域を特定することがで
き、この特定されたズームされるべき領域の画像データ
のブロック化が行われる。このブロック化回路１０２の
一具体例としては、拡大される領域内に含まれる画像デ
ータを、入力画像のサブエリアにそれぞれ対応する例え
ば８×８画素ブロック信号に分割するものが挙げられ
る。他の具体例ではブロックサイズや形状の異なるもの
が用いられる。上記ブロック化回路１０２からのブロッ
ク化された画像データは、クラスコード発生回路１０３
に出力される。
た複数のズーム率の内から、ズーム画像のためのズーム
率をユーザが任意に選択できるようにする。このような
選択に応じて、選択回路１０１はズーム率信号を補間画
像データ発生回路１１０のブロック化回路１０２に出力
する。ここで、画像信号生成回路１００からの入力画像
信号としての基本画像のディジタル画像データは、ブロ
ック化回路１０２に送られる。上記ブロック化回路１０
２には基本画像を拡大する所望のズーム率が上記ズーム
率選択回路１０１から与えられている。よって、上記ブ
ロック化回路１０２では、上記ズーム率により、ズーム
前の基本画像内のズームされる領域を特定することがで
き、この特定されたズームされるべき領域の画像データ
のブロック化が行われる。このブロック化回路１０２の
一具体例としては、拡大される領域内に含まれる画像デ
ータを、入力画像のサブエリアにそれぞれ対応する例え
ば８×８画素ブロック信号に分割するものが挙げられ
る。他の具体例ではブロックサイズや形状の異なるもの
が用いられる。上記ブロック化回路１０２からのブロッ
ク化された画像データは、クラスコード発生回路１０３
に出力される。
【００１３】上記クラスコード発生回路１０３では、送
られた各ブロック毎の画像データのパターンをクラス分
類し、このクラス分類された画像データパターンに対応
するクラスコードを発生する。すなわち、各クラスコー
ドは、当該クラスコードの元になるブロック信号により
示される入力画像のサブエリアに対応する拡大画像部分
の所定の画像データを識別する。発生されたクラスコー
ドはＲＯＭ（読み出し専用メモリ）１０４に送られる。
られた各ブロック毎の画像データのパターンをクラス分
類し、このクラス分類された画像データパターンに対応
するクラスコードを発生する。すなわち、各クラスコー
ドは、当該クラスコードの元になるブロック信号により
示される入力画像のサブエリアに対応する拡大画像部分
の所定の画像データを識別する。発生されたクラスコー
ドはＲＯＭ（読み出し専用メモリ）１０４に送られる。
【００１４】このＲＯＭ１０４には、拡大されるズーム
画像内に画素を補間するためのデータが予め学習により
得られ、クラスコードと共にテーブルとして記憶されて
いる。よって、上記ＲＯＭ１０４では、上記クラスコー
ド発生回路１０３からのクラスコードをアドレスとして
用いることにより、このクラスコードに応じたズーム画
像中に補間画素を補間するためのデータが読み出され
る。
画像内に画素を補間するためのデータが予め学習により
得られ、クラスコードと共にテーブルとして記憶されて
いる。よって、上記ＲＯＭ１０４では、上記クラスコー
ド発生回路１０３からのクラスコードをアドレスとして
用いることにより、このクラスコードに応じたズーム画
像中に補間画素を補間するためのデータが読み出され
る。
【００１５】また、このＲＯＭ１０４には、上記ブロッ
ク化回路１０２に与えられたズーム率と同じズーム率が
入力されており、このズーム率を用いて、上記補間のた
めのデータで示される補間画素の位置が算出される。す
なわち、ＲＯＭ１０４は、上記クラスコード及び選択さ
れたズーム率のいずれもが直接的に読み出しアドレスと
されるか、あるいはこれらから間接的に読み出しアドレ
スが生成されて、予め決められた複数の画像データの内
の選択されたものが読み出される。読み出されたデータ
は、ズーム画像信号合成回路１０７にて補間画像データ
として用いられ、後述するように拡大された画像信号の
合成が行われる。
ク化回路１０２に与えられたズーム率と同じズーム率が
入力されており、このズーム率を用いて、上記補間のた
めのデータで示される補間画素の位置が算出される。す
なわち、ＲＯＭ１０４は、上記クラスコード及び選択さ
れたズーム率のいずれもが直接的に読み出しアドレスと
されるか、あるいはこれらから間接的に読み出しアドレ
スが生成されて、予め決められた複数の画像データの内
の選択されたものが読み出される。読み出されたデータ
は、ズーム画像信号合成回路１０７にて補間画像データ
として用いられ、後述するように拡大された画像信号の
合成が行われる。
【００１６】ＲＯＭ１０４の代わりに他の種類の記憶素
子を用いることができる。例えば、いわゆるフラッシュ
メモリや他の不揮発性メモリ素子を使用できる。また、
上記工程に対応して、テープ、ディスク等の記録手段か
ら読み出された画像データをＲＡＭに記憶することで、
上記ＲＯＭ１０４の代わりとすることもできる。上記画
像信号生成回路１００からの入力画像信号は画素位置変
換回路１０５に供給されており、この画素位置変換回路
１０５にはズーム率選択回路１０１からのズーム率信号
も供給されている。上記ズーム率信号に基づいて、画素
位置変換回路１０５は入力画像信号内の各画素の位置を
変更して、各画素が所望のズーム画像を生成するための
拡大画像信号内の正しい位置を占めるようにする。
子を用いることができる。例えば、いわゆるフラッシュ
メモリや他の不揮発性メモリ素子を使用できる。また、
上記工程に対応して、テープ、ディスク等の記録手段か
ら読み出された画像データをＲＡＭに記憶することで、
上記ＲＯＭ１０４の代わりとすることもできる。上記画
像信号生成回路１００からの入力画像信号は画素位置変
換回路１０５に供給されており、この画素位置変換回路
１０５にはズーム率選択回路１０１からのズーム率信号
も供給されている。上記ズーム率信号に基づいて、画素
位置変換回路１０５は入力画像信号内の各画素の位置を
変更して、各画素が所望のズーム画像を生成するための
拡大画像信号内の正しい位置を占めるようにする。
【００１７】例えば、図２の（ａ）には、信号の中心部
分をズーム中心とする３×３画素ブロックの入力画像信
号の例が示されている。ズーム画像中では、入力画像信
号中の各画素は、画素位置が変換されてそのまま用いら
れる。図２の（ｂ）には、例えばズーム率が２のときに
上記画素位置変換回路１０５によって位置変換された○
印で示される同じ画素の相対位置を表示している。すな
わち、図２の（ａ）の基本画像中の○印で示される４つ
の画素ａ、ｂ、ｃ、ｄは、図２の（ｂ）のズーム画像中
では、画素ａ、ｂ、ｃ、ｄの位置に変換されて用いられ
る。また、ズーム画像中の×印で示される画素は、ズー
ム画像内に新たに補間された補間画素である。この２倍
に拡大されたズーム画像の画像データは、例えば特開平
４−３１８７６６号公報において提案されているズーム
率算出方法により求めることができる。
分をズーム中心とする３×３画素ブロックの入力画像信
号の例が示されている。ズーム画像中では、入力画像信
号中の各画素は、画素位置が変換されてそのまま用いら
れる。図２の（ｂ）には、例えばズーム率が２のときに
上記画素位置変換回路１０５によって位置変換された○
印で示される同じ画素の相対位置を表示している。すな
わち、図２の（ａ）の基本画像中の○印で示される４つ
の画素ａ、ｂ、ｃ、ｄは、図２の（ｂ）のズーム画像中
では、画素ａ、ｂ、ｃ、ｄの位置に変換されて用いられ
る。また、ズーム画像中の×印で示される画素は、ズー
ム画像内に新たに補間された補間画素である。この２倍
に拡大されたズーム画像の画像データは、例えば特開平
４−３１８７６６号公報において提案されているズーム
率算出方法により求めることができる。
【００１８】回路１０５で位置変換がされた後、入力画
像信号の画素データは、拡大画像信号合成回路１０７に
供給される。ここで図２の（ｂ）を参照して、拡大画像
信号合成回路１０７は、変換回路１０５から供給された
画素の位置の間の×印の位置において、ＲＯＭ１０４か
ら出力された補間画素を挿入し、これによって合成拡大
画像信号を生成する。この拡大画像信号を合成した後、
合成回路１０７は、表示装置１０８に線順次形態で拡大
画像信号を出力し、拡大された画像の表示を行わせる。
像信号の画素データは、拡大画像信号合成回路１０７に
供給される。ここで図２の（ｂ）を参照して、拡大画像
信号合成回路１０７は、変換回路１０５から供給された
画素の位置の間の×印の位置において、ＲＯＭ１０４か
ら出力された補間画素を挿入し、これによって合成拡大
画像信号を生成する。この拡大画像信号を合成した後、
合成回路１０７は、表示装置１０８に線順次形態で拡大
画像信号を出力し、拡大された画像の表示を行わせる。
【００１９】ところで、ＲＯＭ１０４に記憶されるべき
補間画像データを生成するために、次のような学習過程
が実行される。例えばビデオカメラから基本画像の画像
信号が得られ、同じ画像に対応する拡大データが選択さ
れたズーム率に応じて光学的にビデオカメラを拡大する
ことで得られる。例えば、学習される基本画像として、
上記図２の（ａ）に示す画像を用いる場合を考える。先
ず、図２の（ａ）の基本画像と、この基本画像の画素ｄ
をズーム中心として、例えば光学的に２倍に拡大された
図２の（ｂ）に示すズーム画像を用意する。
補間画像データを生成するために、次のような学習過程
が実行される。例えばビデオカメラから基本画像の画像
信号が得られ、同じ画像に対応する拡大データが選択さ
れたズーム率に応じて光学的にビデオカメラを拡大する
ことで得られる。例えば、学習される基本画像として、
上記図２の（ａ）に示す画像を用いる場合を考える。先
ず、図２の（ａ）の基本画像と、この基本画像の画素ｄ
をズーム中心として、例えば光学的に２倍に拡大された
図２の（ｂ）に示すズーム画像を用意する。
【００２０】基本画像を表す画像データと拡大画像を表
す画像データとは、例えば３×３画素ブロックとして選
択されたブロック信号に区分される。そして、基本画像
の各ブロック信号のためにクラスコードが発生される。
次に、基本画像データの対応するブロックのクラスコー
ドに応じて、拡大画像データのブロックがグループ化さ
れる。学習（トレーニング）は、各クラスコードについ
てＲＯＭ１０４に記憶されるべき最適の画像データを生
成するように行われる。最適画像データは拡大画像デー
タの対応ブロックから得られる。例えば、同じクラスコ
ードを有する拡大画像データのブロック信号が平均化さ
れることによって、当該クラスコードに対応する最適値
あるいは代表値がそれらのブロックから選択される。あ
るいは、全てよりは少ないブロック信号を用いて最適値
が生成される。この工程は、基本画像データの全てのブ
ロック信号及び拡大画像データについて行われ、値の表
が構成されて、ＲＯＭ１０４に記憶される。
す画像データとは、例えば３×３画素ブロックとして選
択されたブロック信号に区分される。そして、基本画像
の各ブロック信号のためにクラスコードが発生される。
次に、基本画像データの対応するブロックのクラスコー
ドに応じて、拡大画像データのブロックがグループ化さ
れる。学習（トレーニング）は、各クラスコードについ
てＲＯＭ１０４に記憶されるべき最適の画像データを生
成するように行われる。最適画像データは拡大画像デー
タの対応ブロックから得られる。例えば、同じクラスコ
ードを有する拡大画像データのブロック信号が平均化さ
れることによって、当該クラスコードに対応する最適値
あるいは代表値がそれらのブロックから選択される。あ
るいは、全てよりは少ないブロック信号を用いて最適値
が生成される。この工程は、基本画像データの全てのブ
ロック信号及び拡大画像データについて行われ、値の表
が構成されて、ＲＯＭ１０４に記憶される。
【００２１】すなわち、ズーム画像中の上記図２の４つ
の画素ａ、ｂ、ｃ、ｄ内に補間画素ｐを生成する場合に
は、基本画像中の４つの画素ａ、ｂ、ｃ、ｄから成る１
ブロックの画像データパターンをクラス分類し、このク
ラス分類された画像データパターンに対応するクラスコ
ードと上記画像データパターン内に補間画素ｐを補間す
るためのデータとを予め学習する。このように、上記Ｒ
ＯＭ１０４内には、所定のクラスコード及びこのクラス
コードに対応する補間画素を補間するためのデータが、
予め学習されて複数記憶されている。
の画素ａ、ｂ、ｃ、ｄ内に補間画素ｐを生成する場合に
は、基本画像中の４つの画素ａ、ｂ、ｃ、ｄから成る１
ブロックの画像データパターンをクラス分類し、このク
ラス分類された画像データパターンに対応するクラスコ
ードと上記画像データパターン内に補間画素ｐを補間す
るためのデータとを予め学習する。このように、上記Ｒ
ＯＭ１０４内には、所定のクラスコード及びこのクラス
コードに対応する補間画素を補間するためのデータが、
予め学習されて複数記憶されている。
【００２２】上記ＲＯＭ１０４内に記憶されるクラスコ
ードの最も簡便な分類方法は、クラス分類される基本画
像のブロック毎の画像データに圧縮等の処理を行わず、
上記ブロック毎の画像データのビット系列をそのままク
ラスコードとする方法である。しかし、ビット系列がそ
のままクラスコードである場合には、上記クラスコード
と同等な数の画像データパターンを記憶しておかなけれ
ばならず、このためには膨大な容量のＲＯＭが必要とな
る。従って、実現性を考慮した場合には、学習される基
本画像の画像データに圧縮等の処理を用いることが考え
られる。
ードの最も簡便な分類方法は、クラス分類される基本画
像のブロック毎の画像データに圧縮等の処理を行わず、
上記ブロック毎の画像データのビット系列をそのままク
ラスコードとする方法である。しかし、ビット系列がそ
のままクラスコードである場合には、上記クラスコード
と同等な数の画像データパターンを記憶しておかなけれ
ばならず、このためには膨大な容量のＲＯＭが必要とな
る。従って、実現性を考慮した場合には、学習される基
本画像の画像データに圧縮等の処理を用いることが考え
られる。
【００２３】そこで、実現性を考えたメモリ容量を考慮
に入れると、クラス分類にデータ圧縮結果等を用いるこ
とが考えられる。このデータ圧縮には、例えば、後述す
る画像信号のダイナミックレンジに応じた適応ダイナミ
ックレンジ符号化（ＡＤＲＣ）や、差分量子化（ＤＰＣ
Ｍ）、ベクトル量子化（ＶＱ）等が考えられる。例え
ば、上記クラスコードの数を上記ＡＤＲＣ（適応型ダイ
ナミックレンジ符号化）を使用して削減する方法が考え
られる。本来、ＡＤＲＣはＶＴＲ（ビデオテープレコー
ダ）向けの高能率符号化用に開発された適応的再量子化
法であり、ディジタル画像信号をブロック化し、このブ
ロック内に含まれる複数の画素データの最大値及び最小
値により規定されるダイナミックレンジを求め、このブ
ロック単位で求めた上記ダイナミックレンジに適応した
割り当てビット数で当該ブロック内の各画素データを符
号化するものであり、信号レベルの局所的なパターンを
短い語長で効率的に表現することができる。
に入れると、クラス分類にデータ圧縮結果等を用いるこ
とが考えられる。このデータ圧縮には、例えば、後述す
る画像信号のダイナミックレンジに応じた適応ダイナミ
ックレンジ符号化（ＡＤＲＣ）や、差分量子化（ＤＰＣ
Ｍ）、ベクトル量子化（ＶＱ）等が考えられる。例え
ば、上記クラスコードの数を上記ＡＤＲＣ（適応型ダイ
ナミックレンジ符号化）を使用して削減する方法が考え
られる。本来、ＡＤＲＣはＶＴＲ（ビデオテープレコー
ダ）向けの高能率符号化用に開発された適応的再量子化
法であり、ディジタル画像信号をブロック化し、このブ
ロック内に含まれる複数の画素データの最大値及び最小
値により規定されるダイナミックレンジを求め、このブ
ロック単位で求めた上記ダイナミックレンジに適応した
割り当てビット数で当該ブロック内の各画素データを符
号化するものであり、信号レベルの局所的なパターンを
短い語長で効率的に表現することができる。
【００２４】より具体的に言うと、上記ＡＤＲＣは、１
フレーム（又はフィールド）内の所定のブロック内に含
まれる複数画素の最大値及び最小値により規定されるダ
イナミックレンジ（ブロック内最大レベルと最小レベル
の差）を求め、このダイナミックレンジに適応した可変
の量子化ビット数を上記ブロック毎に決定し、この量子
化ビット数で最小値除去後の入力データを符号化（再量
子化、すなわち圧縮された量子化ビット数によりダイナ
ミックレンジを均等に分割し、ブロック内の各画素を最
も近いレベルのコードに符号化する）して符号化コード
を得ると共に、ダイナミックレンジの情報と上記最大
値，最小値の内の何れかを付加コードとし、これら符号
化コードと付加コードとを得るようなものである。
フレーム（又はフィールド）内の所定のブロック内に含
まれる複数画素の最大値及び最小値により規定されるダ
イナミックレンジ（ブロック内最大レベルと最小レベル
の差）を求め、このダイナミックレンジに適応した可変
の量子化ビット数を上記ブロック毎に決定し、この量子
化ビット数で最小値除去後の入力データを符号化（再量
子化、すなわち圧縮された量子化ビット数によりダイナ
ミックレンジを均等に分割し、ブロック内の各画素を最
も近いレベルのコードに符号化する）して符号化コード
を得ると共に、ダイナミックレンジの情報と上記最大
値，最小値の内の何れかを付加コードとし、これら符号
化コードと付加コードとを得るようなものである。
【００２５】よって、ＡＤＲＣを使用してクラス分類を
行う場合には、画像データのパターンの性質を保存した
効果的なクラスコードの数の削減を行うことができる。
ここで、例えば、ｎ個の信号画素に基づくクラスコード
発生を例にとり、ｉ番目の画素のレベルをｘi とする。
例えばｉ＝１〜３である。また、ｘi のデータに対して
ｐビットＡＤＲＣを行った結果の再量子化データをｑi
とし、そのダイナミックレンジをＤＲ、最小値をｍｉｎ
とする。このとき、このブロックのクラス番号（クラス
コード）class は、次の式（１）で定義される。
行う場合には、画像データのパターンの性質を保存した
効果的なクラスコードの数の削減を行うことができる。
ここで、例えば、ｎ個の信号画素に基づくクラスコード
発生を例にとり、ｉ番目の画素のレベルをｘi とする。
例えばｉ＝１〜３である。また、ｘi のデータに対して
ｐビットＡＤＲＣを行った結果の再量子化データをｑi
とし、そのダイナミックレンジをＤＲ、最小値をｍｉｎ
とする。このとき、このブロックのクラス番号（クラス
コード）class は、次の式（１）で定義される。
【００２６】
【数１】
【００２７】クラスコード形成については、上述したよ
うな圧縮技術を用いたり、他の方法を用いてもよいこと
は勿論である。次に、図３は、本発明の第２の実施例と
しての電子ズーム装置に用いられる補間画像データ発生
回路の概略構成のブロック図を示している。この図３に
おいて、入力端子１２に供給された入力画像信号は、ブ
ロック化回路１３に送られて複数のブロック信号に分割
される。このブロック化回路１３の出力は、フィルタ１
４及び減算器１５に供給される。フィルタ１４は、画像
信号のノイズを低減するのに好適な一般のノイズ低減フ
ィルタである。このフィルタ１４として使用可能なノイ
ズ低減フィルタの一例として、メジアン値フィルタを挙
げることができる。当該フィルタ１４は、フィルタ処理
された画像信号を減算器１５に減算信号として送る。減
算器１５は、フィルタ１４からの各フィルタ処理された
ブロック信号とブロック化回路１３からの各ブロック信
号との差分に応じた差分画像信号を生成し、各差分ブロ
ック信号をクラスコード発生回路１６に送っている。
うな圧縮技術を用いたり、他の方法を用いてもよいこと
は勿論である。次に、図３は、本発明の第２の実施例と
しての電子ズーム装置に用いられる補間画像データ発生
回路の概略構成のブロック図を示している。この図３に
おいて、入力端子１２に供給された入力画像信号は、ブ
ロック化回路１３に送られて複数のブロック信号に分割
される。このブロック化回路１３の出力は、フィルタ１
４及び減算器１５に供給される。フィルタ１４は、画像
信号のノイズを低減するのに好適な一般のノイズ低減フ
ィルタである。このフィルタ１４として使用可能なノイ
ズ低減フィルタの一例として、メジアン値フィルタを挙
げることができる。当該フィルタ１４は、フィルタ処理
された画像信号を減算器１５に減算信号として送る。減
算器１５は、フィルタ１４からの各フィルタ処理された
ブロック信号とブロック化回路１３からの各ブロック信
号との差分に応じた差分画像信号を生成し、各差分ブロ
ック信号をクラスコード発生回路１６に送っている。
【００２８】クラスコード発生回路１６は、上記各差分
ブロック信号に応じて、クラスコードをＲＯＭ１７に供
給する。ＲＯＭ１７としては、他の適当なメモリを使用
することができる。このＲＯＭ１７は、上記クラスコー
ドと共に上記ズーム率選択回路１０１からのズーム率
を、アドレスそのものとしてあるいはアドレス生成用と
して用い、対応する補間差分画像データを読み出す。補
間差分画像データは、フィルタ１４から出力されるフィ
ルタ処理されたブロック信号と、図３の装置から供給さ
れる所定の補間データとの差分を表す。ＲＯＭ１７は補
間差分画像データを加算器１８の一方の入力に供給す
る。この加算器１８の他方の入力にはフィルタ１４から
のフィルタ処理された対応するブロック信号が供給さ
れ、加算器１８は、これらの２つの入力信号を加算して
出力端子１９を介して図１の拡大画像信号合成回路１０
７に供給する。
ブロック信号に応じて、クラスコードをＲＯＭ１７に供
給する。ＲＯＭ１７としては、他の適当なメモリを使用
することができる。このＲＯＭ１７は、上記クラスコー
ドと共に上記ズーム率選択回路１０１からのズーム率
を、アドレスそのものとしてあるいはアドレス生成用と
して用い、対応する補間差分画像データを読み出す。補
間差分画像データは、フィルタ１４から出力されるフィ
ルタ処理されたブロック信号と、図３の装置から供給さ
れる所定の補間データとの差分を表す。ＲＯＭ１７は補
間差分画像データを加算器１８の一方の入力に供給す
る。この加算器１８の他方の入力にはフィルタ１４から
のフィルタ処理された対応するブロック信号が供給さ
れ、加算器１８は、これらの２つの入力信号を加算して
出力端子１９を介して図１の拡大画像信号合成回路１０
７に供給する。
【００２９】この図３に示す装置の学習工程は上記図１
の装置の場合と同様であるが、相違点としては、先ず基
本画像データと拡大画像データの対応するブロックが、
フィルタ１４と同じ特性のフィルタにより最初にフィル
タ処理されてフィルタ処理データを生成し、次に元のブ
ロックから減算されて差分データを生成する点が挙げら
れる。この学習については、図１の補間画像データ発生
回路１１０を学習させるのと同じ方法で、ＲＯＭ１７に
記憶される補間画像データ及びクラスコードを生成する
ための学習が上記差分画像データを用いて進められる。
の装置の場合と同様であるが、相違点としては、先ず基
本画像データと拡大画像データの対応するブロックが、
フィルタ１４と同じ特性のフィルタにより最初にフィル
タ処理されてフィルタ処理データを生成し、次に元のブ
ロックから減算されて差分データを生成する点が挙げら
れる。この学習については、図１の補間画像データ発生
回路１１０を学習させるのと同じ方法で、ＲＯＭ１７に
記憶される補間画像データ及びクラスコードを生成する
ための学習が上記差分画像データを用いて進められる。
【００３０】次に、図４は、本発明の第３の実施例とな
る電子ズーム装置に用いられる補間画像データ発生回路
の概略的な構成を示すブロック図である。この図４にお
いて、端子３０に供給される入力画像信号はブロック化
回路３２に供給される。このブロック化回路３２は、上
記ズーム率選択回路１０１からのズーム率信号が供給さ
れ、少なくとも拡大画像に対応する部分のための入力画
像信号からの複数のブロック信号を生成し、このブロッ
ク信号を画像信号からノイズを除去するのに好適なノイ
ズ除去フィルタ３４に送っている。ノイズ除去フィルタ
３４は、フィルタ処理されて得られたブロック信号を生
成し、フィルタ処理されたブロック信号をクラスコード
発生回路３８に供給する。クラスコード発生回路３８
は、各ブロック信号を識別するためのクラスコードが発
生される。このクラスコードは、アドレスデータとして
ＲＯＭテーブル４０に送られる。ＲＯＭ４０では、クラ
スコードと共に上記選択回路１０１からのズーム率信号
が供給されており、対応するブロックの補間画素データ
が読み出されて、出力端子４２より取り出される。これ
が上記図１の合成回路１０７に供給されて、拡大された
画像信号が生成される。
る電子ズーム装置に用いられる補間画像データ発生回路
の概略的な構成を示すブロック図である。この図４にお
いて、端子３０に供給される入力画像信号はブロック化
回路３２に供給される。このブロック化回路３２は、上
記ズーム率選択回路１０１からのズーム率信号が供給さ
れ、少なくとも拡大画像に対応する部分のための入力画
像信号からの複数のブロック信号を生成し、このブロッ
ク信号を画像信号からノイズを除去するのに好適なノイ
ズ除去フィルタ３４に送っている。ノイズ除去フィルタ
３４は、フィルタ処理されて得られたブロック信号を生
成し、フィルタ処理されたブロック信号をクラスコード
発生回路３８に供給する。クラスコード発生回路３８
は、各ブロック信号を識別するためのクラスコードが発
生される。このクラスコードは、アドレスデータとして
ＲＯＭテーブル４０に送られる。ＲＯＭ４０では、クラ
スコードと共に上記選択回路１０１からのズーム率信号
が供給されており、対応するブロックの補間画素データ
が読み出されて、出力端子４２より取り出される。これ
が上記図１の合成回路１０７に供給されて、拡大された
画像信号が生成される。
【００３１】この図４の第３の実施例の場合の学習は、
図１の補間画像データ発生回路１１０場合と同様である
が、相違点として、基本画像及び拡大画像信号の各ブロ
ックが、クラスコード発生に先だって、ノイズ除去フィ
ルタ３４と同じ特性のフィルタによりフィルタ処理され
る点が挙げられる。次に図５のブロック図を参照しなが
ら、本発明の第４の実施例に用いられる補間画像データ
発生回路について説明する。
図１の補間画像データ発生回路１１０場合と同様である
が、相違点として、基本画像及び拡大画像信号の各ブロ
ックが、クラスコード発生に先だって、ノイズ除去フィ
ルタ３４と同じ特性のフィルタによりフィルタ処理され
る点が挙げられる。次に図５のブロック図を参照しなが
ら、本発明の第４の実施例に用いられる補間画像データ
発生回路について説明する。
【００３２】この図５の装置において、入力端子５０に
供給された入力画像信号は、ブロック化回路５２に送ら
れる。このブロック化回路５２は、上記ズーム率選択回
路１０１からのズーム率信号も供給されており、上記入
力画像信号を、拡大画像に対応する複数のブロック信号
に分割し、その出力をクラスコード発生回路５４に供給
している。各ブロック信号に対応して、クラスコード発
生回路５４は、対応するクラスコードを発生し、ＲＯＭ
５６に供給する。このクラスコードは、該クラスコード
が生成されたブロック信号に対応する種々のズーム率に
おける補間画像データの係数データセットの形態のもの
を識別する。ＲＯＭ５６は複数の係数データセットを、
対応するクラスコード及びズーム率信号に応じた各アド
レスに記憶しており、各クラスコード及びズーム率信号
そのもの、あるいはこれらから求められたアドレスを読
み出しアドレスとして、対応する係数データセットが読
み出されるようになっている。
供給された入力画像信号は、ブロック化回路５２に送ら
れる。このブロック化回路５２は、上記ズーム率選択回
路１０１からのズーム率信号も供給されており、上記入
力画像信号を、拡大画像に対応する複数のブロック信号
に分割し、その出力をクラスコード発生回路５４に供給
している。各ブロック信号に対応して、クラスコード発
生回路５４は、対応するクラスコードを発生し、ＲＯＭ
５６に供給する。このクラスコードは、該クラスコード
が生成されたブロック信号に対応する種々のズーム率に
おける補間画像データの係数データセットの形態のもの
を識別する。ＲＯＭ５６は複数の係数データセットを、
対応するクラスコード及びズーム率信号に応じた各アド
レスに記憶しており、各クラスコード及びズーム率信号
そのもの、あるいはこれらから求められたアドレスを読
み出しアドレスとして、対応する係数データセットが読
み出されるようになっている。
【００３３】各係数データの組はそれぞれ複数の乗算係
数を有し、各乗算係数は、補間画像データ発生回路５８
において、上記ブロック化回路５２からのブロック信号
の対応する値に乗算して補間画像データを得るために用
いられる。この補間画像データは出力端子６０を介し
て、上記拡大画像信号合成回路１０７に供給されること
により、拡大画像信号が生成される。
数を有し、各乗算係数は、補間画像データ発生回路５８
において、上記ブロック化回路５２からのブロック信号
の対応する値に乗算して補間画像データを得るために用
いられる。この補間画像データは出力端子６０を介し
て、上記拡大画像信号合成回路１０７に供給されること
により、拡大画像信号が生成される。
【００３４】図５の装置の学習は、上記図１の補間画像
データ発生回路１１０の場合と本質的に同じ方法で行わ
れるが、学習工程上での相違点として、補間画像データ
の代わりに係数データの組が生成される点が挙げられ
る。この図５に示す装置の学習方法について以下に説明
する。ここで、補間画像データ発生回路５８からの拡大
画像データブロックの各画素は、値ｙ0sを有するものと
仮定する。この画素値ｙ0sは、係数ｗ1s〜ｗnsと、ブロ
ック化回路５２からのブロック信号の画素値ｘIN1〜ｘ
INnとの組み合せにより生成でき、 ｙ0s＝ｗ1sｘIN1＋ｗ2sｘIN2＋・・・＋ｗnsｘINn （２） のように関係付けられる。ここで、ｓは任意の上記画素
値ｙ0sを識別するための指標である。
データ発生回路１１０の場合と本質的に同じ方法で行わ
れるが、学習工程上での相違点として、補間画像データ
の代わりに係数データの組が生成される点が挙げられ
る。この図５に示す装置の学習方法について以下に説明
する。ここで、補間画像データ発生回路５８からの拡大
画像データブロックの各画素は、値ｙ0sを有するものと
仮定する。この画素値ｙ0sは、係数ｗ1s〜ｗnsと、ブロ
ック化回路５２からのブロック信号の画素値ｘIN1〜ｘ
INnとの組み合せにより生成でき、 ｙ0s＝ｗ1sｘIN1＋ｗ2sｘIN2＋・・・＋ｗnsｘINn （２） のように関係付けられる。ここで、ｓは任意の上記画素
値ｙ0sを識別するための指標である。
【００３５】学習は、クラス毎に複数の信号データに対
して行う。ＲＯＭ５６に記憶するための係数データを生
成するために、同じクラスコードに対応する拡大画像デ
ータブロック信号の各対応画素は、入力画像信号の対応
するブロック信号の全ての画素値と共に用いられる。係
数データを求めるための方法は、次のようにして導出さ
れる。
して行う。ＲＯＭ５６に記憶するための係数データを生
成するために、同じクラスコードに対応する拡大画像デ
ータブロック信号の各対応画素は、入力画像信号の対応
するブロック信号の全ての画素値と共に用いられる。係
数データを求めるための方法は、次のようにして導出さ
れる。
【００３６】拡大画像データブロック信号の各対応画素
は、入力画像信号の各ブロック信号の画素数をｎとする
とき、各係数値ｗ1s〜ｗnsを入力画像信号のブロック信
号の対応する画素値に乗算して得られる多項式により表
される値に等しいと推定できる。すなわち、 ｙk＝ｗ1ｘk1＋ｗ2ｘk2＋・・・＋ｗnｘkn （３） の関係式により表現される。ここで、ｙk は、低ノイズ
画像信号の対応するブロック信号ｋの対応画素値を表
し、ｘk1〜ｘknは、入力画像信号の対応ブロック信号の
それぞれの画素データの値を示し、ｗ1〜ｗnは学習によ
り求めようとする係数である。
は、入力画像信号の各ブロック信号の画素数をｎとする
とき、各係数値ｗ1s〜ｗnsを入力画像信号のブロック信
号の対応する画素値に乗算して得られる多項式により表
される値に等しいと推定できる。すなわち、 ｙk＝ｗ1ｘk1＋ｗ2ｘk2＋・・・＋ｗnｘkn （３） の関係式により表現される。ここで、ｙk は、低ノイズ
画像信号の対応するブロック信号ｋの対応画素値を表
し、ｘk1〜ｘknは、入力画像信号の対応ブロック信号の
それぞれの画素データの値を示し、ｗ1〜ｗnは学習によ
り求めようとする係数である。
【００３７】今、ブロック信号の個数をｍとするとき、
ｍ＞ｎの場合にはｗ1〜ｗn は一意には定まらないの
で、誤差ベクトルｅの要素を ｅk＝ｙk−｛ｗ1ｘk1＋ｗ2ｘk2＋・・・＋ｗnｘkn｝ （k=1,2,・・・,m） （４） と定義して、式（５）を最小にする係数を求める。いわ
ゆる最小自乗法による解法である。
ｍ＞ｎの場合にはｗ1〜ｗn は一意には定まらないの
で、誤差ベクトルｅの要素を ｅk＝ｙk−｛ｗ1ｘk1＋ｗ2ｘk2＋・・・＋ｗnｘkn｝ （k=1,2,・・・,m） （４） と定義して、式（５）を最小にする係数を求める。いわ
ゆる最小自乗法による解法である。
【００３８】
【数２】
【００３９】ここで、式（５）のｗi による偏微分係数
を、式（６）のように求める。
を、式（６）のように求める。
【００４０】
【数３】
【００４１】上記式（６）を０にするように各ｗi を決
めればよいから、式（７）、式（８）のように、
めればよいから、式（７）、式（８）のように、
【００４２】
【数４】
【００４３】
【数５】
【００４４】として行列を用いると式（９）のようにな
る。
る。
【００４５】この（９）式は、掃き出し法などの一般的
な行列解法を用いて、ｗi について解けば、最適値とし
ての予測係数を求めることができる。本実施例ではＲＯ
Ｍ５６のアドレスclass のデータ（ＲＯＭテーブル）と
してこの予測係数を格納しておく。
な行列解法を用いて、ｗi について解けば、最適値とし
ての予測係数を求めることができる。本実施例ではＲＯ
Ｍ５６のアドレスclass のデータ（ＲＯＭテーブル）と
してこの予測係数を格納しておく。
【００４６】次に、図６は、本発明の第５の実施例に用
いられる補間画像データ発生回路を示すブロック図であ
る。この図６の装置において、入力端子８０に供給され
た入力画像信号は、ブロック化回路８２に送られる。こ
のブロック化回路８２は、上記選択回路１０１からのズ
ーム率に関連して決定された拡大画像に対応する入力画
像信号の一部を選択し、この選択されたデータを複数の
ブロック信号に分割し、フィルタ８４の入力及び減算器
８６に供給する。フィルタ８４は、画像信号からノイズ
を除去するのに適したものであり、上記ブロック信号か
らフィルタ処理されたブロック信号を生成して、減算器
８６のもう１つの端子に供給する。減算器８６は、ブロ
ック化回路８２で出力されたそれぞれのブロック信号と
対応するフィルタ処理されたブロック信号とから差分ブ
ロック信号を生成する。
いられる補間画像データ発生回路を示すブロック図であ
る。この図６の装置において、入力端子８０に供給され
た入力画像信号は、ブロック化回路８２に送られる。こ
のブロック化回路８２は、上記選択回路１０１からのズ
ーム率に関連して決定された拡大画像に対応する入力画
像信号の一部を選択し、この選択されたデータを複数の
ブロック信号に分割し、フィルタ８４の入力及び減算器
８６に供給する。フィルタ８４は、画像信号からノイズ
を除去するのに適したものであり、上記ブロック信号か
らフィルタ処理されたブロック信号を生成して、減算器
８６のもう１つの端子に供給する。減算器８６は、ブロ
ック化回路８２で出力されたそれぞれのブロック信号と
対応するフィルタ処理されたブロック信号とから差分ブ
ロック信号を生成する。
【００４７】減算器８６により供給される差分信号はク
ラスコード発生回路９０に送られ、このクラスコード発
生回路９０は各差分ブロック信号に応じたクラスコード
を発生する。各クラスコードは、フィルタ８４から供給
されるフィルタ処理されたブロック信号と、図６の装置
により生成される補間画像データのブロックとの差分を
表す補間差分画像データを識別する。ＲＯＭ９２として
は他の適当なメモリを使用することができる。このＲＯ
Ｍ９２は、上記クラスコード及び上記選択回路１０１か
らのズーム率に対応するそれぞれのアドレスに、複数の
係数データセットを記憶する。各係数データセットはい
くつかの乗算係数を有しており、これらの乗算係数は、
コードが生成された差分ブロック信号に含まれる対応す
る値に乗算されて、対応する補間差分画像データブロッ
クの値を生成するためのものである。
ラスコード発生回路９０に送られ、このクラスコード発
生回路９０は各差分ブロック信号に応じたクラスコード
を発生する。各クラスコードは、フィルタ８４から供給
されるフィルタ処理されたブロック信号と、図６の装置
により生成される補間画像データのブロックとの差分を
表す補間差分画像データを識別する。ＲＯＭ９２として
は他の適当なメモリを使用することができる。このＲＯ
Ｍ９２は、上記クラスコード及び上記選択回路１０１か
らのズーム率に対応するそれぞれのアドレスに、複数の
係数データセットを記憶する。各係数データセットはい
くつかの乗算係数を有しており、これらの乗算係数は、
コードが生成された差分ブロック信号に含まれる対応す
る値に乗算されて、対応する補間差分画像データブロッ
クの値を生成するためのものである。
【００４８】ＲＯＭ９２から各クラスコード及びズーム
率に応じて読み出された係数データセットは、差分デー
タ発生回路９４に送られるており、この差分データ発生
回路９４には、上記減算器８６により生成された差分ブ
ロック信号が供給されている。差分データ発生回路９４
は、ＲＯＭ９２からの係数データセットの各係数と減算
器８６からの差分ブロック信号の対応する値とを乗算し
て加算することにより、補間差分画像データのブロック
を生成する。差分データ発生回路９４により生成された
補間差分画像データは加算器９８に送られ、この加算器
９８で上記フィルタ８４からの出力信号と加算されるこ
とにより、補間画像データのブロックが生成される。こ
の加算器９８は、補間画像データの各ブロックを出力端
子１２０に供給し、これらのブロックは拡大画像信号合
成回路１０７に供給されて、拡大画像信号が生成され
る。
率に応じて読み出された係数データセットは、差分デー
タ発生回路９４に送られるており、この差分データ発生
回路９４には、上記減算器８６により生成された差分ブ
ロック信号が供給されている。差分データ発生回路９４
は、ＲＯＭ９２からの係数データセットの各係数と減算
器８６からの差分ブロック信号の対応する値とを乗算し
て加算することにより、補間差分画像データのブロック
を生成する。差分データ発生回路９４により生成された
補間差分画像データは加算器９８に送られ、この加算器
９８で上記フィルタ８４からの出力信号と加算されるこ
とにより、補間画像データのブロックが生成される。こ
の加算器９８は、補間画像データの各ブロックを出力端
子１２０に供給し、これらのブロックは拡大画像信号合
成回路１０７に供給されて、拡大画像信号が生成され
る。
【００４９】この図６に示す装置の学習は上記図１の装
置の場合と同様であるが、相違点としては、差分ブロッ
ク信号からのデータを用いた係数データを生成する点が
挙げられる。次に、図７のブロック図を参照しながら、
本発明の第６の実施例に用いられる補間画像データ発生
回路について説明する。
置の場合と同様であるが、相違点としては、差分ブロッ
ク信号からのデータを用いた係数データを生成する点が
挙げられる。次に、図７のブロック図を参照しながら、
本発明の第６の実施例に用いられる補間画像データ発生
回路について説明する。
【００５０】この図７の装置において、入力端子１２４
に供給された入力画像信号は、ブロック化回路１２６に
送られる。このブロック化回路１２６は、上記ズーム率
選択回路１０１からのズーム率信号も供給されている。
このブロック化回路１２６は、ズーム率信号に応じて所
望の拡大画像に対応する入力画像信号の部分を選択し、
この部分を複数のブロック信号に分割する。このブロッ
ク化回路１２６は、このブロック信号を画像信号からノ
イズを除去するのに好適なノイズ除去フィルタ１２８に
送っている。フィルタ１２８は、フィルタ処理されて得
られたブロック信号を上記供給された各ブロック信号か
ら生成し、フィルタ処理されたブロック信号をクラスコ
ード発生回路１３２に供給する。
に供給された入力画像信号は、ブロック化回路１２６に
送られる。このブロック化回路１２６は、上記ズーム率
選択回路１０１からのズーム率信号も供給されている。
このブロック化回路１２６は、ズーム率信号に応じて所
望の拡大画像に対応する入力画像信号の部分を選択し、
この部分を複数のブロック信号に分割する。このブロッ
ク化回路１２６は、このブロック信号を画像信号からノ
イズを除去するのに好適なノイズ除去フィルタ１２８に
送っている。フィルタ１２８は、フィルタ処理されて得
られたブロック信号を上記供給された各ブロック信号か
ら生成し、フィルタ処理されたブロック信号をクラスコ
ード発生回路１３２に供給する。
【００５１】クラスコード発生回路１３２は、対応する
フィルタ処理された各ブロック信号のクラスコードを発
生する。各クラスコードは、コードが発生されたブロッ
ク信号に対応する補間画像データのブロックを識別す
る。クラスコード発生回路１３２は各コードをＲＯＭ１
２４あるいは他の適当な記憶素子に供給する。ＲＯＭ１
２４は、複数の係数データセットを、それぞれ対応する
クラスコード及び上記選択回路１０１からのズーム率信
号に応じた各アドレスに記憶する。各クラスコード及び
ズーム率信号に応じて、ＲＯＭ１２４から補間画像デー
タ生成回路１３８に係数データセットが読み出される。
補間画像データ生成回路１３８には、ノイズ除去フィル
タ１２８からの対応するクラスコードの元となるフィル
タ処理されたブロック信号も供給されている。補間画像
データ生成回路１３８は、上記係数データセットの各係
数と上記フィルタ処理されたブロック信号の対応する値
とを乗算してそれぞれを加算することによって、補間画
像データのブロックを生成する。この補間画像データ生
成回路１３８は、出力端子１４０に補間画像データの各
ブロックを供給し、これらのブロックは、上記図１の拡
大画像信号合成回路１０７に供給されて、拡大画像信号
が生成される。
フィルタ処理された各ブロック信号のクラスコードを発
生する。各クラスコードは、コードが発生されたブロッ
ク信号に対応する補間画像データのブロックを識別す
る。クラスコード発生回路１３２は各コードをＲＯＭ１
２４あるいは他の適当な記憶素子に供給する。ＲＯＭ１
２４は、複数の係数データセットを、それぞれ対応する
クラスコード及び上記選択回路１０１からのズーム率信
号に応じた各アドレスに記憶する。各クラスコード及び
ズーム率信号に応じて、ＲＯＭ１２４から補間画像デー
タ生成回路１３８に係数データセットが読み出される。
補間画像データ生成回路１３８には、ノイズ除去フィル
タ１２８からの対応するクラスコードの元となるフィル
タ処理されたブロック信号も供給されている。補間画像
データ生成回路１３８は、上記係数データセットの各係
数と上記フィルタ処理されたブロック信号の対応する値
とを乗算してそれぞれを加算することによって、補間画
像データのブロックを生成する。この補間画像データ生
成回路１３８は、出力端子１４０に補間画像データの各
ブロックを供給し、これらのブロックは、上記図１の拡
大画像信号合成回路１０７に供給されて、拡大画像信号
が生成される。
【００５２】なお、クラス分割のための画像データ圧縮
方法としてＡＤＲＣを用いたが、このＡＤＲＣの代わり
に、ＤＣＴ（Discrete Cosine Transform)、ＶＱ（ベク
トル量子化）、ＤＰＣＭ（予測符号化）等のデータ圧縮
方法を用いてもよい。また、本発明は上述の実施例のみ
に限定されるものではなく、例えば、ＲＯＭの代わりに
種々のメモリ装置を用いることができる。また、上記種
々の実施例はＡＳＩＣ等のハードウェア回路回路とし
て、あるいはマイクロプロセッサ、マイクロコンピュー
タ、ディジタル信号プロセッサ等のプログラマブルデバ
イスを用いて、あるいはハードウェア回路とプログラマ
ブルデバイスとの組み合せの装置により実現できる。
方法としてＡＤＲＣを用いたが、このＡＤＲＣの代わり
に、ＤＣＴ（Discrete Cosine Transform)、ＶＱ（ベク
トル量子化）、ＤＰＣＭ（予測符号化）等のデータ圧縮
方法を用いてもよい。また、本発明は上述の実施例のみ
に限定されるものではなく、例えば、ＲＯＭの代わりに
種々のメモリ装置を用いることができる。また、上記種
々の実施例はＡＳＩＣ等のハードウェア回路回路とし
て、あるいはマイクロプロセッサ、マイクロコンピュー
タ、ディジタル信号プロセッサ等のプログラマブルデバ
イスを用いて、あるいはハードウェア回路とプログラマ
ブルデバイスとの組み合せの装置により実現できる。
【００５３】さらに、本発明の特定の実施例については
図面を参照しながら詳述したが、本発明はこれらの厳密
な実施例に限定されるものではなく、本発明の趣旨のを
逸脱しない範囲で種々の変形や変更が行えることは勿論
である。
図面を参照しながら詳述したが、本発明はこれらの厳密
な実施例に限定されるものではなく、本発明の趣旨のを
逸脱しない範囲で種々の変形や変更が行えることは勿論
である。
【００５４】
【発明の効果】以上の説明からも明らかなように、本発
明に係る電子ズーム装置は、入力される基本画像の画像
データのブロック化を行うブロック化手段と、上記ブロ
ック化手段からのブロック化された画像データを複数の
クラスに分類し、このクラスを示すクラスコードを発生
するクラス分類手段と、上記クラス分類手段からのクラ
スコードに応じて最適化された所定の画像データを発生
する画像データ発生手段と、ズーム率に応じて、上記基
本画像の画像データのズーム画像上での表示位置を移動
させる表示位置変換手段と、上記クラス分類手段からの
画像データと上記表示位置変換手段からの画像データを
合成してズーム画像を出力する画素合成手段とを有して
成っているため、解像度を劣化させることなく拡大画像
あるいはズーム画像を生成することができる。
明に係る電子ズーム装置は、入力される基本画像の画像
データのブロック化を行うブロック化手段と、上記ブロ
ック化手段からのブロック化された画像データを複数の
クラスに分類し、このクラスを示すクラスコードを発生
するクラス分類手段と、上記クラス分類手段からのクラ
スコードに応じて最適化された所定の画像データを発生
する画像データ発生手段と、ズーム率に応じて、上記基
本画像の画像データのズーム画像上での表示位置を移動
させる表示位置変換手段と、上記クラス分類手段からの
画像データと上記表示位置変換手段からの画像データを
合成してズーム画像を出力する画素合成手段とを有して
成っているため、解像度を劣化させることなく拡大画像
あるいはズーム画像を生成することができる。
【００５５】また、上記補間画像データ発生手段は、ク
ラスコードに応じた係数を発生する係数記憶手段と、上
記係数発生手段からの係数と上記入力される画像データ
とを演算して補間画素を求める補間画素演算手段とから
成り、上記係数記憶手段には、基本画像とこの基本画像
が拡大されたズーム画像とを比較して予め補間すべき画
素を学習することにより得られる係数が記憶されている
ことにより、ズーム画像の周辺部の解像度を低下させる
ことなく、高画質の画像を得ることができる。
ラスコードに応じた係数を発生する係数記憶手段と、上
記係数発生手段からの係数と上記入力される画像データ
とを演算して補間画素を求める補間画素演算手段とから
成り、上記係数記憶手段には、基本画像とこの基本画像
が拡大されたズーム画像とを比較して予め補間すべき画
素を学習することにより得られる係数が記憶されている
ことにより、ズーム画像の周辺部の解像度を低下させる
ことなく、高画質の画像を得ることができる。
【００５６】また、本発明に係る電子ズーム方法は、入
力される基本画像の画像データのブロック化を行い、ブ
ロック化された画像データを複数のクラスに分類し、こ
のクラスを示すクラスコードを発生し、この発生された
クラスコードに応じて最適化された所定の画像データを
発生し、ズーム率に応じて、上記基本画像の画像データ
のズーム画像上での表示位置を移動させ、上記所定の画
像データと上記表示位置変換された画像データを合成し
てズーム画像を出力しているため、解像度を劣化させる
ことなく拡大画像あるいはズーム画像を生成することが
できる。
力される基本画像の画像データのブロック化を行い、ブ
ロック化された画像データを複数のクラスに分類し、こ
のクラスを示すクラスコードを発生し、この発生された
クラスコードに応じて最適化された所定の画像データを
発生し、ズーム率に応じて、上記基本画像の画像データ
のズーム画像上での表示位置を移動させ、上記所定の画
像データと上記表示位置変換された画像データを合成し
てズーム画像を出力しているため、解像度を劣化させる
ことなく拡大画像あるいはズーム画像を生成することが
できる。
【００５７】また、上記補間画像データ発生工程は、ク
ラスコードに応じた係数を発生する係数記憶工程と、上
記係数発生工程からの係数と上記入力される画像データ
とを演算して補間画素を求める補間画素演算工程とから
成り、上記係数記憶工程には、基本画像とこの基本画像
が拡大されたズーム画像とを比較して予め補間すべき画
素を学習することにより得られる係数が記憶されている
ことにより、ズーム画像の周辺部の解像度を低下させる
ことなく、高画質の画像を得ることができる。
ラスコードに応じた係数を発生する係数記憶工程と、上
記係数発生工程からの係数と上記入力される画像データ
とを演算して補間画素を求める補間画素演算工程とから
成り、上記係数記憶工程には、基本画像とこの基本画像
が拡大されたズーム画像とを比較して予め補間すべき画
素を学習することにより得られる係数が記憶されている
ことにより、ズーム画像の周辺部の解像度を低下させる
ことなく、高画質の画像を得ることができる。
【図１】本発明に係る電子ズーム装置の第１の実施例の
概略的な構成を示すブロック図である。
概略的な構成を示すブロック図である。
【図２】基本画像の画素位置と基本画像を２倍に拡大し
たズーム画像の画素位置との関係を示す図である。
たズーム画像の画素位置との関係を示す図である。
【図３】本発明に係る電子ズーム装置の第２の実施例に
用いられる補間画像データ発生回路の概略的な構成を示
すブロック図である。
用いられる補間画像データ発生回路の概略的な構成を示
すブロック図である。
【図４】本発明に係る電子ズーム装置の第３の実施例に
用いられる補間画像データ発生回路の概略的な構成を示
すブロック図である。
用いられる補間画像データ発生回路の概略的な構成を示
すブロック図である。
【図５】本発明に係る電子ズーム装置の第４の実施例に
用いられる補間画像データ発生回路の概略的な構成を示
すブロック図である。
用いられる補間画像データ発生回路の概略的な構成を示
すブロック図である。
【図６】本発明に係る電子ズーム装置の第５の実施例に
用いられる補間画像データ発生回路の概略的な構成を示
すブロック図である。
用いられる補間画像データ発生回路の概略的な構成を示
すブロック図である。
【図７】本発明に係る電子ズーム装置の第６の実施例に
用いられる補間画像データ発生回路の概略的な構成を示
すブロック図である。
用いられる補間画像データ発生回路の概略的な構成を示
すブロック図である。
１３、３２、５２、８２、１０２、１２６ ブロック化
回路 １６、３８、５４、９０、１０３、１３２ クラスコー
ド発生回路 １７、４０、５６、９２、１０４、１３４ ＲＯＭ １０５ 画素位置変換回路 １０６ 補間画素演算回路 １０７ 画素合成回路 １１０ 補間画像データ発生回路
回路 １６、３８、５４、９０、１０３、１３２ クラスコー
ド発生回路 １７、４０、５６、９２、１０４、１３４ ＲＯＭ １０５ 画素位置変換回路 １０６ 補間画素演算回路 １０７ 画素合成回路 １１０ 補間画像データ発生回路
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 庁内整理番号 ＦＩ 技術表示箇所 Ｇ０９Ｇ 5/36 Ｊ 9471−5Ｇ Ｈ０４Ｎ 5/335 Ｚ
Claims (10)
- 【請求項１】 入力画像信号からズームされた画像信号
を生成する電子ズーム装置において、 入力される基本画像の画像データのブロック化を行うブ
ロック化手段と、 上記ブロック化手段からのブロック化された画像データ
を複数のクラスに分類し、このクラスを示すクラスコー
ドを発生するクラス分類手段と、 上記クラス分類手段からのクラスコードに応じて所定の
画像データを発生する画像データ発生手段と、 ズーム率に応じて、上記基本画像の画像データのズーム
画像上での表示位置を移動させる表示位置変換手段と、 上記画像データ発生手段からの画像データと上記表示位
置変換手段からの画像データを合成して拡大されたズー
ム画像信号を出力する画素合成手段とを有して成ること
を特徴とする電子ズーム装置。 - 【請求項２】 上記画像データ発生手段は、上記拡大さ
れたズーム画像を得るための補間画像データを発生する
ことを特徴とする請求項１記載の電子ズーム装置。 - 【請求項３】 上記画像データ発生手段は、各クラスコ
ードに対応する複数の所定画像データが記憶され、上記
クラスコード発生手段により発生されたクラスコードに
応じて複数の所定の画像データから１つを選択して読み
出す記憶手段を有することを特徴とする請求項１又は２
記載の電子ズーム装置。 - 【請求項４】 上記画像データ発生手段は、クラスコー
ドに応じた係数を発生する係数記憶手段と、上記係数発
生手段からの係数と上記入力される画像データとを演算
して補間画素を求める補間画素演算手段とから成ること
を特徴とする請求項１又は２記載の電子ズーム装置。 - 【請求項５】 上記係数記憶手段には、基本画像とこの
基本画像が拡大されたズーム画像とを比較して予め補間
すべき画素を学習することにより得られる係数が記憶さ
れていることを特徴とする請求項１又は２記載の電子ズ
ーム装置。 - 【請求項６】 複数の所定のズーム率から拡大画像信号
のためのズーム率を選択するズーム率選択手段を有し、 上記画像データ発生手段は上記選択されたズーム率に基
づき所定の画像データを発生し、上記表示位置変換手段
は上記選択されたズーム率に基づく変換表示位置を割り
当てることを特徴とする請求項１又は２記載の電子ズー
ム装置。 - 【請求項７】 光学的画像から上記入力画像を生成する
画像信号生成手段と、 上記拡大されたズーム画像信号に基づく拡大画像を表示
する表示手段とを有することを特徴とする請求項１又は
２記載の電子ズーム装置。 - 【請求項８】 入力される基本画像の画像データのブロ
ック化を行うブロック化工程と、 上記ブロック化工程からのブロック化された画像データ
を複数のクラスに分類し、このクラスを示すクラスコー
ドを発生するクラス分類工程と、 上記クラス分類工程からのクラスコードに応じて最適化
された所定の画像データを発生する画像データ発生工程
と、 ズーム率に応じて、上記基本画像の画像データのズーム
画像上での表示位置を移動させる表示位置変換工程と、 上記画像データ発生工程からの画像データと上記表示位
置変換工程からの画像データを合成してズーム画像を出
力する画素合成工程とを有して成ることを特徴とする電
子ズーム方法。 - 【請求項９】 上記画像データ発生工程は、クラスコー
ドに応じた係数を発生する係数記憶工程と、上記係数発
生工程からの係数と上記入力される画像データとを演算
して所定の画素を求める画素演算工程とから成ることを
特徴とする請求項８記載の電子ズーム方法。 - 【請求項１０】 上記係数記憶工程には、基本画像とこ
の基本画像が拡大されたズーム画像とを比較して予め補
間すべき画素を学習することにより得られる係数が記憶
されていることを特徴とする請求項８記載の電子ズーム
方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP20582094A JP3632993B2 (ja) | 1993-08-30 | 1994-08-30 | 電子ズーム装置及び電子ズーム方法 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP5-213961 | 1993-08-30 | ||
| JP21396193 | 1993-08-30 | ||
| JP20582094A JP3632993B2 (ja) | 1993-08-30 | 1994-08-30 | 電子ズーム装置及び電子ズーム方法 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004136915A Division JP3882828B2 (ja) | 1993-08-30 | 2004-04-30 | 電子ズーム装置及び電子ズーム方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH07123308A true JPH07123308A (ja) | 1995-05-12 |
| JP3632993B2 JP3632993B2 (ja) | 2005-03-30 |
Family
ID=26515273
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP20582094A Expired - Lifetime JP3632993B2 (ja) | 1993-08-30 | 1994-08-30 | 電子ズーム装置及び電子ズーム方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3632993B2 (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09147101A (ja) * | 1995-11-22 | 1997-06-06 | Sony Corp | 画像信号処理装置および方法 |
| JPH09237345A (ja) * | 1996-02-29 | 1997-09-09 | Sony Corp | クラス分類適応処理における学習方法 |
| JP2005051638A (ja) * | 2003-07-31 | 2005-02-24 | Sony Corp | 信号処理装置および信号処理方法 |
| JP2020141808A (ja) * | 2019-03-05 | 2020-09-10 | キヤノンメディカルシステムズ株式会社 | 医用処理装置、および医用診断システム |
-
1994
- 1994-08-30 JP JP20582094A patent/JP3632993B2/ja not_active Expired - Lifetime
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09147101A (ja) * | 1995-11-22 | 1997-06-06 | Sony Corp | 画像信号処理装置および方法 |
| JPH09237345A (ja) * | 1996-02-29 | 1997-09-09 | Sony Corp | クラス分類適応処理における学習方法 |
| JP2005051638A (ja) * | 2003-07-31 | 2005-02-24 | Sony Corp | 信号処理装置および信号処理方法 |
| JP2020141808A (ja) * | 2019-03-05 | 2020-09-10 | キヤノンメディカルシステムズ株式会社 | 医用処理装置、および医用診断システム |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3632993B2 (ja) | 2005-03-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5406334A (en) | Apparatus and method for producing a zoomed image signal | |
| JP3438233B2 (ja) | 画像変換装置および方法 | |
| EP0920215A1 (en) | Image processing device and method, and transmission medium, transmission method and image format | |
| KR19990036105A (ko) | 화상 정보 변환 장치와 방법 및 적화 연산 회로와 방법 | |
| JPH05227525A (ja) | 画像符号化装置 | |
| JP3271101B2 (ja) | ディジタル画像信号処理装置および処理方法 | |
| JP3486975B2 (ja) | ノイズ低減装置及び方法 | |
| JP3511645B2 (ja) | 画像処理装置及び画像処理方法 | |
| JP3632993B2 (ja) | 電子ズーム装置及び電子ズーム方法 | |
| JP3946781B2 (ja) | 画像情報変換装置及び方法 | |
| US5467135A (en) | Apparatus and method for moving picture coding | |
| JP3882828B2 (ja) | 電子ズーム装置及び電子ズーム方法 | |
| JP3400055B2 (ja) | 画像情報変換装置及び画像情報変換方法並びに画像処理装置及び画像処理方法 | |
| JP3362463B2 (ja) | フレーム補間装置 | |
| JP3243861B2 (ja) | 画像情報変換装置 | |
| JP3371159B2 (ja) | ディジタル画像信号処理装置および処理方法 | |
| JP3326879B2 (ja) | 画像信号変換装置 | |
| US6091855A (en) | method and apparatus for encoding signal method and apparatus for decoding signal and recording medium | |
| JP3826434B2 (ja) | 信号変換装置および方法 | |
| JP3278936B2 (ja) | ズーム率算出方法 | |
| JP3587188B2 (ja) | ディジタル画像信号処理装置および処理方法 | |
| JP3653287B2 (ja) | 画像情報変換装置及び画像情報変換方法 | |
| JP4062326B2 (ja) | 係数生成装置および方法 | |
| JP3278880B2 (ja) | 画像信号生成装置 | |
| JP2001085999A (ja) | 画像圧縮および伸張装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040226 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040302 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040430 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20041207 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20041220 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080107 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090107 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100107 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100107 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110107 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110107 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120107 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130107 Year of fee payment: 8 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |