JP2000244744A - 画像データ圧縮方法及び画像データ管理方法 - Google Patents

画像データ圧縮方法及び画像データ管理方法

Info

Publication number
JP2000244744A
JP2000244744A JP32838099A JP32838099A JP2000244744A JP 2000244744 A JP2000244744 A JP 2000244744A JP 32838099 A JP32838099 A JP 32838099A JP 32838099 A JP32838099 A JP 32838099A JP 2000244744 A JP2000244744 A JP 2000244744A
Authority
JP
Japan
Prior art keywords
data
image data
bit data
bits
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP32838099A
Other languages
English (en)
Other versions
JP4092830B2 (ja
Inventor
Sadami Okada
貞実 岡田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP32838099A priority Critical patent/JP4092830B2/ja
Priority to US09/466,869 priority patent/US6744929B1/en
Publication of JP2000244744A publication Critical patent/JP2000244744A/ja
Application granted granted Critical
Publication of JP4092830B2 publication Critical patent/JP4092830B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Television Signal Processing For Recording (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

(57)【要約】 【課題】 高精細で取得された画像データを高い圧縮率
で圧縮して記憶し、又、記憶された画像データを、デー
タ量が少ない画像にて高速再現可能にする。 【解決手段】 CCD1により得られた1画素当り12
ビットの画像データが、相関性の高い上位8ビットの上
位側ビットデータと、相関性の低い下位側ビットデータ
とに分離される。上位側ビットデータにはJPEGロス
レス符号化が、下位側ビットデータには2画素宛のビッ
トシフト演算/パッキング処理が施される。処理された
上位側ビットデータ、下位側ビットデータ及びこれを個
別に管理するための位置情報が記憶媒体2に記憶され
る。相関性の高い上位側ビットデータを復号化するだけ
で、データ量の少ない粗い画像が高速に再現できる。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、画像データ圧縮方
法及び画像データ管理方法に関し、特に、多数の階調を
持つ多値中間調画像データの圧縮/復元に適用して有用
な画像データ圧縮方法及び画像データ管理方法に関す
る。
【0002】
【従来の技術】画像入力機器(例えば、ディジタル・カ
メラに用いられるCCD)の発達に伴い、画像データの
取り込みが高精細に行われるようになった。このように
高精細に得られた元データ(RAWデータ)に対して
は、パーソナルコンピュータ等でユーザによる画像処理
が施され、その後、出力機器(例えば、CRT、プリン
タ)で所望の画像データが得られるようになっている。
【0003】CCDからの信号(信号電荷)で表される
画像データは、例えばA/Dコンバータによって、1画
素当り10ビット〜12ビットのディジタル信号に変換
される。12ビットのディジタル信号に変換された場
合、最大階調は、「4096」である。このように10
ビット〜12ビットで高精細に取り込まれた画像データ
は、1画素当り8ビット程度の画像データに変更され、
出力機器で画像の再現が行われる。
【0004】上記のように取り込み時に1画素当りの画
像データのビット数を10ビット〜12ビットで表すの
は、取り込み時は、撮影環境が著しく明るい場合から著
しく暗い場合まで幅広く変化し、この広い範囲で満遍な
く画像データを得る必要があるからである。一方、再現
時は、1コマ(画面)内で実際に表される明度差が撮影
環境に比べて小さいため、8ビット程度の画像データで
1コマ内の画像の明暗を十分に表現できる。
【0005】ところで、CCDによって取り込まれた画
像データは、記憶媒体に記憶され、この記憶媒体から適
宜、画像データの読み出しが行われるが、従来は、記憶
媒体には1画素当り8ビットに変更された画像データが
記憶されていた。ここで、1画素当り8ビットの画像デ
ータをそのまま記憶したのでは、1コマ(1画面)当り
のデータ量が膨大となるため、画像データを圧縮処理し
た後、記憶媒体に記憶するようにしている。
【0006】一般的な、画像データの圧縮処理として
は、元データ(RAWデータ)に対するDPCM処理、
ハフマン符号化、算術符号化、これらを適宜用いたJP
EGロスレス符号化、Ziv-Lempel法に代表されるユニバ
ーサル符号化等が知られている。
【0007】
【発明が解決しようとする課題】しかしながら、記憶媒
体に1画素当り8ビットの画像データを元データとして
記憶したのでは、この1画素当り8ビットの画像データ
に対してユーザが所望の加工/修正を加える場合、加工
/修正後の画像データが1画素当り8ビット以下となっ
て、その画質が低下する。
【0008】従って、記憶媒体には、CCDにより得ら
れた高精細な画像の元データ(10ビット〜12ビッ
ト)を元データとしてそのまま保存しておき、この元デ
ータを読み出し、これに対して加工/修正を行うこと
で、加工/修正後の画像データの画質を高めることがで
きる。この高精細な元データを記憶媒体に記憶する際に
も、上記した圧縮処理(特に、可逆圧縮処理)を施す必
要があるが、10ビット〜12ビットの画像データに、
8ビットの画像データと同様の圧縮処理を施しても、高
い圧縮率を達成することができない。これは、画像デー
タを圧縮する場合(特に、DPCM符号化の場合)、近
接する画素間の画素データに相関性があればある程に高
い圧縮率が得られるが、例えば、12ビット程度の画像
データであれば、画素間の画像データの相関性は、上位
の6ビット〜8ビットでは顕著であるが、下位側の3〜
4ビットに関しては相関性がほとんどないからである。
従って、10ビット〜12ビットの画像データに対し
て、そのまま可逆圧縮を施しても高い圧縮率は得られ
ず、圧縮後であっても、依然、画像データが大きく、容
量の大きな記憶媒体が必要になる。
【0009】更に、10ビット〜12ビットで表される
画像データは、画像データ量が大きい分、記憶媒体から
画像データを読み出して再現するのに処理時間が長くな
ると云う不具合もある。本発明は、かかる事情に鑑みて
なされたもので、その第1の目的は、高精細で取得され
た画像データを高い圧縮率で圧縮することができる画像
データ圧縮方法を提供することである。
【0010】又、第2の目的は、記憶媒体に記憶された
画像データをを再現するに当って、データ量が少ない粗
い画像を選択的に、高速に再現できる画像データ管理方
法を提供することである。
【0011】
【課題を解決するための手段】上記目的を達成するた
め、請求項1に記載の発明は、画像入力手段(1)によ
って1画素当り一定ビット数で取得された画像データ
を、前記一定ビット数の画素毎のデータを上位側の所定
ビット数で表される上位側ビットデータと下位側の所定
ビット数で表される下位側ビットデータとに分離するス
テップと、前記上位側ビットデータに可変長符号化を施
すステップと、前記下位側ビットデータを複数の画素宛
ビットシフト演算にてパッキングするステップと、前記
可変長符号化された上位側ビットデータ及び前記パッキ
ングされた下位側ビットデータを個別に管理するための
管理データを生成するステップと、前記可変長符号化さ
れた上位側ビットデータと前記パッキングされた下位側
ビットデータと前記生成された管理データとを記憶媒体
(2)に記憶するステップとによって、圧縮するように
したものである。
【0012】又、請求項2に記載の発明は、請求項1に
記載の画像データ圧縮方法において、前記画像入力手段
(1)を画素がマトリックス状に配列された入力手段
(CCD)とし、前記可変長符号化された上位側ビット
データを同一行に含まれる画素毎にブロック化し、前記
パッキングされた下位側ビットデータを同一行に含まれ
る画素毎にブロック化し、前記管理データとして、前記
ブロック化された上位側ビットデータ及び前記ブロック
化された下位側ビットデータの、各々の記憶位置を示す
位置情報を生成するようにしたものである。
【0013】又、請求項3に記載の発明は、請求項1又
は請求項2に記載の画像データ圧縮方法において、前記
可変長符号化を、ハフマン符号化とDPCM符号化とに
より行うようにしたものである。又、請求項4に記載の
発明は、請求項1から請求項3の何れかに記載の画像デ
ータ圧縮方法において、前記画素毎のデータの一定ビッ
ト数を前記画像入力手段(1)の検出精度に応じた値と
し、前記上位側の所定ビット数を近傍の画素との間で相
関が生じる傾向の強い上位側のビット数とし、その値を
経験則により求めるようにしたものである。
【0014】又、請求項5に記載の発明は、画素がマト
リックス状に配列された画像入力手段(1)によって1
画素当り一定ビット数で取得された画像データを、前記
一定ビット数の画素毎のデータを上位側の所定ビット数
で表される上位側ビットデータと下位側の所定ビット数
で表される下位側ビットデータとに分離するステップ
と、前記上位側ビットデータを同一行に含まれる画素毎
にブロック化するステップと、前記下位側ビットデータ
を同一行に含まれる画素毎にブロック化するステップ
と、前記ブロック化された上位側ビットデータ及び前記
ブロック化された下位側ビットデータの、各々の記憶位
置を示す位置情報を生成するステップと、前記ブロック
化された上位側ビットデータと前記ブロック化された下
位側ビットデータと前記生成された位置情報とを記憶媒
体(2)に記憶するステップとによって、管理するよう
にしたものである。
【0015】(作用)上記請求項1の発明によれば、高
精細に得られた画像データについて、近傍画素との相関
性の高い上位側ビットデータに関しては高い圧縮での可
変長符号化が可能になり、相関性が低くなる下位側ビッ
トデータに関してはビットシフト、パッキング処理を高
速化で行なうことができる。又、管理情報を記憶してお
くことで、所望の画像データの高速のアクセスが可能に
なり、復元処理の高速化が図れる。
【0016】又、請求項2の発明によれば、上位側ビッ
トデータと下位側ビットデータが、個別に、各行毎にブ
ロック化されるので、特定行の画像データのみを選択的
に再現する際の処理の高速化が図れる。この場合、各ブ
ロックの記憶位置を示す位置情報により、高速に画像を
再現することができる。又、請求項3の発明によれば、
相関性の強い上位側ビットデータに関して高い圧縮率で
の画像データの符号化が可能になる。
【0017】又、請求項4の発明によれば、画像入力手
段(1)の取り込み精度に応じた高精細な画像データ
を、圧縮/復元できる。又、請求項5の発明によれば、
画像入力手段(1)によって得られた高精細な画像デー
タが、上位側ビットデータと下位側ビットデータとに分
離され、記憶媒体(2)に記憶されるので、上位側ビッ
トデータのみを選択的に復元して、粗い画像を高速に再
現できる。
【0018】
【発明の実施の形態】(第1の実施の形態)以下、本発
明の第1の実施の形態について、添付図面を参照して説
明する。尚、この第1の実施の形態は、請求項1から請
求項5に対応する。図1は、本発明の画像データ圧縮方
法及び画像管理方法が適用される符号化処理装置10の
構成を示すブロック図である。
【0019】符号化処理装置10は、画像入力機器(C
CD)1から入力された画像信号を、ディジタル化した
のち、DPCM符号化とハフマン符号化とが併用された
JPEGロスレス符号化により、当該画像データを圧縮
して記憶媒体2に記憶するものである。ここで、符号化
処理装置10は、CCD1と一体に(例えば、ディジタ
ルカメラ内に)設けられる。又、記憶媒体2に記憶され
た圧縮画像データは、後述するように、パーソナルコン
ピュータ等の復号化処理装置20(図6)にて復号化さ
れ、その後、ユーザによる加工/修正が加えられて、画
像が復元される。
【0020】ここで、符号化処理装置10の入力側に接
続されるCCD1は、画素(セル)がm行×n列のマト
リックス状に配置され、図2に示すように、その受光面
に3色(図示例では、「R」「G」「B」)のカラーフ
ィルタが配置されている。符号化処理装置10は、前記
CCD1からの信号(信号電荷)を4096階調のディ
ジタル信号(12ビット)に変換するA/D変換器1
1、ディジタル化された信号(元データ)を一時的に記
憶する入力データバッファ12、入力データバッファ1
2に一時的に記憶された信号(元データ)を符号化する
CPU13、CPU13が実行するプログラム等を記憶
する主メモリ14、CPU13にて符号化された信号
(圧縮画像データ)を一時的に記憶し、所定のタイミン
グで記憶媒体2側に出力し、記憶させるための出力デー
タバッファ15等により構成されている。
【0021】このうち入力データバッファ12は、CC
D1によって得られた画素毎の画素データ(m×n個)
を、各行(ライン)毎に記憶するもので、符号化の対象
となる1行分のデータ(n個の画素データ)をひとまと
めにして記憶する対象ライン用バッファ12A、対象ラ
イン用バッファ12Aからシフトされた1行前のデータ
を記憶する1ライン前用バッファ12B、1ライン前用
バッファ12Bからシフトされた2行前のデータを記憶
する2ライン前用バッファ12Cを構成する。
【0022】又、出力データバッファ15には、アドレ
スバッファ15A、ハイバッファ15B、ロウバッファ
15Cが構成され、このうちアドレスバッファ15Aに
後述する「上位側圧縮データブロック位置情報」、ハイ
バッファ15Bに後述する「上位側圧縮データ」及び
「下位側データブロック位置情報」、ロウバッファ15
Cに「下位側データ」が、各々、記憶される。
【0023】次に、符号化処理装置10のCPU13に
て実行される、1コマ(画面)分の画像データの符号化
処理について、図3のプログラムフローチャートを用い
て説明する。この符号化処理が開始されると(スター
ト)、先ず、ステップS1において、入力データバッフ
ァ12の対象ライン用バッファ12Aに1行毎にn個宛
記憶される画素データ(12ビットの元データ)から、
注目画素のデータが読み込まれる。
【0024】ステップS2では、上記読み込まれた注目
画素の画素データ(12ビット)が上位の8ビット(上
位側ビットデータ)と下位の4ビット(下位側ビットデ
ータ)に分離される。このように12ビットの画素デー
タ(元データ)を上位8ビットと下位4ビットとに分離
するのは、12ビットで得られる画像データにおいて
は、一般に、上位6ビット〜上位8ビットまでのデータ
に関しては、近傍の他の画像データとの間に高い相関性
が見られ、高い圧縮率での符号化が可能であるのに対
し、下位4ビットになると他の近傍画素の下位4ビット
との間での相関性が低くなってしまうからである。
【0025】ステップS3では、8ビットの上位側ビッ
トデータがJPEGロスレス符号化によって符号化さ
れ、この符号化された画素データが「上位側圧縮デー
タ」として、ハイバッファ15Bに記憶される。このス
テップS3でのJPEGロスレス符号化は、この第1の
実施の形態では、DPCM符号化とハフマン符号化によ
って、概ね、以下の手順に従って行われる。
【0026】先ず、注目画素の予測値が、近傍の同色カ
ラーフィルタの画素(同色画素)の画素値(上位側ビッ
トデータの値)又は隣接画素の画素値(上位側ビットデ
ータの値)を基に所定の予測式に従って算出される。こ
こで、近傍の画素としては、注目画素(例えば、図2の
R44)に対して同一ラインの同色画素(2画素前のR4
2)又は2ライン前の同色画素(R24,R22)、又は隣
接画素(G43,B33,G34)のうち最も予測誤差が小さ
くなる画素値が得られる画素が用いられる。
【0027】予測値の算出に何れの画素値を用いるか
(どの画素値を変数とした予測式を用いるか)は、具体
的には、2画素前の画素の近傍の同色画素又は2画素前
の隣接画素の上位側ビットデータの、各々の画素値を用
いた複数の予測式にて、複数の仮の予測値を求め、2画
素前の画素値と上記複数の仮の予測値とを各々比較し、
その予測誤差が最も小さくなる予測式(最適予測式)を
記憶しておく。そして、2画素前に記憶された最適予測
式を用いて、今回ループでの注目画素の予測値を算出す
る。
【0028】このようにして算出された上位側ビットデ
ータの予測値は、前記ステップS2で分離された上位側
ビットデータ(8ビット)の画素値と比較されてその予
測誤差Δが求められる(DPCM符号化)。そして、こ
の予測誤差Δについて、その発生分布に従ったハフマン
符号化が行われて上位側ビットデータが符号化される
(可変長符号化)。
【0029】ここで、予測値の算出に当り、同色画素と
して、同一行の同色画素と2行前の同色画素の画素値を
用いた予測式が用いられるが、これは、図2に示すよう
に、3原色CCDの場合、R、Bについては、同じ色成
分のカラーフィルタが配置されている画素は、1行(1
ライン前)には存在せず、2行前に同色の近傍画素が存
在するからである。
【0030】このようにステップS3で上位側ビットデ
ータの符号化が行われると、次のステップS4で、注目
画素の下位側4ビットが、隣接する画素(図2に示す例
では異なる色成分の画素)の下位側ビットデータと合成
され、全体として8ビットのデータとして処理される。
即ち、マトリックス状に配置された画素(図2)のうち
同一行に含まれる画素(n個)について、最端の位置
(図2の1行目では、B11)から奇数番目にあるか偶数
番目にあるかが判別され、奇数番目(B11,B13,B1
5)であれば、下位側4ビットデータがロウバッファ1
5C(8ビット)の上位4ビットにシフトされて記憶さ
れ、偶数番目(G12,G14)であれば、下位側ビットデ
ータがそのままロウバッファ15Cの下位4ビットに記
憶される。この結果、ロウバッファ15Cでは、1バイ
ト(8ビット)のうち上位4ビットに奇数番目(B11,
B13,B15)の下位側ビットデータ(4ビット)が記憶
され、ロウバッファ15Cの下位4ビットに偶数番目の
下位側ビットデータ(4ビット)が記憶される(ビット
シフト処理、パッキング処理)。
【0031】ステップS5では、上記したステップS1
〜ステップS4の処理が1行分、即ち、今回対象となっ
ている1行に含まれるn個の画素の全てについて行われ
たか否かが判別され、1行分の処理が終了した時点で
(判別結果が“Yes”)、次のステップS6に進む。
ステップS6では、1行分(n個の画素)について得ら
れた上位側圧縮データが上位側圧縮データブロックとし
て結合され、同様に、下位側データが下位側データブロ
ックとして結合される(ブロック化)。
【0032】ステップS7では、上位側圧縮データブロ
ックの先頭位置に、同じ行の下位側データブロックの位
置情報が付加される。ステップS8では、アドレスバッ
ファ15Aに、各行の上位側圧縮データブロックの先頭
位置を示す位置情報が付加される。このようにして、ア
ドレスバッファ15Aに記憶された上位側圧縮データブ
ロックの位置情報、下位側データブロックの位置情報が
付加された1行分の上位側圧縮データ、下位側データ
は、記憶媒体2に所定のタイミングで記憶される。
【0033】今回対象となっている1行分の画像データ
の符号化が終了すると、次のステップS9では、上記し
たステップS1〜ステップS8の処理が、1コマ(1画
面)を構成するm行全てについて行われたか否かが判別
される。未だ、1コマ分の処理(m行の処理)が終了し
ていない場合には、ステップS9の判別結果が“No”
となって、上記したステップS1〜ステップS8が繰り
返し実行される。
【0034】一方、ステップS9の判別結果が“Ye
s”のとき、即ち、1コマの全ての行(m行)について
の処理が終了したときには、そのまま本プログラムを終
了する。図4に、記憶媒体2に記憶された符号化後の画
像データ(1コマ分)のデータフォーマットを示す。
【0035】この図に示すように、1コマ分の画像デー
タは、その最先位置に1コマ分(m行分)の上位側圧縮
データブロック位置情報が記憶され、その後に、各行毎
の画像データブロックが1行目からm行目まで繰り返し
パターンで記憶されている。各行の画像データブロック
には、その先頭位置に1行分の下位側データブロック位
置情報が、各々付加され、これに続いて1行分の上位側
圧縮データブロック、1行分の下位側データブロックが
順次記憶されている。
【0036】ここで、1コマ分の画像データの最先位置
に設けられた上位側圧縮データブロック位置情報は、1
コマ分(m行分)の画像データの各行の画像データブロ
ックの位置情報(図4中↓で示す上位側圧縮データ位置
の情報)を示すものである。又、各行の画像データブロ
ックの先頭位置に設けられた下位側データブロック位置
情報は、各行の画像データブロック内での下位側データ
ブロックの位置情報(図4中↑で示す位置の情報)を示
すものである。
【0037】具体的には、図4に一部を拡大して示すよ
うに(図には2行目の画像データブロックが拡大されて
いる)、2行目の下位側データブロック位置情報に続く
上位側圧縮データブロックには、2行目に含まれる画素
全て(n画素分)の上位側圧縮データがブロック化され
ている。又、2画素宛パッキングされて1バイトで表さ
れる下位側データ(8ビット)は、1行分(n画素分)
が下位側データブロックとしてブロック化される。
【0038】上記のように1コマ分の画像データの最先
位置には上位側圧縮データブロック位置情報が記憶さ
れ、これによって、1コマの画像のうち特定の行の上位
側圧縮データを、ランダムに読み出すことが可能にな
る。ここで、上位側圧縮データブロックの位置を示す上
位側圧縮データブロック位置は、同時に、各行の画像デ
ータブロックの位置を示すことになる。従って、特定の
行の上位側圧縮データと下位側データを、共にランダム
に読み出すことも可能である。
【0039】又、上記のように各行の画像データブロッ
クの先頭位置に下位側データブロック位置情報を付加し
ておくのは、上記したように上位側圧縮データブロック
の長さが、JPEGロスレス符号化により可変長符号化
されて行毎にそのデータ長が異なるからである。図5
は、上位側圧縮データブロックと下位側データブロック
とを記憶媒体2に記憶する際の、他のデータフォーマッ
ト例を示すものである。
【0040】この図に示すデータフォーマットでは、1
コマ分の画像データを圧縮して記憶するに当って、その
最先位置に、上位側圧縮データブロック位置情報、下位
側データブロック位置情報を、各行毎に、交互に記憶し
ている点が、図4に示すデータフォーマットと異なって
いる。そのため、第2のデータフォーマット例において
は、上位側圧縮データブロック位置情報に基づいた特定
行の上位側圧縮データのランダムな読み出し、及び、上
位側圧縮データブロック位置情報に基づいた特定行の上
位側圧縮データと下位側データとを共にランダムに読み
出すことが可能になるのに加えて、下位側位置データに
基づいた特定行の下位側データのランダムな読み出しを
行うことが可能となる。
【0041】次に、上記手順に従って符号化された圧縮
画像データの復号化について説明する。図6は、記憶媒
体2に記憶されている圧縮画像データを復号化するため
の復号化処理装置20を示すブロック図である。復号化
処理装置20は、記憶媒体2からの圧縮画像データを復
号化すると共に復号化した画像データ(12ビットの元
データ)を、画像加工/修正装置(パーソナルコンピュ
ータ)30に出力するもので、記憶媒体2から圧縮画像
データを読み込む入力データバッファ21、記憶媒体2
からの圧縮画像データを復元するCPU22、復元され
た画像データ(元データ)を各行毎に一時的に記憶する
と共に出力する復元データバッファ23、CPU22が
実行するプログラム等が記憶されている主メモリ24と
によって構成されている。
【0042】又、復号化処理装置20には、その復元デ
ータバッファ23に画像加工/修正装置30が接続され
ている。この画像加工/修正装置30は、外部から入力
された加工/修正情報(ユーザのキーボード操作等で入
力された情報)に基づいて、復元された画像データ(1
2ビットの元データ)に加工/修正を施すものである。
加工/修正された後の画像データ(例えば、8ビットの
画像データ)は、画像出力機器(例えば、CRT、プリ
ンタ)40に出力され、所望の画像が得られるようにな
っている。尚、前述した復号化処理装置10がディジタ
ルカメラに用いられる場合には、この復号化処理装置2
0、画像加工/修正装置30は、主としてパーソナルコ
ンピュータによって構成される。
【0043】ここで、復号化処理装置20の入力データ
バッファ21は、アドレスバッファ21A、ハイバッフ
ァ21B、ロウバッファ21Cを構成している。そし
て、アドレスバッファ21Aに記憶媒体2からの「上位
側圧縮データブロック位置情報」が一時的に記憶され、
記憶媒体2からの「上位側圧縮データ」及び「下位側デ
ータブロック位置情報」がハイバッファ21Bに一時的
に記憶される。又、ロウバッファ21Cに記憶媒体2か
らの「下位側データ」が一時的に記憶される。
【0044】又、復号化処理装置20の復元データバッ
ファ23は、対象ライン用バッファ23A、1ライン前
用バッファ23B、2ライン前用バッファ23Cを構成
している。そして、対象ライン用バッファ23Cに、今
回の復元対象となっている行(復元対象ライン)の復元
された画像データ(12ビットの元データ)が一時的に
記憶される。1ライン前用バッファ23Bには対象ライ
ン用バッファ23Aからシフトされた1行前の画像デー
タ(12ビットの元データ)が一時的に記憶され、2ラ
イン前用バッファ23Cには1ライン前用バッファ23
Bからシフトされた2行前の画像データ(12ビットの
元データ)が一時的に記憶される。
【0045】図7は、上記した復号化処理装置20のC
PU22にて実行される画像復号化処理を示すプログラ
ムフローチャートである。この画像復号化処理のプログ
ラムが開始されると、先ず、ステップS21において、
記憶媒体2から入力データバッファ21に取り込まれた
位置情報(上位側圧縮データブロック位置情報、下位側
データブロック位置情報)が、CPU22に読み込まれ
る。
【0046】ステップS22では、読み込まれた上位側
圧縮データブロック位置情報(図4の↓の位置を示す情
報)に基づいて、今回ループで対象となっている行(1
行分)の画像データブロック内の全てのデータの読み込
みが行われる。ステップS23では、ステップS21で
読み込まれた下位側データブロック位置情報(図4の↑
の位置を示す情報)に基づいて、ステップS22で読み
込まれたデータを、上位側圧縮データブロックと下位側
データブロックとに分離する処理が行われる。
【0047】ステップS24では、上記分離された上位
側圧縮データブロックに記憶されている上位側圧縮デー
タに対して、周知のJPEGロスレス復号化が行われ
る。このJPEGロスレス復号化は、前述した画像符号
化処理(図3)のステップS3で施された符号化の手順
の逆の手順で行われる。即ち、注目画素の上位側ビット
データ(8ビット)を復号化する場合には、先ず、2ル
ープ前で復号化されている2画素前(同色画素)の画素
値を求める。次いで、この2画素前の同色画素の仮の予
測値を、その近傍の同色画素の画素、又は隣接画素の画
素値を用いた複数の予測式に基づいて、複数求める。そ
して、2画素前の画素値とこれら仮の予測値とを各々比
較してその予測誤差Δを求め、これが最小となる予測式
(最適予測式)を決定する。最後に、この最適予測式を
用いて、今回ループでの注目画素の予測値を求め、記憶
されている予測誤差Δとこの予測値から、注目画素の上
位ビットデータ(8ビット)の復号を行う。
【0048】ステップS25では、前述した画像符号化
処理(図3)のステップS4でパッキングされた下位側
データ(2画素分が8ビットで表されている。)を、そ
の上位4ビットを奇数番目の画像データ(下位側ビット
データ)として、下位4ビットを偶数番目の画像データ
(下位側ビットデータ)として、復元する。
【0049】ステップS26では、上記ステップS24
で復元された上位側ビットデータ(8ビット)と、上記
ステップS25で復元された下位側ビットデータ(4ビ
ット)とによって、12ビットの画像データ(元デー
タ)を得る。ステップS27では、上記したステップS
24〜ステップS26の処理が1行分、即ち、同一行に
含まれるn個の画素について全て行われたか否かが判別
され、1行分の復号処理が終了した時点で、次のステッ
プS28に進む。
【0050】ステップS28では、上記したステップS
22〜ステップS27の処理が、1コマ(1画面)を構
成する全ての行(m行)について行われたか否かが判別
され、未だ、1コマ分の処理が終了していない場合に
は、上記したステップS22に戻り、処理を繰り返す。
1コマの全ての行(m行)についての処理が終了したと
きには(ステップS28の判別結果が“Yes”)、そ
のまま本プログラムを終了する(エンド)。
【0051】以上説明したように、この第1の実施の形
態の画像データの符号化方法及び復号化方法によれば、
CCD1によって高精細で取得された画像データ(12
ビットの画像データ)について、相関性の高い上位側ビ
ットデータ(8ビット)に対してはJPEGロスレス符
号化により高い圧縮率で圧縮し、相関性の低い下位側ビ
ットデータ(4ビット)に関しては処理速度を高めるべ
く、ビットシフト、パッキング処理を施すようにしてい
るので、12ビットの画像データ(元データ)全体とし
て、高い圧縮率を確保しつつ、符号化処理の速度を速め
ることができる。
【0052】尚、符号化された画像データに関して、上
位側圧縮データのみ復号することにより、粗い画像を高
速に再現することができる。又、このとき上位側圧縮デ
ータブロック位置情報が、1コマ分の圧縮画像データの
最先位置に記憶されており、上位側圧縮データブロック
位置(図4の↓で示す位置)を即座に認識できるため、
粗い画像の再現が容易、且つ高速に行われる。又、m行
の中から特定の行を選択して、部分的に画像を、高速に
再現することもできる。又、この第1の実施の形態で
は、処理を効率よく行うために、ステップS27の判別
結果が“No”であるうちはステップS24に戻って、
ステップS28の判別結果が“No”であるうちはステ
ップS22に戻って、処理を繰り返すようにしている
が、図8に示すように、ステップS27の判別結果が
“No”であるとき、又は、ステップS28の判別結果
が“No”であるときに、ステップS21の位置情報の
読み込みから、その処理を繰り返すようにしてもよい。
【0053】(第2の実施の形態)次に、本発明の第2
の実施の形態について、図9、図10を用いて説明す
る。尚、この第2の実施の形態も、請求項1から請求項
5に対応する。この第2の実施の形態は、上位側圧縮デ
ータブロックと下位側データブロックとを記憶媒体2に
記憶するに当って、1コマ分の画像データについて、全
ての行(m行)の上位側圧縮データブロックと、全ての
行(m行)の下位側データブロックとを、分離して記憶
するものである。
【0054】この場合のデータフォーマットを図9に示
す。尚、この第2の実施の形態を実現するための符号化
処理装置及び復号化処理装置の構成は、前述した第1の
実施の形態の符号化処理装置10(図1)、復号化処理
装置20(図6)と同一の装置で行われ、その説明は省
略する。又、上位側ビットデータの符号化(JPEGロ
スレス符号化)については、図3に示す画像符号化処理
のステップS6〜ステップS9で行われる記憶媒体2へ
の記憶の手順が異なるのみである。即ち、この第2の実
施の形態では、図9に示すように、上位側圧縮データブ
ロック位置情報、下位側データブロック位置情報を共に
1コマ分の画像データの最先位置に記憶し、その後に、
m行分まとめて上位側データブロックを記憶し、次いで
m行分まとめて下位側データブロックを記憶している。
【0055】このように、m行分の上位側データブロッ
クをまとめ、m行分の下位側データブロックをまとめ、
分離した状態で記憶媒体2に記憶することで、画像デー
タの再現時に、例えば、上位側8ビットのデータのみ復
号化して出力する場合(8ビットの粗い画像のみを再現
する場合)、最先位置に記憶された上位側圧縮データブ
ロック位置情報に基づいて上位側圧縮データのみを復号
すればよく、処理速度が高められる。
【0056】又、第2の実施の形態における圧縮画像の
データフォーマットにおいては、上位側圧縮データブロ
ック位置情報及び下位側データブロック位置情報の各々
がまとめて記憶される。又、上位側圧縮データと下位側
データの各々がまとめられて記憶される。そのため、各
位置情報に基づいて、1画面に含まれる全ての上位側圧
縮データ或いは全ての下位側データの読み出しを高速に
行うことが可能になる。
【0057】以下、上位側圧縮データのみを復号化し
て、粗い画像(上位8ビット)を高速に再現する場合の
手順について、図10に示すプログラムフローチャート
に従って説明する。尚、このプログラムは、復号化処理
装置20(図6)のCPU22において実行される。先
ず、ステップS31では、上位側データブロック位置情
報の読み込みが行われる。
【0058】ステップS32では、上位側データブロッ
ク位置情報を用いて1行分の上位側圧縮データブロック
内のデータ(上位側圧縮データ)の読み込みが行われ
る。ステップS33では、符号化処理において実行され
るJPEGロスレス符号化とは逆の手順によるJPEG
ロスレス復号化により、上記読み込まれた上位側圧縮デ
ータの1画素分の復号化が行われる。このステップS3
3での復号化は、図7のステップS24と同一の手順で
行われる。
【0059】ステップS34では、上記したステップS
33の処理が1行分、即ち、同一行に含まれるn個の画
素について行われたか否かが判別され、1行分の処理が
終了した時点で、次のステップS35に進む。ステップ
S35では、上記したステップS32〜ステップS33
の処理が1コマ(1画面)を構成する全ての行(m行)
について行われたか否かが判別され、未だ、1コマ分の
処理が終了していない場合には、上記したステップS3
2に戻り、処理を繰り返す。
【0060】一方、ステップS35において、1コマの
全てのラインについての復号化処理が終了したと判別さ
れたときには、そのまま本プログラムを終了する(エン
ド)。以上説明した第2の実施の形態によれば、1画素
当り12ビットで表される高精細な元データ(RAWデ
ータ)が圧縮して記憶された記憶媒体2から、当該画像
データを復元するに当たり、相関性の強い上位8ビット
のみを復元することで、粗い画像を高速に再現すること
ができる。尚、この第2の実施の形態でも、処理を効率
よく行うために、ステップS34の判別結果が“No”
であるうちはステップS33に戻って、ステップS35
の判別結果が“No”であるうちはステップS32に戻
って、処理を繰り返すようにしているが、図11に示す
ように、ステップS34の判別結果が“No”であると
き、又は、ステップS35の判別結果が“No”である
ときに、共にステップS31から、その処理を繰り返す
ようにしてもよい。
【0061】尚、上記した第1、第2の実施の形態で
は、共に画像の元データ(RAWデータ)が12ビット
の場合について説明したが、12ビットより大きい画像
データ、12ビットより小さい画像データの何れであっ
ても、本発明は適用可能であり、この場合にも、高い圧
縮率を確保しつつ、処理速度を高めることができる。
又、上記した第1、第2の実施の形態では、12ビット
の元データ(RAWデータ)を上位8ビット、下位4ビ
ットに分離する例をあげて説明したが、相関性の強い上
位ビット(12ビット画像データであれば、一般に6ビ
ット〜9ビットの範囲であることが経験的に知られてい
る。)であれば、8ビット以外のビット数に設定可能で
ある。この場合、上位何ビットを上位側ビットデータと
するかは、1コマ(1画面)毎に決定してもよい。
【0062】又、上記した第1、第2の実施の形態で
は、共に、符号化処理装置と復号化処理装置が、別個に
構成されている例(例えば、符号化処理装置がディジタ
ルカメラ側、復号化処理装置がパーソナルコンピュータ
側)で説明したが、これら2つの装置を1つの装置に内
蔵してもよい(例えば、ディジタルカメラ等に双方を内
蔵してもよい)。
【0063】又、上記した第1、第2の実施の形態で
は、画像データを上位側と下位側に分離する処理、上位
側ビットデータのDPCM符号化による符号化処理を、
共に、符号化処理装置10内のCPU13で行なう例を
あげて説明したが、これに限らず、DPCM符号化によ
る符号化を外付けのチップにまとめられた専用LSIに
行わせ、符号化処理装置10内のCPU13に上位側と
下位側の分離のみ行わせるようにしてもよい。この場
合、外付けの専用LSIには、DPCM符号化に代えて
Ziv-Lempel等による符号化を行うLSIを使用してもよ
い。又、復号化に当っては、復号化処理装置20に同様
に専用LSIをまとめたチップを外付けし、チップ内の
専用LSIで上位側ビットデータのDPCM復号化(又
は、Ziv-Lempel等による復号化)を行わせてもよい。こ
の場合には、復号化後の上位側ビットデータと下位側ビ
ットデータの結合を復号化処理装置20のCPU22に
より行わせればよい。
【0064】又、上記した第1、第2の実施の形態で
は、ディジタルカメラ等によって、静止画を取得した場
合を想定して説明したが、動画を取得した場合にも、本
発明は適用可能である。
【0065】
【発明の効果】以上説明した請求項1の発明によれば、
高精細に取得された画像データを、近傍画素との間で相
関性の高い上位側ビットデータと、相関性の低い下位側
ビットデータとに分離して、画像データの符号化を行な
うようにしたので、上位側ビットデータに関して圧縮率
の高い符号化を施し、下位側ビットデータに関しては処
理速度を高めることで、画像データ全体として、高い圧
縮率で画像データの符号化を行いつつ、処理速度を高め
ることができる。又、管理情報により、特定行の画像デ
ータを選択的に符号化/復号化する際の処理の高速化が
達成される。
【0066】又、請求項2の発明によれば、上位側ビッ
トデータと下位側ビットデータが、個別に、各行毎にブ
ロック化されるので、上位側ビットデータを復元するこ
とで特定行の画像を選択的に再現する際の処理を、更に
高速化できる。又、請求項3の発明によれば、相関性の
強い上位側ビットデータに関して、高い圧縮率で画像デ
ータの圧縮が行われる。
【0067】又、請求項4の発明によれば、高精細に取
り込まれた画像データを、高精細のまま復元でき、ユー
ザがこの高精細な画像データに加工/修正を加えること
で、加工/修正後の画像データを、出力機器の仕様に応
じた画質とすることができる。又、請求項5の発明によ
れば、高精細な画像データの上位側ビットデータのみを
選択的に復元することができ、位置情報により、粗い画
像を高速に再現でき、更に、特定行の画像のみ部分的に
再現する処理の高速化が可能になる。
【図面の簡単な説明】
【図1】本発明の第1の実施の形態の符号化処理装置の
構成を示すブロック図である。
【図2】画像入力機器2の受光面に配置されたカラーフ
ィルタのレイアウトを示す図である。
【図3】第1の実施の形態の画像符号化処理を示すフロ
ーチャートである。
【図4】第1の実施の形態により得られる圧縮画像デー
タのフォーマットの第1の例を示す図である。
【図5】第1の実施の形態により得られる圧縮画像デー
タのフォーマットの第2の例を示す図である。
【図6】本発明の第1の実施の形態の復号化処理装置の
構成を示すブロック図である。
【図7】第1の実施の形態の画像復号化処理を示すフロ
ーチャートである。
【図8】第1の実施の形態の画像復号化処理の異なる態
様を示すフローチャートである。
【図9】第2の実施の形態により得られる圧縮画像デー
タのフォーマットを示す図である。
【図10】第2の実施の形態の画像復号化処理を示すフ
ローチャートである。
【図11】第2の実施の形態の画像復号化処理の異なる
態様を示すフローチャートである。
【符号の説明】
1 画像入力機器(CCD) 2 記憶媒体 10 符号化処理装置 12 入力データバッファ 13 CPU 15 出力データバッファ 20 復号化処理装置 21 入力データバッファ 22 CPU 23 復元データバッファ
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) H04N 5/92 H04N 5/92 H 7/24 7/13 Z

Claims (5)

    【特許請求の範囲】
  1. 【請求項1】 画像入力手段によって1画素当り一定ビ
    ット数で取得された画像データを圧縮する画像データ圧
    縮方法において、 前記一定ビット数の画素毎のデータを上位側の所定ビッ
    ト数で表される上位側ビットデータと下位側の所定ビッ
    ト数で表される下位側ビットデータとに分離するステッ
    プと、 前記上位側ビットデータに可変長符号化を施すステップ
    と、 前記下位側ビットデータを複数の画素宛ビットシフト演
    算にてパッキングするステップと、 前記可変長符号化された上位側ビットデータ及び前記パ
    ッキングされた下位側ビットデータを個別に管理するた
    めの管理データを生成するステップと、 前記可変長符号化された上位側ビットデータと前記パッ
    キングされた下位側ビットデータと前記生成された管理
    データとを記憶媒体に記憶するステップとからなること
    を特徴とする画像データ圧縮方法。
  2. 【請求項2】 請求項1に記載の画像データ圧縮方法に
    おいて、 前記画像入力手段は画素がマトリックス状に配列された
    入力手段であり、 前記可変長符号化された上位側ビットデータは同一行に
    含まれる画素毎にブロック化され、 前記パッキングされた下位側ビットデータは同一行に含
    まれる画素毎にブロック化され、 前記管理データとして、前記ブロック化された上位側ビ
    ットデータ及び前記ブロック化された下位側ビットデー
    タの、各々の記憶位置を示す位置情報が生成されること
    を特徴とする画像データ圧縮方法。
  3. 【請求項3】 請求項1又は請求項2に記載の画像デー
    タ圧縮方法において、 前記可変長符号化は、ハフマン符号化とDPCM符号化
    とにより行われることを特徴とする画像データ圧縮方
    法。
  4. 【請求項4】 請求項1から請求項3の何れかに記載の
    画像データ圧縮方法において、 前記画素毎のデータの一定ビット数は前記画像入力手段
    の検出精度に応じた値であり、 前記上位側の所定ビット数は、近傍の画素との間で相関
    が生じる傾向の強い上位側のビット数であり、その値は
    経験則により求められることを特徴とする画像データ圧
    縮方法。
  5. 【請求項5】 画素がマトリックス状に配列された画像
    入力手段によって1画素当り一定ビット数で取得された
    画像データを管理する画像データ管理方法において、 前記一定ビット数の画素毎のデータを上位側の所定ビッ
    ト数で表される上位側ビットデータと下位側の所定ビッ
    ト数で表される下位側ビットデータとに分離するステッ
    プと、 前記上位側ビットデータを同一行に含まれる画素毎にブ
    ロック化するステップと、 前記下位側ビットデータを同一行に含まれる画素毎にブ
    ロック化するステップと、 前記ブロック化された上位側ビットデータ及び前記ブロ
    ック化された下位側ビットデータの、各々の記憶位置を
    示す位置情報を生成するステップと、 前記ブロック化された上位側ビットデータと前記ブロッ
    ク化された下位側ビットデータと前記生成された位置情
    報とを記憶媒体に記憶するステップとからなることを特
    徴とする画像データ管理方法。
JP32838099A 1998-12-21 1999-11-18 画像データ圧縮方法 Expired - Lifetime JP4092830B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP32838099A JP4092830B2 (ja) 1998-12-21 1999-11-18 画像データ圧縮方法
US09/466,869 US6744929B1 (en) 1999-11-18 1999-12-20 Image data compression method image data compression apparatus and recording medium and data signal for providing image data compression program

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP10-362375 1998-12-21
JP36237598 1998-12-21
JP32838099A JP4092830B2 (ja) 1998-12-21 1999-11-18 画像データ圧縮方法

Publications (2)

Publication Number Publication Date
JP2000244744A true JP2000244744A (ja) 2000-09-08
JP4092830B2 JP4092830B2 (ja) 2008-05-28

Family

ID=26572852

Family Applications (1)

Application Number Title Priority Date Filing Date
JP32838099A Expired - Lifetime JP4092830B2 (ja) 1998-12-21 1999-11-18 画像データ圧縮方法

Country Status (1)

Country Link
JP (1) JP4092830B2 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100414962C (zh) * 2005-04-18 2008-08-27 索尼株式会社 图像信号处理装置,照相机系统和图像信号处理方法
JP2013121103A (ja) * 2011-12-08 2013-06-17 Sony Corp 画像処理装置及びプログラム
WO2017090283A1 (ja) * 2015-11-26 2017-06-01 ソニー株式会社 フレーム生成装置、フレーム生成方法、画像合成装置、画像合成方法、信号生成装置、信号生成方法および画像伝送システム
JP2018504025A (ja) * 2014-12-09 2018-02-08 ソニー株式会社 ベイヤー画像符号化のための改善された色信号内予測及び色信号間予測
JP2020141377A (ja) * 2019-03-01 2020-09-03 キヤノン株式会社 画像符号化装置、画像復号化装置、撮像装置、画像符号化方法、画像復号化方法、及びプログラム
WO2023070455A1 (zh) * 2021-10-28 2023-05-04 华为技术有限公司 数据处理的方法与雷达芯片

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100414962C (zh) * 2005-04-18 2008-08-27 索尼株式会社 图像信号处理装置,照相机系统和图像信号处理方法
JP2013121103A (ja) * 2011-12-08 2013-06-17 Sony Corp 画像処理装置及びプログラム
JP2018504025A (ja) * 2014-12-09 2018-02-08 ソニー株式会社 ベイヤー画像符号化のための改善された色信号内予測及び色信号間予測
WO2017090283A1 (ja) * 2015-11-26 2017-06-01 ソニー株式会社 フレーム生成装置、フレーム生成方法、画像合成装置、画像合成方法、信号生成装置、信号生成方法および画像伝送システム
JPWO2017090283A1 (ja) * 2015-11-26 2018-09-13 ソニー株式会社 フレーム生成装置、フレーム生成方法、画像合成装置、画像合成方法、信号生成装置、信号生成方法および画像伝送システム
US10791349B2 (en) 2015-11-26 2020-09-29 Sony Corporation Frame generation apparatus, frame generation method, image synthesis apparatus, image synthesis method, signal generation apparatus, signal generation method, and image transmission system
JP6992509B2 (ja) 2015-11-26 2022-01-13 ソニーグループ株式会社 フレーム生成装置、フレーム生成方法、画像合成装置、画像合成方法および画像伝送システム
JP2020141377A (ja) * 2019-03-01 2020-09-03 キヤノン株式会社 画像符号化装置、画像復号化装置、撮像装置、画像符号化方法、画像復号化方法、及びプログラム
JP7444541B2 (ja) 2019-03-01 2024-03-06 キヤノン株式会社 画像符号化装置、画像復号化装置、撮像装置、画像符号化方法、画像復号化方法、及びプログラム
WO2023070455A1 (zh) * 2021-10-28 2023-05-04 华为技术有限公司 数据处理的方法与雷达芯片

Also Published As

Publication number Publication date
JP4092830B2 (ja) 2008-05-28

Similar Documents

Publication Publication Date Title
KR100347508B1 (ko) 촬상 장치
JP4130207B2 (ja) 画像処理表示装置および画像処理表示方法
US7702163B2 (en) Image signal processing apparatus, camera system and image signal processing method
JP5520122B2 (ja) データ変換装置
JP4151684B2 (ja) 符号化装置、符号化方法および符号化プログラム、並びに撮像装置
US20210021796A1 (en) Image processing device and method for operating image processing device
WO2009087783A1 (ja) 符号化用データ生成装置、符号化用データ生成方法、復号装置および復号方法
US11044466B2 (en) Image processing device
JP5793716B2 (ja) 撮像装置
JP2000244935A (ja) 画像データ圧縮方法
JP4196039B2 (ja) 画像データ圧縮方法
JP4683678B2 (ja) 画像信号処理方法、画像信号処理システム、記憶媒体及び撮像装置
JP4288398B2 (ja) 画像記録装置、画像再生装置および画像処理プログラムを記録した記録媒体
JP7289642B2 (ja) 画像処理装置、画像処理装置の制御方法、及びプログラム
JP4092830B2 (ja) 画像データ圧縮方法
JP4895567B2 (ja) 画像符号化方法及び装置、画像復号化方法及び装置、撮像装置
JP4892869B2 (ja) 画像圧縮装置、画像圧縮プログラム、電子カメラ、画像伸張装置、及び画像伸張プログラム
JP2011029809A (ja) 画像処理装置、画像処理方法および撮像装置
JPH1188701A (ja) 画像圧縮装置および画像伸張装置
JP3709106B2 (ja) 画像圧縮および伸張装置
JP4729913B2 (ja) 画像処理装置及び方法
JP2009038740A (ja) 画像符号化装置
JP4164161B2 (ja) 画像信号処理方法、画像信号処理システム、撮像装置及び記憶媒体
JP4720494B2 (ja) 撮像装置、撮像方法およびプログラム、並びに記録媒体
JP4522640B2 (ja) データ転送システムおよびデータ転送方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060919

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20071120

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080118

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080212

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080225

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110314

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4092830

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110314

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140314

Year of fee payment: 6

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140314

Year of fee payment: 6

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term