JPH09161094A - 画像生成装置 - Google Patents

画像生成装置

Info

Publication number
JPH09161094A
JPH09161094A JP7323347A JP32334795A JPH09161094A JP H09161094 A JPH09161094 A JP H09161094A JP 7323347 A JP7323347 A JP 7323347A JP 32334795 A JP32334795 A JP 32334795A JP H09161094 A JPH09161094 A JP H09161094A
Authority
JP
Japan
Prior art keywords
frame buffer
pixel
shape
data
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP7323347A
Other languages
English (en)
Other versions
JP3720890B2 (ja
Inventor
Norito Watanabe
範人 渡辺
Kenichi Anjo
健一 安生
Masanori Miyoshi
雅則 三好
Yoshifumi Fukuda
善文 福田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP32334795A priority Critical patent/JP3720890B2/ja
Publication of JPH09161094A publication Critical patent/JPH09161094A/ja
Application granted granted Critical
Publication of JP3720890B2 publication Critical patent/JP3720890B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Image Generation (AREA)

Abstract

(57)【要約】 【課題】表示物体の照明状態を、リアルかつ高速に表現
する画像生成手段を実現すること。 【解決手段】フレームバッファと、表示手段と、部分空
間の境界形状に対して、画素ごとに、特定の位置からの
奥行きデータを出力する境界レンダリング手段と、画素
が、特定の位置から見て、特定の位置側に存在するか否
かを判断し、奥行きデータの加減算処理を、総ての、境
界形状を構成する画素に対して行なう差分演算手段と、
該手段による処理結果を格納する積和バッファと、積和
バッファの格納データに基づいて、光の減衰量を計算し
て、さらに、前記フレームバッファの格納位置の色情
報、予め定められている部分空間の色情報、および、光
の減衰量に基づいて、当該画素の色情報を定める処理を
行なう合成手段と、を有する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、描画対象となるモ
デルの3次元表示手段に係わり、特に、光ぼうやグレア
をリアルかつ高速に描画表現する手段に関する。
【0002】
【従来の技術】従来の3次元描画手法においては、描画
対象であるモデルを、三角形等の形状で構成するものと
して登録する。そして、描画の際には、登録された形状
モデルを参照して、レンダリングを行なっていた。
【0003】さらに、光源等が存在する場合、光源よる
光の照射の影響を考慮して、形状の輝度を計算し、この
輝度情報に基づき、描画を行なうものであった。このた
め、モデルデータが存在しない場合には、描画が行なわ
れない。
【0004】光が、空間内に存在する微粒子を照射した
ときに発生する「光ぼう(こうぼう)」や、光の回折現
象で生じるグレアは、それ自体が、形状データで表現で
きないため、従来の描画手法では表現不可能である。
【0005】このような状態を表現する手法として、光
ぼうの表現に関して、従来2つの手法が提案されてい
た。
【0006】第1の手法は、光ぼうの表現を、ボリュー
ムレンダリングと称される手法で行なうものである。こ
の手法は、「コンピュータグラフィックス、プリンシプ
ルアンドプラクティス、セカンドエディション、アディ
ソンウエズリー(1990年)第1034頁から第10
39頁(Computer Graphics, Principles and Practic
e, Addison Wesley(1990), pp1034-pp1039)」等の文献
に詳しく述べられている。
【0007】即ち、本手法は、描画対象となる空間を、
複数の小空間に分割し、視線が小空間を通過する様子
を、各小空間における輝度変化を積分することによって
求めて、光ぼうを表現する手法である。
【0008】また、第2の手法は、光ぼうの表現を、形
状を生成することによって行なうものである。この手法
は、光ぼう現象が発生する位置に、光ぼうを表現するた
めの、新たな仮想形状を生成し、半透明状態で該仮想形
状を描画するものである。
【0009】さらに、グレア表現に関しては、「シーグ
ラフ90コンファレンスプロシーディングス、Vol.24、
No.4、August1990、第395頁から第404頁(SIGGRA
PH90Conference Proceedings Vol.24,No.4, August199
0、pp395-404)」等の文献に詳しく述べられている。本
手法によれば、生成された画像の輝度データに基づき、
特殊な画像処理を行なうことによって、グレア表現を行
なうものである。
【0010】
【発明が解決しようとする課題】ところで、上述したよ
うな従来技術、即ち、光ぼう表現の第1の従来技術によ
れば、空間積分を行なう際の処理時間が考慮がされてお
らず、著しく処理時間がかかってしまうという問題があ
った。また、光ぼう表現の第2の従来技術によれば、処
理時間がさほど要しないものの、光ぼうを表現する色が
均質になるため、リアルな表現を行なうことが不可能で
あったという問題があった。
【0011】また、グレア表現に関しても、従来技術に
おいては、生成された画像に対し、画素単位での画像処
理を行なうため、処理速度の点で問題があった。
【0012】そこで、本発明の目的は、光芒の表現を、
リアルかつ高速に行なう手段を提供するとともに、グレ
ア表現も、リアルかつ高速に行なう手段を提供すること
にある。
【0013】
【課題を解決するための手段】上記課題を解決し、本発
明の目的を達成するために、以下の手段がある。
【0014】即ち、画素ごとに色情報を格納するフレー
ムバッファと、該フレームバッファの内容を参照して表
示出力を行なう表示手段と、ある体積を占める空間であ
る部分空間の境界形状に対して、境界形状を構成する画
素ごとに、特定の位置からの奥行きデータを出力する境
界レンダリング手段と、前記境界形状を構成する画素
が、前記特定の位置から見て、特定の位置側に存在する
か否かを判断し、予め定めた規則にしたがって、対応す
る奥行きデータの符号付けを行ない、奥行きデータの加
減算処理を、総ての、境界形状を構成する画素に対して
行なう差分演算手段と、各画素に対する該差分演算手段
による処理結果を格納する積和バッファと、各画素に対
して、積和バッファの格納データに基づいて、光の減衰
量を計算して、さらに、対応する前記フレームバッファ
の格納位置の色情報、予め定められている部分空間の色
情報、および、光の減衰量に基づいて、当該画素の色情
報を定め、フレームバッファ内の対応する位置に格納す
る処理を行なう合成手段と、を有する画像生成装置であ
る。
【0015】また、本発明の他の態様として、以下に示
す手段がある。
【0016】即ち、画素ごとに色情報を格納するフレー
ムバッファと、該フレームバッファの内容を参照して表
示出力を行なう表示手段と、3次元物体を照明する光
源、および、障害物が存在すると想定したとき、照射方
向に平行な複数の面を生成し、各面に沿って、該光源と
光を遮る障害物との距離を求め、該面に対して、光源か
らの距離にしたがった透明度を設定する光ぼうプレート
生成手段と、各面に対して、透明度にしたがった描画を
行ない、描画結果を前記フレームバッファに格納する形
状レンダリング部と、を有する画像生成装置である。
【0017】さらにまた、本発明の他の態様として、以
下に示す手段がある。
【0018】即ち、画素ごとに色情報を格納するフレー
ムバッファと、該フレームバッファの内容を参照して表
示出力を行なう表示手段と、予め定めた複数種類のグレ
アパターンをマッピングするグレア処理手段とを備え
る。そして、該グレア処理手段は、表示画面の中心位置
と光源の存在位置とを結ぶ直線上に、1以上のグレアパ
ターンをマッピングするように、グレアパターンを前記
フレームバッファに格納する、画像生成装置である。
【0019】
【発明の実施の形態】以下、本発明の実施形態を、図面
を参照して説明する。
【0020】なお、本発明の理解の容易化を図るため、
図2、3、4、5を参照して、本発明によって描画され
る画像生成の例と、動作原理について説明し、その後、
具体的な装置構成を示して、本実施形態を説明する。
【0021】図3は、本実施形態による表示部111の
表示画面例である。
【0022】図3に示すように、例えば、微粒子物体
が、空間内に部分的に存在する「部分空間」203に対
して光を照射した場合、その部分空間の厚みが把握でき
るように表示するものである。このような状態は、例え
ば、煙や霧等が存在する部分空間に対して、光を照射し
て生ずる、光ぼう現象を表現したものである。
【0023】また、部分空間のような半透明空間と、不
透明な物体201が共存しても、部分空間の見える厚み
を考慮してリアルに画像生成することを可能とするもの
である。
【0024】次に、図2は、図3に示したA−A'の線
を、図面に垂直の上方向から見た様子を示す図面であ
る。
【0025】したがって、図2の「A」「A'」は、図
3の「A」「A'」に対応し、また、図2の「B」は、
図3の点「B」に対応する。
【0026】図2では、3種類の部分空間203が存在
しており、背景202は、不透明の物体である。点Bを
視点方向に延長することを想定した場合の、背景202
との接触点を点B'としている。
【0027】もちろん、図2および図3における、物体
201は、共通したものであるが、視点の位置が異なる
ため、物体201の形状は異なっている。
【0028】B-B'の視線に注目して、拡大した様子を
表現する図面が図4である。
【0029】図4において、401は、視点、203は
部分空間、202は、不透明物体である。
【0030】また、各部分空間203の色情報Cv、不
透明物体202の色情報Cbは、予め定められている。
また、Ceは、視点位置で観測される色を表現っする色
情報である。なお、色情報としては、例えば(R、G、
B)を数値表現したデータを採用すれば良い。また、4
02、403、404、405、406、407は、各
部分空間203の境界面である。なお、各境界面の法線
ベクトルを調べれば、各境界面が、視線側にあるか否か
が判断できる。以下、適宜、視点側にある境界面、例え
ば、402を「表側」、その反対側にある境界面、例え
ば、403を「裏側」として説明を行なう。
【0031】ここで、部分空間を視線が通過する距離
は、次のようにして求めることができる。
【0032】まず、不透明物体202の描画を行ない、
不透明物体202の、視点位置からの奥行き距離Z0を
定めておく。その後、部分空間の境界面402、40
3、404、405、406、407を求め、各境界面
と視点位置との距離、Z1、Z2、Z3、Z4、Z5を
求める。さらに、各境界面が視点側に存在するか否か、
即ち、表側であるか裏側であるかをによって、各境界面
と視点位置との距離の加減算を行なう。これにより、視
線が、部分空間を通過する距離dを求めることができ
る。
【0033】なお、図では、不透明物体202からの各
境界面までの距離を、「Zn'=Z0−Zn(n=0、1、2、
3、4、5、6)」として求め、さらに、表側を正、裏側を
負として、距離dを求めている。その結果、「d=Z1'
−Z2'+Z3'−Z4'+Z5'−Z6'」なる式で、距離dが
求まることが分かる。
【0034】さて、均質な微粒子が存在する部分空間を
通過する光は、その通過距離に従い、対数的に減衰する
ので、図5に示す式で、視点に到達する色Ceを決定す
ることが可能である。即ち、Kを減衰定数として、「a
=exp(−K・d)」なる式で減衰量aを定めてい
る。よって、(1−a)は、透過度を示している。
【0035】図5では、横軸に距離dをとり、dの変化
に従って、a、(1−a)が変化する様子を示してい
る。
【0036】そして、色Ceは、「Ce=Cb・a+C
v・(1−a)」なる式で求めている。但し、Cbは、
不透明物体202の色(または、背景色)、Cvは、部
分空間の色である。
【0037】次に、図1を参照して、上述したような処
理を行なう装置の位置構成形態を説明する。
【0038】本装置は、モデルデータ格納部101と、
画像生成制御部102と、形状レンダリング部103
と、画素ごとに色情報を格納するフレームバッファ10
6と、該フレームバッファの内容を参照して表示出力を
行なう表示部111と、光ぼう生成部110とを有して
構成されている。また、光ぼう生成部110は、境界レ
ンダリング部104、差分演算部105、積和バッファ
108、および合成部109を備えている。
【0039】表示部111は、CRT、液晶ディスプレ
イ等で実現可能であり、また、各バッファは、RAM等
のメモリデバイスで実現できる。その他の構成要素も、
例えば、各種の処理を行なうCPU、予めプログラムを
内蔵したROM、記憶素子やワークエリアとして機能す
るRAM、各種の論理演算を行なう論理素子等の電子デ
バイスで実現できる。したがって、本装置は、1台の計
算機上で実現可能である。
【0040】モデルデータ格納部101は、モデルデー
タや、視点情報を格納する。
【0041】モデルデータとしては、表示対象となる3
次元空間内に存在する物体の形を表す形状データ、配置
や大きさを示す配置データ、色や質感を示す属性デー
タ、照明の設定条件や照射方向を示す照明データがあ
る。また、視点情報としては、視点401の位置、方
向、画角等を示すデータが挙げられる。
【0042】奥行きバッファ107は、隠面消去を行な
うために、特定位置、例えば視点位置から、モデルデー
タまでの奥行きデータを格納する。
【0043】画像生成制御部102は、モデルデータ格
納部101の格納内容を参照して、視点401から見
た、物体の3次元データを、2次元画像データに変換、
生成するために、各種バッファへのアクセス動作を行な
うとともに、形状レンダリング部103の動作を制御す
る。
【0044】形状レンダリング部103は、モデルデー
タ等を参照して、2次元画像の描画生成処理を行なう。
【0045】画像生成制御部102は、画像生成を行な
う際に、まず、画像情報を格納するフレームバッファ1
06と、画像を生成する際に使用する作業バッファ、図
1に示す例では、奥行きバッファ1071を初期化す
る。
【0046】フレームバッファ106の初期化は、生成
する画像の背景色、例えば黒色のデータを、バッファに
格納することで行なえばよい。奥行きバッファ107の
初期化は、バッファに、無限遠の値を設定しておけばよ
い。
【0047】画像生成制御部102は、この初期化処理
の後、形状の描画を行なう。
【0048】即ち、画像生成制御部102は、形状レン
ダリング部103に対し、視点データ、照明データを与
え、その後、形状データを順次、形状レンダリング部1
03に与えることによって、形状レンダリング部に画像
生成を行なわせる。
【0049】形状レンダリング部103は、形状データ
を、視点データを参照して投影変換し、形状データのフ
レームバッファ106内での格納位置、および、視点位
置からの奥行距離を、画素単位で求める。
【0050】次に、形状レンダリング部103は、照明
データに従って、各画素の色情報の決定を行なう。この
際、隠面消去を行なうため、さらに、以下の処理を行な
う。
【0051】即ち、奥行きバッファ107における、対
応する画素位置の奥行きデータを読み出し、既に、形状
データに対する奥行データよりも、手前の位置を表す値
が、奥行きバッファ107に書き込まれている場合に
は、フレームバッファ106への色情報の書き込みは行
なわない。一方、奥行きバッファ107の値が、手前の
位置を表す値でない場合には、フレームバッファ106
に対し、対応する画素に色情報を書き込む。さらに、奥
行きバッファ107へ、形状の奥行データの値を書き込
む処理を行なう。このような処理を行なうことによっ
て、視点位置から見た3次元モデルの描画のための情報
が、フレームバッファ106に格納される。
【0052】なお、以上説明した、形状レンダリング部
103が行なうレンダリング処理は、「Z-Buffer法」と
称される公知の手法であるため、その詳細な説明につい
ては、省略する。
【0053】フレームバッファ106に格納された画像
情報は、表示部111によって、画面表示される。
【0054】次に、3次元空間内に、微粒子が部分的に
存在する部分空間を画像として生成する処理について説
明する。微粒子が部分的に存在するモデルとしては、例
えば、微粒子に照射された光が拡散して、光が到達して
いる部分の微粒子が可視状態となることによって生じる
光ぼう現象や、CTスキャナを備えた三次元断層撮影等
によって得られる、データの存在密度に分布があるモデ
ル等が考えられる。
【0055】前者の具体例としては、霧の中を、自動車
のヘッドライトが照射した状態や、タバコの煙に、光を
照するケース等が考えられる。また、光が、窓から室内
に向けて、さしこむ状態も考えられる。
【0056】後者の例としては、人間の頭部の断層写真
が示すデータ等が挙げられる。
【0057】次に、本発明の主要部である、光ぼう生成
部110が行なう処理を説明する。
【0058】まず、画像生成制御部102は、部分空間
の境界を、形状データとして作成する。作成方法として
は、図2に示すように、ある体積を占める部分空間を、
複数配置するのが一般的である。
【0059】他の作成方法としては、光ぼうに関して
は、光の遮蔽物(不透明物体)の輪郭線を、光源が存在
する位置とは反対方向に、掃引することで、部分空間の
境界形状を求める。ここで、掃引とは、形状を所定方向
に伸ばした状態を想定して形状データを生成することを
意味し、グラフィック処理の一般的な手法である。
【0060】また、三次元断層撮影データの例では、デ
ータの分布密度が、ある値以上となる(または、ある値
以下になる)領域の境界線を、境界形状として生成す
る。
【0061】なお、境界形状を生成する際には、境界形
状に対する法線の方向が、部分空間の内側または外側の
いずれか一方を向くようにしておく。これにより、境界
形状が、視点から見たときに、部分空間の視点側の境界
なのか、反対側の境界なのか、即ち、表・裏を判別する
ことができる。
【0062】画像生成制御部102は、境界レンダリン
グ部104に対し、視点データ、照明データを与えた
後、求めた境界形状の情報を与える。境界レンダリング
部104は、指示された境界形状の、表裏判定を行な
う。これは、境界形状の法線方向と、視線の方向とを比
較することによって求めることが可能である。この判定
結果を、差分演算部105に与える。
【0063】次に、境界レンダリング部104は、境界
形状のレンダリングを行なう。レンダリング処理は、形
状レンダリング部103と同様の処理によって行うが、
このとき輝度計算は行なわず、奥行きバッファ107を
参照して、部分空間の境界面に対する奥行データを求め
ることのみ行なう。
【0064】視点位置から見える境界形状ならば、その
奥行きデータを、差分演算部105に与える。レンダリ
ングにおける各画素毎の奥行き情報の計算は、形状レン
ダリング部1031においても使用する「3DDDA」と称
される、一般的な手法を採用して行なう。専用ハードウ
エアを備えることにより、処理の高速化が図れる。
【0065】ここで、差分演算部105の処理概要を、
図6を参照して説明する。
【0066】図6(a)には、境界レンダリング部10
4、奥行きバッファ107、積和バッファ108、およ
び、差分演算部105を示している。
【0067】積和バッファ108は、部分空間の画像生
成処理の前に、「0」で初期化される。その後、境界レ
ンダリング部104により、視点位置から見えると判断
された画素(図中「画素」と、図示した1画素)の奥行
きデータが、差分演算部105が備える減算部に与えら
れる。
【0068】次に、奥行きバッファ107の対応する画
素の奥行きデータ602を参照し、601と602の差
分を求める。この差分値が、図4に示す「Zn’」であ
る。
【0069】差分演算部105が備える加減算部は、境
界レンダリング104が求めた法線方向から表裏判定を
行ない、表側ならば、「Zn’」に「+」の符号を付加
し、裏側ならば「Zn’」に「−」の符号を付加してい
き、積和バッファ108の画素の対応するデータ603
の値と、求まった差分値の演算を行ない、演算結果を再
び積和バッファ108の画素603に対するエリアに格
納する。
【0070】これにより、視線が部分空間を通過する距
離、即ち、図4に示すdを求めることができる。
【0071】このようにして、画素単位の距離情報が、
積和バッファ108に格納される。
【0072】なお、三次元断層撮影データのように、部
分空間のデータのみで、不透明物体が存在しないモデル
の場合には、差分演算部105の構成を簡素にすること
ができる。これを図6(b)に示す。図示するように、奥
行きバッファ107との差分処理がなくなり、積和バッ
ファ108との演算処理のみとなる。また、演算処理は
境界形状が視点側にある場合には減算処理、反対側にあ
る場合には加算処理とする。加減算部は、このような処
理によって、部分空間中を視線が通過する距離dを求
め、積和バッファ108に格納する。
【0073】次に、画像生成制御部102は、合成部1
09に対して、部分空間のレンダリング画像の合成を指
示する。合成部109は、積和バッファ108に格納さ
れた距離データdを使用して、各画素毎に次の演算を行
なう。
【0074】a=exp(−K・d) (式1) (但し、Kは、部分空間内を光線が通過する際の減衰率
を示す定数)なる式で、光の減衰量を求める。そして、 Ce=Cb・a+Cv・(1.0−a) (式2) なる式で、画素ごとに、視点位置からの色情報を定め
る。
【0075】Cbは、フレームバッファ106に格納さ
れている色情報であり、Cvは、部分空間の色情報を示
す。また、aは次の式で求める。
【0076】合成部109は、以上のような計算を行な
い、Ceの値を、フレームバッファ106格納する。
【0077】これによって、表示部111は、部分空間
への光の照射を考慮した画像を表示出力できる。
【0078】以上説明してきたように、本実施形態によ
れば、部分空間に均質に存在する微粒子状のモデルを、
その厚みがわかるように、リアルかつ高速に生成するこ
とが可能となる。これにより、光ぼう、三次元断層デー
タ等を、リアルかつ高速に表現を可能な画像生成装置を
実現できる。
【0079】次に、光ぼうの表現を行なうための、第2
の実施形態について、図7、図8を参照して説明する。
【0080】図7に、第2の実施形態における構成例を
示す。
【0081】本装置は、モデルデータ格納部101と、
形状レンダリング部103と、フレームバッファ106
と、奥行きバッファ107と、表示部111と、光ぼう
プレート生成部702と、各構成要素の動作を制御する
画像生成制御部701とを有して構成される。
【0082】なお、モデルデータ格納部101、形状レ
ンダリング部103、フレームバッファ106、奥行き
バッファ107、および表示部111は、図1において
同じ符号を付したものと、同一のものである。
【0083】画像生成制御部701は、光ぼう以外のモ
デルデータのレンダリングを、形状レンダリング部10
3を起動することによって行ない、光ぼうの表現を、光
ぼうプレート生成部702を起動することによって行な
う。
【0084】さて、図8を参照して、光ぼうプレート生
成部702が行なう、光ぼう表現の処理概要を説明す
る。
【0085】ここで、図8(a)に示すように、照明の
光源801と視点401が存在することを想定する。光
源801は、光を照射する対象物802上の点803を
原点とした、X、Y、Z座標系のZ軸上に存在し、領域
804が照明エリアとなっている。視点401の座標
は、(Ex、Ey、Ez)であり、座標(Ax、Ay、
Az)である注視点805を注視している。また、視線
は、806で表現している。
【0086】光ぼうを表現するための、光ぼうプレート
811は、図8(b)、(c)に示すようにして生成す
る。
【0087】まず、視線806をXY平面に投射した直
線807を計算により求める。次に、直線807と平行
で、座標系原点803を通る直線808を定める。次
に、XY平面上の直線で、直線808と直交する直線8
09を、照明の照射エリア804をカバーするように、
所定間隔で生成する。次に、直線809と平行で、光源
位置801を通る直線810を求める。
【0088】そして、光ぼうプレート811は、直線8
10と各直線809とを含む平面として生成する。
【0089】以上のようにして生成した、光ぼうプレー
ト811に対して、図8(d)、(e)に示すようにし
て、半透明の属性パターンを生成する。図8(d)は、
視点401から見た画像であるとする。図8(d)に示
すように、光源位置801からの光は、照射対象物であ
る802、812に照射される。
【0090】なお、814は、照射対象物である80
2、812等に遮られた光ぼうを示している。
【0091】図8(e)は、図8(d)において、照射
対象物802、812を、光源位置801から、光の照
射方向に投影した際の、奥行きバッファ107の内容を
示す。図8(e)に示すように、奥行きバッファ107
には、光源位置801から、照射対象物である802、
812までの距離Z0、Z1が、図に示すように格納さ
れる。なお、図8(e)において、816、815は、
夫々、奥行きバッファ107に対するx軸、y軸であ
る。奥行きバッファ107に格納するデータは、形状レ
ンダリング部103が作成する。つまり、画像生成制御
部701は、照明位置および照明方向を、視点情報とし
て、形状レンダリング部103に与え、さらに、光が照
射される照射エリアの形状データを、形状レンダリング
部103に与えることによって、奥行きバッファ107
に格納するデータを生成する。そして、生成した奥行き
データを基に、光ぼうプレートの半透明属性パターン
を、各プレート毎に決定する。
【0092】図8(e)に示すように、光ぼうプレート
は、光源位置から見ると、直線817のように観測され
る。この直線817を辿って、奥行きデータを得ること
によって、光ぼうプレート811上で、照明の到達する
距離を求めることができる。
【0093】また、光ぼうプレート811上の光源位置
813を起点として、奥行きバッファ107に格納され
た値が示す距離まで、半透明属性を設定する。
【0094】また、奥行きバッファ107に格納された
値が示す距離以上の部分、または、照明領域にならない
部分は、透明の属性を設定しておけば良い。図8(e)
下図は、各光ぼうプレート811を示している。白色の
部分が、半透明属性を設定する部分である。
【0095】このような処理によって、光ぼうプレート
811上に、光ぼうの断面を生成することができる。半
透明の属性パターンは、一般には、テクスチャマッピン
グと称される手法によって、形状の表面属性として表現
できる。
【0096】以上の処理によって生成した、光ぼうプレ
ート811を、形状レンダリング部103に描画指示す
ることによって、照射対象物802、812等に遮られ
た、光ぼうを表現することが可能になる。このとき、光
ぼうプレート811の描画は、視点位置から遠いものか
ら順に、行なっていけば良い。
【0097】また、光ぼうプレートの属性設定の際に
は、図9に示すように、中心部の透明度が小さく、周辺
部に向かうほど透明度が高くなる属性パターン901を
複数種類予め用意しておき、その中から、必要な部分の
みを切り出して、属性パターンを設定することも可能で
ある(図9、902参照)。なお、透明度を、中心から
の距離に対し線形、または、中心からの距離の2乗に反
比例させて、変化させるようにすることによって、照明
光の、距離による減衰状態をリアルに表現することが可
能となる。
【0098】なお、光源位置から見た場合の、奥行きバ
ッファ107への格納データを作成する際に、視点方向
が、バッファのX軸816の方向またはY軸815の方
向と等しくなるように、奥行き情報を生成しておくと、
光ぼうプレート811の属性設定処理が容易になり好ま
しい。
【0099】光ぼうプレートの生成量が多いほど、光ぼ
うの表現がリアルになるが、視点位置401と、光ぼう
の位置に応じて、光ぼうプレートの生成量を変化させる
ことも考えられる。すなわち、視点位置401と光ぼう
の位置とが近い場合には、光ぼうプレートを多く生成
し、遠い場合には、光ぼうプレートの生成量を少なくす
る。なお、このような遠近は、しきい値を設けて判定す
れば良い。また、照明を遮蔽する物体の数に応じて変化
させることも考えられる。
【0100】以上述べたように、第2の実施形態によれ
ば、遮蔽物に遮られた光ぼうの表現を、リアルかつ高速
に行なうことが可能となる。また、光が減衰する状態
も、リアルに表現可能となる。
【0101】次に、輝度が高いものを見たときに、光の
回折現象で起きる、いわゆるグレアの表現方法の一実施
形態について、図10、11、12を参照して説明す
る。
【0102】図10は、第3の実施形態における装置構
成例である。
【0103】本装置は、モデルデータ格納部101と、
形状レンダリング部103と、フレームバッファ106
と、奥行きバッファ107と、表示部111と、グレア
プレート生成部1002と、各部の動作を制御して画像
生成を行なわせる画像生成制御部1001とを有して構
成される。なお、モデルデータ格納部101、形状レン
ダリング部103、フレームバッファ106、奥行きバ
ッファ107、および、表示部111は、図1にて示し
た、同一符号を付したものと同一のものである。
【0104】画像生成制御部1001は、グレア以外の
モデルデータのレンダリングを、形状レンダリング部1
03に行なわせ、グレアの表現生成は、グレアプレート
生成部1002に行なわせる。
【0105】グレアプレート生成部1002は、図11
(a)に示すようなグレアの表現を行なうための画像デ
ータ、即ち、グレアパターン1101、1102を予め
作成して用意しておく。なお、図示したグレアパターン
は一例であることは言うまでもない。
【0106】これらのグレアパターンに対しては、透明
度を変化させるような属性を設定する。即ち、グレア表
現に関係のない部分を透明とし、グレアパターンの部分
だけ半透明の属性を設定しておく。
【0107】次に、モデルデータに対する照明情報か
ら、その照明が、表示部111の画面1103上に投影
されるべき点1104の位置を計算する。
【0108】図11(b)に、表示部111の表示画面
1103上の、点1104を示す。
【0109】次に、グレアプレート生成部1002は、
照明情報から、どれくらいの強度で照明が視点に入射す
るかを計算する。この計算は次式で行なう。
【0110】I=Io・F(θ)/r2 (式3) 但し、Ioは、照明の輝度、rは、光源位置までの距離を
示す。また、F(θ)は、照明の指向性を考慮した値であ
り、スポットライトのように指向性を有する場合、指向
特性を考慮した値となり、一方、指向性の無い光源に対
しては、一定値となる。なお、θは、図12に示すよう
に、照明位置1201における照明の照射方向1202
と視点位置401とのなす角である。なお、1203
は、ある視点位置において、照明光が可視状態となる、
最も外側の光線を示している。
【0111】さて、求まった視点における照明の輝度に
もとづき、グレアプレート生成部1002は、グレアパ
ターン1101の大きさ、透明度を適宜変更し、照明の
投影位置1104に重畳合成する。
【0112】重畳合成の方法としては、グレアパターン
をテクスチャデータとして、平面にマッピングすること
で、テクスチャマッピングの半透明マッピング機能を利
用し、高速にグレアを表現できる。このとき、テクスチ
ャマッピングを行う平面は、視線に垂直に正対させ、位
置は、照明位置に置くことにする。また、平面のレンダ
リング時点においては、Z-Bufferの比較処理は、行わな
い。
【0113】また、高輝度の照明を写真等で撮影したと
きに生じるレンズフレアは、画面中心位置(図11
(c)の直線a、bの光点)と照明の投影位置1104
とを結ぶ線上に、適宜配置することで表現することがで
きる。この様子を、図11(c)に示す。
【0114】なお、形状レンダリング部103による照
度計算処理の結果から、画面上の高輝度な部分を抽出し
て、グレア表現することも考えられる。つまり、形状レ
ンダリング部103により、形状をレンダリングした結
果は、フレームバッファ106に格納されている。この
フレームバッファ106に格納されているデータを順次
調べ、カメラの特性から、表現できる明るさ以上の輝度
が格納されているエリアを求める。その後、求まった高
輝度の位置に対して、その輝度値に応じて、グレアパタ
ーン1101の大きさ、透明度を変更し、重畳合成す
る。このような手法によっても、高輝度部に対してのグ
レアの表現が可能となる。
【0115】以上のように、本実施形態によれば、リア
ルかつ高速なグレアの表現が可能となる。
【0116】次に、光ぼう生成部110と、グレア生成
部とを備えた装置形態について、図13を参照して説明
する。
【0117】本装置は、モデルデータ格納部101と、
形状レンダリング部103と、フレームバッファ106
と、奥行きバッファ107と、表示部111と、グレア
プレート生成部1002と、光ぼう生成部110と、各
部の動作を制御して画像生成を行なわせる画像生成制御
部1301とを有して構成される。
【0118】ここで、モデルデータ格納部101、形状
レンダリング部103、フレームバッファ106、奥行
きバッファ107、表示部111は、図1にて示した、
同一符号を付したものと同一のものである。
【0119】また、グレアプレート生成部1002は、
図10にて示した、同一符号を付したものと同一のもの
であるこれらに対して、光ぼう生成部110は、図1に
示した光ぼう生成部110または図7に示した光ぼう生
成部のいずれかを採用すれば良い。
【0120】また、画像生成制御部1301は、図1に
示した画像生成制御部102または図7に示した画像生
成制御部701の機能と、図10に示した画像生成制御
部1001の機能を兼ねた手段である。
【0121】詳細な動作は、前述した通りなので、重複
説明することは避けるが、本装置によって、光ぼう、グ
レアを、リアルかつ高速に表現できる。
【0122】本装置が行なう処理によって、例えば、図
14に示すように、車のヘッドライトによる光ぼうと、
ヘッドライトのグレアの表現とが可能となる。このよう
な描画処理は、ドライブシミュレータ、フライトシミュ
レータ等のシステムへ応用し、高品質の画像表示を行な
うシステムを構築できる。
【0123】
【発明の効果】以上のように、本発明によれば、微粒子
や三次元断層データ等が存在する部分空間を考慮してレ
ンダリングを行なうことによって、光ぼうを、リアルか
つ高速に表現できる。また、本発明によれば、グレアの
表現を、リアルかつ高速に表現できる。
【図面の簡単な説明】
【図1】本発明の第1実施形態の構成図である。
【図2】図3のA-A'線の断面図である。
【図3】本発明による画像生成例の説明図である。
【図4】図2のB-B'線の拡大図である。
【図5】減衰量の説明図である。
【図6】差分演算部が行なう処理の説明図である。
【図7】本発明の第2実施形態の構成図である。
【図8】第2実施形態による処理の説明図である。
【図9】透明度を表現する属性パターンの説明図であ
る。
【図10】本発明の第3実施形態の構成図である。
【図11】第3実施形態による処理の説明図である。
【図12】照明照射方向と視線との関係の説明図であ
る。
【図13】本発明の他の実施形態の構成図である。
【図14】他の実施形態による処理結果の説明図であ
る。
【符号の説明】
101…モデルデータ格納部、102…画像生成制御
部、103…形状レンダリング部、104…境界レンダ
リング部、105…差分演算部、106…フレームバッ
ファ、107…奥行きバッファ、108…積和バッフ
ァ、109…合成部、110…光ぼう生成部、111…
表示部
───────────────────────────────────────────────────── フロントページの続き (72)発明者 福田 善文 茨城県日立市大みか町七丁目1番1号 株 式会社日立製作所日立研究所内

Claims (8)

    【特許請求の範囲】
  1. 【請求項1】画素ごとに色情報を格納するフレームバッ
    ファと、 該フレームバッファの内容を参照して表示出力を行なう
    表示手段と、 ある体積を占める空間である部分空間の境界形状に対し
    て、境界形状を構成する画素ごとに、特定の位置からの
    奥行きデータを出力する境界レンダリング手段と、 前記境界形状を構成する画素が、前記特定の位置から見
    て、特定の位置側に存在するか否かを判断し、予め定め
    た規則にしたがって、対応する奥行きデータの符号付け
    を行ない、奥行きデータの加減算処理を、総ての、境界
    形状を構成する画素に対して行なう差分演算手段と、 各画素に対する該差分演算手段による処理結果を格納す
    る積和バッファと、 各画素に対して、積和バッファの格納データに基づい
    て、光の減衰量を計算して、さらに、対応する前記フレ
    ームバッファの格納位置の色情報、予め定められている
    部分空間の色情報、および、光の減衰量に基づいて、当
    該画素の色情報を定め、フレームバッファ内の対応する
    位置に格納する処理を行なう合成手段と、を有する画像
    生成装置。
  2. 【請求項2】表示対象となる物体の形状、配置情報を含
    むモデルデータ、および、該物体を観察する視点の位置
    情報を格納するモデルデータ格納手段と、 前記モデルデータ、および、前記視点の位置情報を参照
    して、視点位置から物体を観察した2次元画像を生成す
    る処理の制御を行なう画像生成制御手段と、 前記モデルデータを参照して、前記画像生成制御手段の
    制御動作に従い、2次元画像の描画生成処理を行なう形
    状レンダリング手段と、 形状レンダリング手段の処理結果を、画像データとして
    画素ごとに格納するフレームバッファと、 隠面消去処理を行なうための、視点位置からモデルデー
    タまでの奥行きデータを格納する奥行きバッファと、 前記フレームバッファの内容を参照して表示出力を行な
    う表示手段と、を具備し、さらに、 ある体積を占める空間である部分空間の境界形状に対し
    て、境界形状を構成する画素ごとに、特定の位置からの
    奥行きデータを出力する境界レンダリング手段と、前記
    境界形状を構成する画素が、前記特定の位置から見て、
    特定の位置側に存在するか否かを判断し、予め定めた規
    則にしたがって、対応する奥行きデータの符号付けを行
    ない、奥行きデータの加減算処理を、総ての、境界形状
    を構成する画素に対して行なう差分演算手段と、各画素
    に対する該差分演算手段による処理結果を格納する積和
    バッファと、 各画素に対して、積和バッファの格納データに基づい
    て、光の減衰量を計算して、さらに、対応する前記フレ
    ームバッファの格納位置の色情報、予め定められている
    部分空間の色情報、および、光の減衰量に基づいて、当
    該画素の色情報を定め、フレームバッファ内の対応する
    位置に格納する処理を行なう合成手段と、を備える画像
    生成装置。
  3. 【請求項3】請求項2において、前記画像生成制御手段
    は、 第1に、前記フレームバッファ、前記奥行きバッファ、
    前記積和バッファを初期化し、 第2に、前記モデルデータ格納手段からモデルデータを
    読みだし、前記形状レンダリング手段を起動して、視点
    から見た画像生成を行ない、前記フレームバッファに、
    画像生成したデータを格納し、 第3に、前記部分空間の境界形状を生成し、前記境界レ
    ンダリング手段および差分演算手段を起動し、差分演算
    手段による処理結果を、前記積和バッファに格納し、 第4に、前記合成手段を起動することを特徴とする、画
    像生成装置。
  4. 【請求項4】請求項2において、光源と障害物が存在す
    ると想定し、 前記部分空間は、光源からの照射光が到達する、所定量
    の体積を示す空間とし、前記画像生成制御手段は、前記
    照射光によって影を作ることになる障害物の境界形状
    を、光の照射方向とは反対方向に延長して生成し、生成
    した境界形状を、前記境界レンダリング手段に与えるこ
    とを特徴とする、画像生成装置。
  5. 【請求項5】請求項2において、3次元空間に分布する
    データを想定し、 前記部分空間は、前記データの分布密度が、所定値以上
    または所定値以下の空間を示し、 前記画像生成制御手段は、データの分布密度が、所定値
    以上または所定値以下の部分空間に対して生成した境界
    形状を、前記境界レンダリング手段に与えることを特徴
    とする、画像生成装置。
  6. 【請求項6】画素ごとに色情報を格納するフレームバッ
    ファと、 該フレームバッファの内容を参照して表示出力を行なう
    表示手段と、 3次元物体を照明する光源、および、障害物が存在する
    と想定したとき、照射方向に平行な複数の面を生成し、
    各面に沿って、該光源と光を遮る障害物との距離を求
    め、該面に対して、光源からの距離にしたがった透明度
    を設定する光ぼうプレート生成手段と、 各面に対して、透明度にしたがった描画を行ない、描画
    結果を前記フレームバッファに格納する形状レンダリン
    グ部と、を有する画像生成装置。
  7. 【請求項7】表示対象となる物体の形状、配置情報を含
    むモデルデータ、および、該物体を観察する視点の位置
    情報を格納するモデルデータ格納手段と、 前記モデルデータ、および、前記視点の位置情報を参照
    して、視点位置から物体を観察した2次元画像を生成す
    る処理の制御を行なう画像生成制御手段と、 前記モデルデータを参照して、前記画像生成制御手段の
    制御動作に従い、2次元画像の描画生成処理を行なう形
    状レンダリング手段と、 形状レンダリング手段の処理結果を、画像データとして
    画素ごとに格納するフレームバッファと、 隠面消去処理を行なうための、視点位置からモデルデー
    タまでの奥行きデータを格納する奥行きバッファと、 前記フレームバッファの内容を参照して表示出力を行な
    う表示手段と、を具備し、さらに、 3次元物体を照明する光源、および、障害物が存在する
    と想定したとき、照射方向に平行な複数の面を生成し、
    各面に沿って、該光源と光を遮る障害物との距離を求
    め、該面に対して、光源からの距離にしたがった透明度
    を設定する光ぼうプレート生成手段とを備え、 また、前記形状レンダリング手段は、各面に対して、透
    明度にしたがった描画を行ない、描画結果を前記フレー
    ムバッファに格納する機能を有する、画像生成装置。
  8. 【請求項8】画素ごとに色情報を格納するフレームバッ
    ファと、 該フレームバッファの内容を参照して表示出力を行なう
    表示手段と、 予め定めた複数種類のグレアパターンをマッピングする
    グレア処理手段と、を備え、 該グレア処理手段は、表示画面の中心位置と光源の存在
    位置とを結ぶ直線上に、1以上のグレアパターンをマッ
    ピングするように、グレアパターンを前記フレームバッ
    ファに格納する、画像生成装置。
JP32334795A 1995-12-12 1995-12-12 画像生成装置 Expired - Fee Related JP3720890B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP32334795A JP3720890B2 (ja) 1995-12-12 1995-12-12 画像生成装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP32334795A JP3720890B2 (ja) 1995-12-12 1995-12-12 画像生成装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2005208262A Division JP3910618B2 (ja) 2005-07-19 2005-07-19 画像生成装置

Publications (2)

Publication Number Publication Date
JPH09161094A true JPH09161094A (ja) 1997-06-20
JP3720890B2 JP3720890B2 (ja) 2005-11-30

Family

ID=18153784

Family Applications (1)

Application Number Title Priority Date Filing Date
JP32334795A Expired - Fee Related JP3720890B2 (ja) 1995-12-12 1995-12-12 画像生成装置

Country Status (1)

Country Link
JP (1) JP3720890B2 (ja)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002042156A (ja) * 2000-07-28 2002-02-08 Namco Ltd ゲームシステム及び情報記憶媒体
JP2002373347A (ja) * 2001-06-14 2002-12-26 Namco Ltd 画像生成システム、プログラム及び情報記憶媒体
JP2003006673A (ja) * 2001-06-25 2003-01-10 Namco Ltd 画像生成システム、プログラム及び情報記憶媒体
JP2003099801A (ja) * 2001-09-25 2003-04-04 Toyota Motor Corp 三次元モデルの画像表示方法、装置、プログラム及び記録媒体
JP2004005563A (ja) * 2003-04-07 2004-01-08 Namco Ltd 画像生成システム及び情報記憶媒体
JP2004038398A (ja) * 2002-07-01 2004-02-05 Konami Co Ltd 3次元画像処理プログラム、3次元画像処理方法及びビデオゲーム装置
JP2005275796A (ja) * 2004-03-24 2005-10-06 Namco Ltd プログラム、情報記憶媒体、及び画像生成システム
JP2007141081A (ja) * 2005-11-21 2007-06-07 Namco Bandai Games Inc プログラム、情報記憶媒体及び画像生成システム
JP2007141080A (ja) * 2005-11-21 2007-06-07 Namco Bandai Games Inc プログラム、情報記憶媒体及び画像生成システム
JP2007293645A (ja) * 2006-04-26 2007-11-08 Digital Media Professional:Kk ガス状物体を2次元のディスプレイに表示するための3次元コンピュータグラフィックス装置に用いられるシステム
JP2007293648A (ja) * 2006-04-26 2007-11-08 Digital Media Professional:Kk ガス状物体を2次元のディスプレイに表示するための3次元コンピュータグラフィックス装置に用いられるシステム
JP2007293647A (ja) * 2006-04-26 2007-11-08 Digital Media Professional:Kk ガス状物体を2次元のディスプレイに表示するための3次元コンピュータグラフィックス装置に用いられるシステム
JP2011065536A (ja) * 2009-09-18 2011-03-31 Sega Corp 画像処理プログラムおよびコンピュータ読み取り可能な記録媒体
JP2011159328A (ja) * 2006-08-01 2011-08-18 Digital Media Professional:Kk 表面物体と結合されるガス状物体用の蓄積密度の像を計算するためのシステム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4588736B2 (ja) * 2007-04-12 2010-12-01 富士フイルム株式会社 画像処理方法および装置並びにプログラム

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002042156A (ja) * 2000-07-28 2002-02-08 Namco Ltd ゲームシステム及び情報記憶媒体
JP2002373347A (ja) * 2001-06-14 2002-12-26 Namco Ltd 画像生成システム、プログラム及び情報記憶媒体
JP2003006673A (ja) * 2001-06-25 2003-01-10 Namco Ltd 画像生成システム、プログラム及び情報記憶媒体
JP2003099801A (ja) * 2001-09-25 2003-04-04 Toyota Motor Corp 三次元モデルの画像表示方法、装置、プログラム及び記録媒体
JP2004038398A (ja) * 2002-07-01 2004-02-05 Konami Co Ltd 3次元画像処理プログラム、3次元画像処理方法及びビデオゲーム装置
JP2004005563A (ja) * 2003-04-07 2004-01-08 Namco Ltd 画像生成システム及び情報記憶媒体
JP2005275796A (ja) * 2004-03-24 2005-10-06 Namco Ltd プログラム、情報記憶媒体、及び画像生成システム
JP2007141081A (ja) * 2005-11-21 2007-06-07 Namco Bandai Games Inc プログラム、情報記憶媒体及び画像生成システム
JP2007141080A (ja) * 2005-11-21 2007-06-07 Namco Bandai Games Inc プログラム、情報記憶媒体及び画像生成システム
JP2007293645A (ja) * 2006-04-26 2007-11-08 Digital Media Professional:Kk ガス状物体を2次元のディスプレイに表示するための3次元コンピュータグラフィックス装置に用いられるシステム
JP2007293648A (ja) * 2006-04-26 2007-11-08 Digital Media Professional:Kk ガス状物体を2次元のディスプレイに表示するための3次元コンピュータグラフィックス装置に用いられるシステム
JP2007293647A (ja) * 2006-04-26 2007-11-08 Digital Media Professional:Kk ガス状物体を2次元のディスプレイに表示するための3次元コンピュータグラフィックス装置に用いられるシステム
JP2011159328A (ja) * 2006-08-01 2011-08-18 Digital Media Professional:Kk 表面物体と結合されるガス状物体用の蓄積密度の像を計算するためのシステム
JP4794628B2 (ja) * 2006-08-01 2011-10-19 株式会社ディジタルメディアプロフェッショナル 表面物体と結合されるガス状物体用の蓄積密度の像を計算するためのシステム
JP2011065536A (ja) * 2009-09-18 2011-03-31 Sega Corp 画像処理プログラムおよびコンピュータ読み取り可能な記録媒体

Also Published As

Publication number Publication date
JP3720890B2 (ja) 2005-11-30

Similar Documents

Publication Publication Date Title
US5805782A (en) Method and apparatus for projective texture mapping rendered from arbitrarily positioned and oriented light source
US5995111A (en) Image processing apparatus and method
US6100895A (en) Apparatus and method of image synthesization
JP3759971B2 (ja) 3次元像を陰影付けする方法
JPH09161094A (ja) 画像生成装置
JPH05174129A (ja) 3次元モデルを映像化するためのモデリング装置
US7583264B2 (en) Apparatus and program for image generation
Dobashi et al. A quick rendering method using basis functions for interactive lighting design
US6771263B1 (en) Processing volumetric image data with shadows
JP3352982B2 (ja) レンダリング方法及び装置、ゲーム装置、並びに立体モデルをレンダリングするプログラムを格納するコンピュータ読み取り可能な記録媒体
US20090080803A1 (en) Image processing program, computer-readable recording medium recording the program, image processing apparatus and image processing method
JP4584956B2 (ja) グラフィックスプロセッサおよび描画処理方法
CN117333598B (zh) 一种基于数字场景的3d模型渲染系统及方法
JP3910618B2 (ja) 画像生成装置
KR100295709B1 (ko) 스폿라이트 특성 형성 방법 및 이것을 이용한 화상 처리 시스템
JPH08153213A (ja) 画像合成表示方法
WO2021185771A1 (en) System and method for real-time ray tracing in a 3d environment
WO2025055518A1 (zh) 虚拟画面的生成方法、装置、电子设备、计算机可读存储介质及计算机程序产品
EP4372691B1 (en) System and method for multi-volume rendering
JP2001005997A (ja) 光源表示方法および装置
KR20240140624A (ko) 고품질 vfx 구현을 위한 스마트 cg 랜더링 방법
Gruen Ray-guided volumetric water caustics in single scattering media with dxr
JP3181464B2 (ja) 大域照明レンダリング方法および装置
JP3261832B2 (ja) 画像生成装置
JP3694468B2 (ja) 画像生成装置及び記憶媒体

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20050427

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050517

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050719

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050906

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050909

R150 Certificate of patent (=grant) or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080916

Year of fee payment: 3

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090916

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees