JP3849574B2 - ヘッドマウントディスプレイ装置 - Google Patents

ヘッドマウントディスプレイ装置 Download PDF

Info

Publication number
JP3849574B2
JP3849574B2 JP2002144291A JP2002144291A JP3849574B2 JP 3849574 B2 JP3849574 B2 JP 3849574B2 JP 2002144291 A JP2002144291 A JP 2002144291A JP 2002144291 A JP2002144291 A JP 2002144291A JP 3849574 B2 JP3849574 B2 JP 3849574B2
Authority
JP
Japan
Prior art keywords
image
eye
image data
setting means
display device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2002144291A
Other languages
English (en)
Other versions
JP2003337299A (ja
Inventor
正信 茂田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Victor Company of Japan Ltd
Original Assignee
Victor Company of Japan Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Victor Company of Japan Ltd filed Critical Victor Company of Japan Ltd
Priority to JP2002144291A priority Critical patent/JP3849574B2/ja
Publication of JP2003337299A publication Critical patent/JP2003337299A/ja
Application granted granted Critical
Publication of JP3849574B2 publication Critical patent/JP3849574B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Landscapes

  • Liquid Crystal (AREA)
  • Devices For Indicating Variable Information By Combining Individual Elements (AREA)

Description

【0001】
【発明の属する技術分野】
本発明はヘッドマウントディスプレイ装置に係り、特に左右画像の重なり部の外側のエッジ付近に発生する黒沈み現象を軽減させることが出来るヘッドマウントディスプレイ装置に関する。
【0002】
【従来の技術】
ビデオやDVDを観賞するディスプレイとしてヘッドマウントディスプレイ(HMD フェイスマウントディスプレイFMDともいわれている)が開発されている。
HMDは画像を表示するデバイス(素子)とそれが目で見えるようにするための光学系で構成されている。
【0003】
HMDは見かけ上大画面の画像を鑑賞することができるが、高解像度にするには、画素の大きさはそのままで、パネルを大きくするか、パネルの大きさはそのままで、画素サイズを小さくする、またはその両方を行うなどの方法がある。
しかし、パネルを大きくすることは、コストアップや重量増につながりできるだけ避けたい。画素サイズを小さくすることは、技術的に難しいため容易に出来ない問題がある。
【0004】
さらに、HMDでの画像観賞では首を振ったときに画面がそのままついて来るため、不自然さがあり、船酔い症状を起こすこともある。
船酔い症状を改善するには首ふり量に応じて電気的または光学的に首の動きと逆方向に画像をシフトする方法が考えられる。
【0005】
電気的方法としては、表示画像より大きな表示エリアを有する表示パネルを用いてその中で表示画像を移動させる方法がある(特開平8−220470号)。しかしこの方法では本来必要とするものより大きな表示パネルを用いることになり、システムの大型化や、コストアップが避けられない。
【0006】
また、光学的に画像をシフトする方法としては可変頂角プリズムを用いた方法や表示パネルと光学系の相対位置を機械的にシフトする方法など(特開平8−179239号)があるが、コストアップの他にシフト量があまり大きくとれない、重くなるなどの問題がある。
【0007】
以上の問題を解決した発明者によるHMD装置を特願2002−080287号により提案した(図10参照)。
この提案のHMD装置は、使用者の頭部に装着可能であり、入力画像信号が供給されてその入力画像を表示する画像表示デバイス11と、前記画像表示デバイスに表示される画像を前記使用者の視野内に結像させる光学系12,14,15とを有するHMD装置において、
前記使用者の首の左右振りの角度を検出する角度センサ19と、
前記入力画像信号が供給されて前記画像表示デバイスに表示される画像の画像表示位置を左目用は右方向に右目用は左方向にシフトさせるシフト量を決定すると共に、前記検出した角度信号が供給された場合には前記視野内に結像させる画像の画像表示位置を前記首の左右振りの角度に対応して前記首の振り方向と逆方向に移動させる移動量を演算する演算部(コントローラ)13と、
前記演算部13の出力が供給され、前記各画像表示デバイス11を駆動する駆動回路と、
前記シフト量に比例して左目用は左方向に右目用は右方向にシフトさせ、前記視野内に結像される各画像の画像表示位置にて、両目によってはじめて前記画像全体が見えるように前記光学系12,14,15を調整する画像表示位置調整手段22とを備えて構成したものである。
【0008】
しかしながら、このHMD装置においては、HMD装置で画像を観賞する場合、左右の目で重なって見える重なり画像部の両外側のエッジ付近に黒沈みが発生するのが左右の目で認識される。
この黒沈み現象を図10の「頭の中で合成された画像C」の中に模式的に示した。
【0009】
エッジ付近に黒沈み現象が発生し、重なり画像部の境界付近が暗く見えるのは、画像の切れる部分が(画像のない部分が)急に黒に落ちているためで、この境界を目が感じてしまうためと考えられる。
【0010】
この装置においては、左右画像(図10のA,Bの画像)の重なり部の外側のエッジ付近に黒沈み現象がみられ、これが人によっては気になってしまい、自然な画像鑑賞が出来ないという問題がある。
【0011】
この問題に鑑みて本発明はなされたものであり、左右の目で重なって見える重なり画像部の両外側のエッジ付近に発生する黒沈み現象を軽減し、より自然な画像鑑賞を可能にする装置を提供するものである。
【0012】
【課題を解決するための手段】
上記課題を解決するために、
求項に記載された発明は、
入力画像データを画像の視認方向における左側に画像欠落部を設けて画像の右側方向へシフトさせて左眼用画像データを得ると共に、前記入力画像データを画像の視認方向における右側に画像欠落部を設けて画像の左側方向へシフトさせて右眼用画像データを得る画像処理手段13と、
前記得られた左眼用及び右眼用画像データをそれぞれ表示する左眼用及び右眼用画像表示デバイス11L,11Rと、
これらそれぞれ表示された左眼用及び右眼用画像データを、それぞれの画像欠落部が設けられている方向に光学的にシフトさせて、使用者の左右各眼の網膜に虚像として結像させる光学系12,14,15,22と、
前記虚像における左眼用及び右眼用画像データの重なり部分画像に対応する前記左眼用画像データの部分画像における画像水平方向の1/2以上右の所定位置から前記左眼用画像データの画像右側端部にかけて画像の明るさを所定の減少カーブで低下させる左眼用輝度設定手段24(E)Lと、
前記重なり部分画像に対応する前記右眼用画像データの部分画像における画像水平方向の1/2以上左の所定位置から前記右眼用画像データの画像左側端部にかけて画像の明るさを前記所定の減少カーブで低下させる右眼用輝度設定手段24(E)Rと、
前記1/2以上右及び1/2以上左の各所定位置を入力する位置調整入力設定手段16と、
前記所定の減少カーブに関する輝度傾斜を設定する輝度傾斜設定手段20とを備え、
前記左眼用及び右眼用輝度設定手段を前記左眼用及び右眼用画像表示デバイスそれぞれの画像データ入力側に設けて構成したヘッドマウントディスプレイ装置を提供するものである。
【0013】
【発明の実施の形態】
本発明のヘッドマウントディスプレイ装置の実施の形態つき、好ましい実施例により、以下に図と共に説明する。
図1は本発明のヘッドマウントディスプレイ装置の構成を示した図である。
【0014】
図1及び図2に示される本実施例のヘッドマウントディスプレイ装置(HMD)は、液晶表示デバイス(パネル、画像表示デバイス)11L,11R、レンズ12L,12R、演算部(コントローラ)13、ガラス14L,14R、ミラー15L,15R、位置調整入力手段16、駆動回路(ドライバ)17L,17R、映像入力手段18、角度センサ19、眼鏡フレーム21、位置調整ツマミ(ネジ)22、及び減光フィルタ24(0)L,24(0)Rより構成されている。
【0015】
図1は、顔の横に表示パネルを設置し、レンズで拡大した画像をそれぞれの目のほぼ正面に位置したミラー15で反射させて見る構造のHMDである。
遠方を見た時、目の正面にパネルの中心はなく、左目用は左方向に、右目用は右方向にオフセットされている。
【0016】
入力された画像は駆動回路により画面が光学系とは逆方向にオフセットされていて、約2m前方を見たとき左右の表示された画像の重複する部分がぴったり一致して見えるように調整されている。
【0017】
液晶表示デバイス(素子)11に表示された画像の目に見えている様子を図1に示す。パネル上の表示画像でハンチング部は何も表示されていない(黒表示)部分である。
左右それぞれの目には端の欠落した画像が見えているが、使用者の頭脳で合成されあたかも完全な像が表示されているように見える。
【0018】
図2に首を振った時の表示画像を示す。フレームの所定の位置に加速度センサーが取り付けられていて、振り角に対応して表示画像がパネル上を移動するよう、駆動回路に信号が送られる。
【0019】
図では首を左に振ったときの動きを示す。パネル上の画像は右に移動し見かけ上止まって見える。電気的方法では移動量に制限はなく、画像が視界から消えるまでの移動も可能であるが、適度にリミッタを設けている。
【0020】
同様に上下方向についても補正可能である。図1では上下はパネルの表示エリアいっぱいに画像が表示されているため、シフトすると像が欠けて見えることになる。しかし画像が移動して見えるよりは好ましい結果となり、船酔い現象の防止になる。
【0021】
また、例えば4:3のパネルにDVDなどの16:9の画像を表示した場合は上下に無表示部分が出来るため、この場合は画像の欠落なしに補正が可能である。
【0022】
本発明では左右の目で見える画像の一部が重なっているが、2台のプロジェクタ画像をスクリーンに投影した場合とは異なり、重なった部分の明るさが2倍に見えることはなく同じに見える。
【0023】
これは人間の目の特性であるが、むしろ重なり部分と重ならない部分の境界部が暗く見える(黒い影があるように見え、これを黒沈み現象と呼ぶことにする)。
この感覚は個人差が大きく、気にならない人は問題ないが、気にすると満足な観賞が出来ない場合が生ずる。
【0024】
本発明のヘッドマウントディスプレイ装置はこの黒沈み現象を改善出来るように構成したものである。
重なりの境界付近が暗く見えるのは、画像の切れる部分が(画像のない部分が)急に黒に落ちているためで、この境界を目が感じてしまうためと考えられている。
よって、この黒沈みの発生問題を改善するには画像欠落部のエッジ付近が急に暗くならないようにすることである。
【0025】
図3に本発明のヘッドマウントディスプレイ装置の黒沈み現象を改善出来る構成の一実施例を示す。
図3は本発明のヘッドマウントディスプレイ装置を光学的に補正する場合の一実施例を示したものである。
【0026】
図3は、画像の重なり部の中央の位置(もしくは画像の重なり部の1/2以下の所定の位置)からエッジに向かって透過率100%から10パーセント以下まで変化する減光フィルタ24(O)を、透過型液晶表示パネルの表示パネル11とバックライト25との間に左右ユニットのそれぞれに挿入する。
【0027】
ここでは左目用の減光フィルタ24(O)Lだけを示した。左目用の減光フィルタ24(O)Lとは左右対称に構成される右目用の減光フィルタ24(O)Rはこれを省略した。
この減光フィルタ24(O)は表示パネル11の前面に置いてもよい。自発光式表示パネルでは表示パネル11の前に減光フィルタ24(O)を置くことになる。
【0028】
光学的に補正するための減光フィルタ24(O)は具体的には図8(A)のように構成されている。
OD1(透過率1/10)の平板を傾斜させてカットした減光フィルタ24(O)をバックライト25と液晶パネル11との間に挿入する。
挿入のさせ方は左右目のプラスチックフィルタ24(O)L,24(O)Rは対称的に配置される。
【0029】
プラスチックフィルタ24(O)の取付け位置は、左右目の重なり画像部分が表示される液晶パネル11の表示位置に、例えば、左目用のプラスチックフィルタ24(O)Lの取付け位置は、左目用の液晶パネル11Lの表示位置に一致させる。
【0030】
つぎに本発明のヘッドマウントディスプレイ装置を電気的に補正する場合の一実施例について図6、図9と共に説明する。
図6は本発明のヘッドマウントディスプレイ装置の電気的手段で行う場合の具体的なブロック構成の一実施例を示した図であり、図9は本発明の一実施例で使用される輝度設定手段の特性αのカーブを左右の各画面と対応付けて示した一実施例を示した図である。
【0031】
重なり部分の画像幅の中央の位置(もしくは重なり部分の画像幅の1/2以内の所定の位置)からエッジまでの画像信号に掛ける係数αを設定する輝度設定手段24(E)L、24(E)Rについて説明する。
【0032】
輝度設定手段24Eは位置調整入力設定手段16と輝度傾斜設定手段20とを有して構成される。輝度設定手段24Eは演算部13とパネル11を駆動するドライバ17との間に挿入されている。
【0033】
輝度設定手段24Eの設定に関しては、重なり部分の画像幅の中央(もしくは1/2以内)の所定の位置は位置調整入力設定手段16により設定される。
また、重なり部分の画像幅の輝度傾斜は輝度傾斜設定手段20により設定される。
【0034】
前記設定位置からエッジに向かっての輝度に、輝度傾斜設定手段20、輝度設定手段24(E)L,24(E)Rにより係数αを設定して輝度傾斜を付ける(図9参照)。
輝度設定手段24(E)L,24(E)Rの特性は図9のPGA及びPGBに、それぞれ一実施例を図示した。
【0035】
左目用輝度設定手段24(E)Lは左右の目で重なって見える重なり画像部分の画像幅の略中央の図9のPL1で示した位置から前記重なり画像部分の右側のエッジ、図9のPL2で示した位置に向かって画像の明るさが右側の位置ほど連続して低下するように設定する。
【0036】
また、右目用輝度設定手段24(E)Rは左右の目で重なって見える重なり画像部分の画像幅の略中央の図8のPR1で示した位置から前記重なり画像部分の左側のエッジ、図9のPR2で示した位置に向かって画像の明るさが左側の位置ほど連続して低下するように設定する。
【0037】
この場合、輝度の変化量は100パーセントから10パーセント程度でよいが、図示しない可変機構を付加して最適に調整することが出来る。
また、輝度低下の開始位置は重なり部の画像の画像幅の中央位置もしくは1/2以下の位置であれば表示画像の中心に影が見えることはないが、画像の重なり量に応じて調整すれば、個人差(光学系の視野角に余裕がない場合、目幅によって重なり量が変わる場合がある)の補正も容易に出来る。
【0038】
なお、輝度低下の開始位置が重なり画像部の画像幅の1/2以上の位置であれば、左右の画像に施されたそれぞれの輝度傾斜部分が一部重なってしまい、その重なった共通部分となる表示画像の中心部分に影が見えるようになってしまうので、輝度低下の開始位置は画像幅の中央の位置もしくは1/2以下の位置にする。
【0039】
なお、図8(B)に示される予め作成された画像を演算部13の出力のソース入力に合成してその出力をドライバ17に供給するようにして輝度設定手段24(E)を構成してもよい。
【0040】
【発明の効果】
以上に説明した通り、請求項1に記載された発明により、画像処理手段の出力の左眼用及び右眼用画像データを左右眼用輝度設定手段にそれぞれ供給することにより、左右画像の重なり部の外側のエッジ付近に発生する黒沈み現象を軽減することが出来、より自然な画面での画像鑑賞を可能にすることが出来る。
【0042】
特別な機構を光学系に付加する必要がないばかりかパネルの大型化不要なため、光学系が小さくできる。したがって、重量増加もなく装着感を害することがない。
また小型でファッション性を損なうことのないシステムが出来る。
【図面の簡単な説明】
【図1】本発明のヘッドマウントディスプレイ装置の一実施例と動作原理を説明した図である。
【図2】本発明のヘッドマウントディスプレイ装置の一実施例と動作原理を説明した図である(首を左に振った時の見え方)。
【図3】本発明のヘッドマウントディスプレイ装置の光学的改善方法による減光フィルタの構成を示した図である。
【図4】本発明のヘッドマウントディスプレイ装置の電気的改善方法による輝度設定手段の構成を示した図である。
【図5】本発明のヘッドマウントディスプレイ装置の光学手段で行う場合の具体的なブロック構成の一実施例を示した図である。
【図6】本発明のヘッドマウントディスプレイ装置の電気的手段で行う場合の具体的なブロック構成の一実施例を示した図である。
【図7】本発明のヘッドマウントディスプレイ装置の一実施例を示した図である。
【図8】本発明のヘッドマウントディスプレイ装置の一実施例で使用される減光フィルタ、輝度設定手段の一実施例を示したものである。
【図9】本発明のヘッドマウントディスプレイ装置の一実施例で使用される輝度設定手段の特性αのカーブを左右の各画面と対応付けて示した一実施例を示した図である。
【図10】黒沈み現象が発生するヘッドマウントディスプレイ装置の一例を示した図である。
【符号の説明】
11L,11R 液晶表示デバイス(液晶表示素子、画像表示デバイス、パネル)
12L,12R レンズ
13 演算部(コントローラ)
14L,14R ガラス
15L,15R ミラー
16 輝度傾斜開始位置設定手段(位置調整入力手段)
17L,17R 液晶表示デバイス駆動回路(ドライバ)
18 映像入力手段
19 角度センサ
20 輝度傾斜設定手段
21 眼鏡フレーム
22 画像表示位置調整ツマミ(ネジ)(画像表示位置調整手段)
23 表示ユニット
24(0)L 左目用減光フィルタ
24(0)R 右目用減光フィルタ
24(E)L 左目用輝度設定手段
24(E)R 右目用輝度設定手段
25 バックライトユニット
α 輝度係数

Claims (1)

  1. 入力画像データを画像の視認方向における左側に画像欠落部を設けて画像の右側方向へシフトさせて左眼用画像データを得ると共に、前記入力画像データを画像の視認方向における右側に画像欠落部を設けて画像の左側方向へシフトさせて右眼用画像データを得る画像処理手段と、
    前記得られた左眼用及び右眼用画像データをそれぞれ表示する左眼用及び右眼用画像表示デバイスと、
    これらそれぞれ表示された左眼用及び右眼用画像データを、それぞれの画像欠落部が設けられている方向に光学的にシフトさせて、使用者の左右各眼の網膜に虚像として結像させる光学系と、
    前記虚像における左眼用及び右眼用画像データの重なり部分画像に対応する前記左眼用画像データの部分画像における画像水平方向の1/2以上右の所定位置から前記左眼用画像データの画像右側端部にかけて画像の明るさを所定の減少カーブで低下させる左眼用輝度設定手段と、
    前記重なり部分画像に対応する前記右眼用画像データの部分画像における画像水平方向の1/2以上左の所定位置から前記右眼用画像データの画像左側端部にかけて画像の明るさを前記所定の減少カーブで低下させる右眼用輝度設定手段と、
    前記1/2以上右及び1/2以上左の各所定位置を入力する位置調整入力設定手段と、
    前記所定の減少カーブに関する輝度傾斜を設定する輝度傾斜設定手段とを備え、
    前記左眼用及び右眼用輝度設定手段を前記左眼用及び右眼用画像表示デバイスそれぞれの画像データ入力側に設けて構成したヘッドマウントディスプレイ装置。
JP2002144291A 2002-05-20 2002-05-20 ヘッドマウントディスプレイ装置 Expired - Lifetime JP3849574B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002144291A JP3849574B2 (ja) 2002-05-20 2002-05-20 ヘッドマウントディスプレイ装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002144291A JP3849574B2 (ja) 2002-05-20 2002-05-20 ヘッドマウントディスプレイ装置

Publications (2)

Publication Number Publication Date
JP2003337299A JP2003337299A (ja) 2003-11-28
JP3849574B2 true JP3849574B2 (ja) 2006-11-22

Family

ID=29704002

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002144291A Expired - Lifetime JP3849574B2 (ja) 2002-05-20 2002-05-20 ヘッドマウントディスプレイ装置

Country Status (1)

Country Link
JP (1) JP3849574B2 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017115505A1 (ja) * 2015-12-28 2017-07-06 ソニー株式会社 表示装置
JP6873599B2 (ja) 2016-01-20 2021-05-19 キヤノン株式会社 画像表示装置、画像表示システム及び画像表示方法
JP6725999B2 (ja) * 2016-03-01 2020-07-22 キヤノン株式会社 情報処理装置、情報処理装置の制御方法およびプログラム
US10547832B2 (en) * 2016-05-18 2020-01-28 Canon Kabushiki Kaisha Image processing apparatus, method, and storage medium for executing gradation on stereoscopic images
JP6887824B2 (ja) * 2016-05-18 2021-06-16 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
JP6694158B2 (ja) * 2016-05-20 2020-05-13 株式会社リコー 虚像表示装置及び虚像表示方法
JP2020079829A (ja) * 2018-11-12 2020-05-28 株式会社Jvcケンウッド ヘッドマウントディスプレイ、及び表示方法
CN113316738B (zh) 2019-08-06 2024-05-17 松下知识产权经营株式会社 显示装置

Also Published As

Publication number Publication date
JP2003337299A (ja) 2003-11-28

Similar Documents

Publication Publication Date Title
US8619005B2 (en) Switchable head-mounted display transition
JP5474731B2 (ja) マルチビューディスプレイ
JP4637863B2 (ja) 3d画像表示装置の画質の改善
US20080174659A1 (en) Wide field of view display device and method
JP3979604B2 (ja) ディスプレイ
CN105988220A (zh) 用于运行车辆用的自动立体观测的视野显示器的方法和控制设备
US5854706A (en) System for viewing stereoscopic images
JP3849574B2 (ja) ヘッドマウントディスプレイ装置
JP3628967B2 (ja) 三次元表示方法及び装置
JP2003279882A (ja) ヘッドマウントディスプレイ装置
JP3789332B2 (ja) 三次元表示装置
JP7127415B2 (ja) 虚像表示装置
JPWO2018101170A1 (ja) 表示装置、及び、電子ミラー
JP3912742B2 (ja) 携帯機器
US20040125202A1 (en) Display apparatus
JP4593359B2 (ja) 3次元表示方法および3次元表示装置
JP4283232B2 (ja) 3次元表示方法および3次元表示装置
JP7627421B2 (ja) 車両用画像処理装置
JP3469854B2 (ja) 三次元表示装置
JP2004294862A (ja) 立体映像表示装置
JP3472552B2 (ja) 三次元表示方法
JP2004163645A (ja) 三次元表示方法及び装置
JP2007129494A (ja) ディスプレイ装置
JP2005099425A (ja) 三次元表示装置
JP2006285113A (ja) 3次元表示装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040930

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060126

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060203

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060404

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20060509

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060628

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20060718

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060808

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060821

R151 Written notification of patent or utility model registration

Ref document number: 3849574

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090908

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100908

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100908

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110908

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120908

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120908

Year of fee payment: 6

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120908

Year of fee payment: 6

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120908

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130908

Year of fee payment: 7

EXPY Cancellation because of completion of term