JP2007257593A - 画像処理装置、画像読取装置及び携帯電話機 - Google Patents

画像処理装置、画像読取装置及び携帯電話機 Download PDF

Info

Publication number
JP2007257593A
JP2007257593A JP2006084801A JP2006084801A JP2007257593A JP 2007257593 A JP2007257593 A JP 2007257593A JP 2006084801 A JP2006084801 A JP 2006084801A JP 2006084801 A JP2006084801 A JP 2006084801A JP 2007257593 A JP2007257593 A JP 2007257593A
Authority
JP
Japan
Prior art keywords
temperature
edge enhancement
image
unit
index
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006084801A
Other languages
English (en)
Other versions
JP4861732B2 (ja
Inventor
Yasuhiro Miki
康弘 三木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sanyo Electric Co Ltd
Original Assignee
Sanyo Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sanyo Electric Co Ltd filed Critical Sanyo Electric Co Ltd
Priority to JP2006084801A priority Critical patent/JP4861732B2/ja
Publication of JP2007257593A publication Critical patent/JP2007257593A/ja
Application granted granted Critical
Publication of JP4861732B2 publication Critical patent/JP4861732B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Image Processing (AREA)

Abstract

【課題】固体撮像素子が高温になり、暗電流が増えてノイズが増加しても、バーコード等を撮影して得られた撮影画像に適切なエッジ強調を施すことができる画像処理装置を提供する。
【解決手段】カメラセンサ部101は、レンズ部と光電変換部とから構成され、温度センサ107は、自装置の温度を測定し、設定部132は、測定された温度が、撮影閾値より高い場合には、エッジ強調の程度を弱く設定し、エッジ強調部131は、設定されたエッジ強調の程度を用いて、撮影画像に対してエッジ強調を施し、画像認識部121は、生成されたエッジ強調画像に画像認識を施してコード情報を生成する。
【選択図】図1

Description

本発明は、撮影して得られた画像にエッジ強調処理を施す画像処理技術に関する。
CCD(Charge Coupled Device )などの撮像素子を備え、OCR(Optical Character Recognition)機能やBCR(Bar Code Reader)機能を有する携帯電話が普及しつつある。
このような撮像素子は、高温になると、暗電流が増え、ノイズが増加するので、良好な画質が得られない。
そこで、特許文献1は、固体撮像素子の暗電流の対数値が温度に比例することから、信号処理およびデジタル変換された固体撮像素子の出力を用いて遅延手段及び減算手段により、固体撮像素子の暗電流を計測し、その計測値に基づいて記憶手段に記憶していた最大蓄積可能電荷量に対応するデータを補正し、その補正したデータを用いてノイズ除去手段で出力を修正することにより、温度によって固定パターンノイズの変化する固体撮像素子を用いても、固体撮像素子自体の正確な温度に応じて固体撮像素子の固定パターンノイズを除去することができ、固定パターンノイズによる画質劣化のない画像を得ることができる技術を開示している。
特開平9−181977号公報
しかしながら、特許文献1により開示された技術によると、固体撮像素子の固定パターンノイズが除去されるものの、固定パターンとして捉えることができない他のノイズが発生しないということは必ずしも保証されておらず、このような他のノイズが発生すれば、OCR機能やBCR機能による文字認識などの妨げとなるという問題点がある。
本発明は、撮影部の周辺が高温になった場合であっても、OCR機能やBCR機能による画像認識などの妨げにならないように、適切なエッジ強調を施すことができる画像処理装置、画像処理方法、コンピュータプログラム、画像読取装置及び携帯電話機を提供することを目的とする。
上記目的を達成するために、本発明は、撮影手段により撮影して得られた画像に対して、少なくともエッジ強調処理を施す画像処理装置であって、前記撮影手段の周辺温度に係る温度指数を取得する取得手段と、取得した温度指数に基づいて、前記エッジ強調処理のエッジ強調度合を設定する設定手段と、設定された前記エッジ強調度合に応じたエッジ強調処理を施すエッジ強調手段とを備えることを特徴とする。
上記本発明の構成によると、前記撮影手段の周辺温度に係る温度指数に基づいて設定されたエッジ強調度合に応じたエッジ強調を施すので、撮影手段が高温になることにより、暗電流が増えてノイズが発生した場合であっても、画像認識などの妨げにならないように、適切にエッジ強調された画像が得られるという優れた効果を奏する。
ここで、前記取得手段は、前記温度指数として、自装置の内部の温度を測定して取得する温度センサであり、前記設定手段は、測定された前記温度を用いて、前記エッジ強調度合を設定するとしてもよい。
この構成によると、温度センサにより温度を測定することにより、正確な温度指数が得られる。
ここで、前記取得手段は、前記温度指数として、撮影手段による撮影開始後の経過時間を測定して取得するタイマーであり、前記設定手段は、測定された前記経過時間を用いて、前記エッジ強調度合を設定するとしてもよい。
この構成によると、前記温度指数として、撮影開始後の経過時間を測定して取得するので、簡単に温度指数が得られる。
ここで、前記設定手段は、前記撮影手段の周辺における第1温度範囲と、前記第1温度範囲より高い第2温度範囲との境界を示す撮影閾値を保持しており、取得された前記温度指数と前記撮影閾値とに基づいて、前記エッジ強調度合を設定するとしてもよい。
この構成によると、取得した温度指数と、予め定めた撮影閾値とに基づいて、最適なエッジ強調度合を設定することができる。
ここで、前記設定手段は、取得された前記温度指数に係る温度が前記撮影閾値より低い又は等しい場合に、第1のエッジ強調度合を設定し、前記温度指数に係る温度が前記撮影閾値より高い場合に、第1のエッジ強調度合より低い第2のエッジ強調度合を設定するとしてもよい。
この構成によると、温度指数に係る温度が撮影閾値より高い場合に、第1のエッジ強調度合より低い第2のエッジ強調度合を設定するので、暗電流により発生するノイズの影響を抑制できるエッジ強調度合を設定できる。
ここで、前記設定手段は、前記撮影手段の周辺の第1温度範囲に係る第1温度範囲指数と、前記第1温度範囲より高い第2温度範囲に係る第2温度範囲指数と、前記第2温度範囲より高い第3温度範囲に係る第3温度範囲指数とを保持しており、取得された前記温度指数に係る温度が、前記第1温度範囲指数に係る第1温度範囲内に存在する場合に、第1のエッジ強調度合を設定し、取得された前記温度指数に係る温度が、前記第2温度範囲指数に係る第2温度範囲内に存在する場合に、前記第1のエッジ強調度合より高い第2のエッジ強調度合を設定し、取得された前記温度指数に係る温度が、前記第3温度範囲指数に係る第3温度範囲内に存在する場合に、前記第1のエッジ強調度合より低い第3のエッジ強調度合を設定するとしてもよい。
この構成によると、取得された前記温度指数に係る温度が、前記第2温度範囲指数に係る第2温度範囲内に存在する場合に、前記第1のエッジ強調度合より高い第2のエッジ強調度合を設定するので、前記撮影手段が備えるレンズによるフォーカスにずれが生じた場合であっても、撮影された画像内のエッジを鮮明にするエッジ強調度合を設定することができる。また、取得された前記温度指数に係る温度が、前記第3温度範囲指数に係る第3温度範囲内に存在する場合に、前記第1のエッジ強調度合より低い第3のエッジ強調度合を設定するので、暗電流により発生するノイズの影響を抑制できるエッジ強調度合を設定できる。
また、本発明は、撮影手段により撮影して得られた画像に対して、少なくともエッジ強調処理を施す画像処理装置において用いられる画像処理方法であって、前記撮影手段の周辺温度に係る温度指数を取得する取得ステップと、取得した温度指数に基づいて、前記エッジ強調処理のエッジ強調度合を設定する設定ステップと、前記設定されたエッジ強調度合に応じたエッジ強調処理を施すエッジ強調ステップとを含むことを特徴とする。
この方法を用いることにより、前記撮影手段の周辺温度に係る温度指数に基づいて設定されたエッジ強調度合に応じたエッジ強調を施すので、撮影手段が高温になることにより、暗電流が増えてノイズが発生した場合であっても、画像認識などの妨げにならないように、適切にエッジ強調された画像が得られるという優れた効果を奏する。
また、本発明は、撮影手段により撮影して得られた画像に対して、少なくともエッジ強調処理を施す画像処理用のコンピュータにおいて用いられ、前記コンピュータに対して、画像処理を行わせるコンピュータプログラムであって、前記撮影手段の周辺温度に係る温度指数を取得する取得ステップと、取得した温度指数に基づいて、前記エッジ強調処理のエッジ強調度合を設定する設定ステップと、前記設定されたエッジ強調度合に応じたエッジ強調処理を施すエッジ強調ステップとを含むことを特徴とする。
コンピュータにこのコンピュータプログラムを実行させることにより、前記撮影手段の周辺温度に係る温度指数に基づいて設定されたエッジ強調度合に応じたエッジ強調を施すので、撮影手段が高温になることにより、暗電流が増えてノイズが発生した場合であっても、画像認識などの妨げにならないように、適切にエッジ強調された画像が得られるという優れた効果を奏する。
ここで、前記コンピュータプログラムは、コンピュータ読み取り可能な記録媒体に記録されているとしてもよい。
この構成により、前記コンピュータプログラムは、コンピュータにより読み取り可能なように確実に記録され、また、前記コンピュータプログラムの移送等が容易に行えるようになる。
また、本発明は、前記画像処理装置と、前記撮影手段とを備えた画像読取装置であって、前記画像読取装置は、さらに、エッジ強調処理後の画像を認識する画像認識手段を含むことを特徴とする。
この構成によると、撮影手段が高温になることにより、暗電流が増えてノイズが発生した場合であっても、画像認識などの妨げにならないように適切にエッジ強調された画像が得られ、得られた画像に対して良好な画像認識が行えるという優れた効果を奏する。
ここで、前記撮影手段は、1枚以上のレンズから構成されるレンズ部を備え、前記レンズのうち、少なくとも1枚は、樹脂製であるとしてもよい。
レンズ部が高温になるとレンズの屈折率が変化し、レンズによるフォーカスがずれる。このような原因により、撮影手段により得られた画像の劣化が発生する場合であっても、適切にエッジ強調された画像が得られ、得られた画像に対して良好な画像認識が行えるという優れた効果を奏する。
特に、ガラス製のレンズに比べて、樹脂製(プラスチック製)のレンズの方が、温度変換に対する屈折率の変化が大きいので、ガラス製のレンズより軽量な樹脂製のレンズを備えた当該画像読取装置では、読取精度の向上とともに、当該画像読取装置の軽量化を図れるという効果がある。
また、本発明は、前記画像読取装置を備えることを特徴とする携帯電話機である。
この構成によると、前記画像読取装置と同様に、撮影手段が高温になることにより、暗電流が増えてノイズが発生した場合であっても、画像認識などの妨げにならないように適切にエッジ強調された画像が得られ、得られた画像に対して良好な画像認識が行えるという優れた効果を奏する。
1.実施の形態
本発明に係る1個の実施の形態としての携帯電話10について説明する。
1.1 携帯電話10の構成
携帯電話10は、図1に示すように、カメラセンサ部101、AD変換部114、DSP(Digital Signal Processor)部102、CPU(Central Processing Unit)103、ディスプレィ部104、RAM及びROMから構成されるメモリ部105、キー入力回路部106、温度センサ107、スピーカ108、マイク109、AD/DA変換部110、通信制御部111、通信部112及びアンテナ113から構成されている。
CPU103は、機能的に画像認識部121を含む。つまり、メモリ部105には、画像認識用のコンピュータプログラムが記憶されており、CPU103が、画像認識用の前記コンピュータプログラムに従って動作することにより、画像認識部121は、その機能を達成する。
また、メモリ部105には、その他のコンピュータプログラム及び各種のデータが記憶されており、CPU103が、前記コンピュータプログラムに従って動作することにより、携帯電話10は、その一部の機能を達成する。
また、DSP部102は、ラインメモリ133、エッジ強調部131及び設定部132から構成されている。
CPU103及びメモリ部105は、一例として、16bitバス115により接続され、CPU103及びエッジ強調部131は、一例として、8bitバス116により接続され、CPU103及び設定部132は、一例として、IICバス117により接続されている。
なお、特許請求の範囲の各請求項において、撮影手段は、実施の形態の携帯電話10が有するカメラセンサ部101に対応し、取得手段は、温度センサ107に対応し、設定手段は、設定部132に対応し、エッジ強調手段は、エッジ強調部131に対応する。また、画像認識手段は、実施の形態の携帯電話10が有する画像認識部121に対応している。
(1)メモリ部105
メモリ部105は、認識フラグ、強調画像、複数のコード情報及びその他の情報を記憶するための領域を備えている。また、メモリ部105は、予め画像認識用のコンピュータプログラム及びその他のコンピュータプログラムを記憶している。
(2)カメラセンサ部101及びAD変換部114
カメラセンサ部101は、1枚以上のレンズが組み合わされたレンズ部及び光電変換部から構成されている。
レンズ部を構成する1枚以上のレンズのうち少なくとも1枚は、樹脂製(プラステック製)である。
樹脂製のレンズは、ガラス製のレンズと比較すると軽量であるので、樹脂製のレンズを採用することにより、携帯電話10の軽量化に貢献することができる。
また、ガラス製のレンズに比べて、樹脂製(プラスチック製)のレンズの方が、温度変換に対する屈折率の変化が大きい。このためカメラセンサ部101の周辺の温度が高くなると、樹脂製のレンズの屈折率が変化し、レンズによるフォーカスがずれる場合がある。
カメラセンサ部101は、DSP部102から撮影開始信号を受け取る。
光電変換部は、一例として、少なくとも横に240個の光素子、縦に320個の光素子、合計76800個の光素子がマトリックス状に配置されて形成されているCCDから構成され、前記撮影開始信号を受け取ると、レンズ部を通過し各光素子で受けた光に応じて生成した電気信号を、AD変換部114へ出力する。
AD変換部114は、各電気信号を受け取り、受け取った電気信号を8ビットの階調値を有するデジタル信号に変換し、前記マトリックス状に形成されたCCDの各ライン毎に順次、各デジタル信号を、DSP部102のラインメモリ133へ書き込む。
CCDは、上述したように、横に240個の光素子、縦に320個の光素子がマトリックス状に配置されて形成されているので、横に240個の画素、縦に320個の画素、合計76800個の画素がマトリックス状に配置されて形成された撮影画像が得られる。各画素は、8ビットの階調値を有してる。
(3)DSP部102
DSP部102は、上述したように、ラインメモリ133、エッジ強調部131及び設定部132から構成されている。
DSP部102は、CPU103から撮影開始信号を受け取り、同じ撮影開始信号をカメラセンサ部101へ出力する。
(ラインメモリ133)
ラインメモリ133は、複数のライン分の画素を格納するメモリ領域を備えており、AD変換部114から出力される複数のライン分の画素を順次記憶する。
(設定部132)
設定部132は、CPU103から起動信号を受け取る。
起動信号を受け取ると、設定部132は、エッジ強調の度合いを示す強調度合を、初期値として、「強」に設定する。なお、強調度合については、後述する。
設定部132は、設定された強調度合を常にエッジ強調部131へ出力し続けている。
設定部132は、温度センサ107から携帯電話10の内部の温度を受け取る。前記温度を受け取ると、内部に保持している閾値aと受け取った温度とを比較する。受け取った温度が、閾値aより高い場合には、設定部132は、設定部132の強調度合を「弱」に設定する。受け取った温度が、閾値aより高くない場合には、設定部132は、強調度合を変更しない。
ここで、閾値aは、カメラセンサ部101の周辺における第1温度範囲(例えば、15度c以上30度c未満の温度範囲)と、前記第1温度範囲より高い第2温度範囲(例えば、30度c以上50度c未満の温度範囲)との境界を示す閾値(例えば、30度c)である。第1温度範囲においては、カメラセンサ部101の光電変換部において、暗電流が増えることなく、通常に動作する。一方、第2温度範囲においては、カメラセンサ部101の光電変換部において、暗電流が増え、ノイズが発生する。
(エッジ強調部131)
エッジ強調部131は、設定部132から設定された強調度合を受け取る。
また、エッジ強調部131は、DSP部102から撮影画像生成信号を受け取る。撮影画像生成信号を受け取ると、設定された強調度合を用いて、ラインメモリ133に書き込まれた複数のライン分の画素に、順次当該ラインに含まれる対象画像の輪郭を強調するエッジ強調を施して、複数のライン分の強調画像を生成し、複数のライン分の強調画像を順次、CPU103へ出力する。
また、エッジ強調部131は、撮影画像に相当する全てのライン分のエッジ強調が完了すると、強調画像の生成の完了を示す強調画像生成信号をCPU103へ出力する。
なお、エッジ強調については、公知の技術であるのて、ここでは、その説明を省略する。
(4)CPU103
CPU103は、上述したように、機能構成として画像認識部121を含む。つまり、メモリ部105には、画像認識用のコンピュータプログラムが記憶されており、CPU103が、画像認識用の前記コンピュータプログラムに従って動作することにより、画像認識部121は、その機能を達成する。
画像認識の対象の一例は、バーコードである。また、その他の対象の一例は、2次元コードである。2次元コードとして、QR code 、DataMatrix、VeriCode(登録商標)、CP code(登録商標)などが知られている。これらのバーコードや2次元コードには、予め、所定の情報、例えば、商品コード、URLなどのコード情報が対応付けられている。なお、画像認識について、またバーコードやこれらの2次元コードについては、公知の技術であるのて、ここでは、その説明を省略する。
画像認識部121は、画像認識の対象であるバーコードや2次元コードに対して画像認識処理を施して、これらのバーコードや2次元コードに対応付けられた所定の情報を抽出する。
CPU103は、キー入力回路部106から、撮影の開始を示す撮影開始信号、認識処理の起動を示す起動信号、強調画像の認識の開始を示す認識開始信号、強調画像の認識の終了を示す認識終了信号、コード情報の編集を示すコード情報編集信号、コード情報の確定を示す確定信号及びその他の信号を受け取る。
起動信号を受け取ると、CPU103は、DSP部102へ同じ起動信号を出力し、また、メモリ部105において、認識フラグのための領域を確保し、認識フラグに「OFF」を設定することにより、認識フラグを初期化する。
また、撮影開始信号を受け取ると、CPU103は、同じ撮影開始信号をDSP部102へ出力する。
CPU103は、DSP部102から複数のライン分の強調画像を順次、受け取り、受け取った複数のライン分の強調画像をメモリ部105へ書き込む。撮影画像に相当する全てのライン分の強調画像の受け取りが完了すると、DSP部102から強調画像生成信号を受け取る。前記強調画像生成信号を受け取ると、メモリ部105から強調画像を読み出し、読み出した強調画像をディスプレィ部104へ出力する。
CPU103は、認識フラグが「ON」か「OFF」かを判断する。
認識フラグが「ON」である場合には、CPU103の画像認識部121は、メモリ部105に記憶されている強調画像に対して画像認識処理を施して、認識結果としてコード情報を生成し、生成したコード情報をディスプレィ部104へ出力し、また、生成したコード情報をメモリ部105へ書き込む。
認識フラグが「OFF」である場合には、CPU103は、キー入力回路部106から認識開始信号を受け取ったか否かを判断する。認識開始信号を受け取っていれば、CPU103は、認識フラグを「ON」に設定し、認識開始信号を受け取っていなければ、CPU103は、認識フラグを「OFF」に設定する。
また、CPU103は、キー入力回路部106から認識終了信号を受け取ったか否かを判断する。認識終了信号を受け取っていない場合には、再度、カメラセンサ部101に対して、撮影画像の生成を指示する。
認識終了信号を受け取っている場合には、CPU103は、キー入力回路部106からコード情報編集信号を受け取ったか否かを判断する。コード情報編集信号を受け取った場合には、CPU103は、メモリ部105から複数のコード情報を読み出し、読み出した複数のコード情報をディスプレィ部104へ出力する。
CPU103は、キー入力回路部106からコード情報の確定信号を受け取ったか否かを判断する。コード情報の確定信号を受け取った場合には、CPU103は、認識処理を終了する。
(5)温度センサ107
温度センサ107は、携帯電話10の内部に配置されており、携帯電話10の内部の温度を測定し、測定した温度をDSP部102へ出力する。
なお、温度センサ107は、カメラセンサ部101に近接するように携帯電話10の内部に配置されており、カメラセンサ部101の周辺の温度を測定するとしてもよい。
(6)キー入力回路部106
キー入力回路部106は、テンキー、左右上下の各移動キー、決定キー、電源ONキー、電源OFFキー、その他のキーを備え、携帯電話10の操作者から、これらのキー又はこれらのキーの組合せの入力を受け付ける。
これらのキー又はその組合せの入力を受け付けると、キー入力回路部106は、これらのキー又はその組合せの入力に対応して、カメラセンサ部101による撮影の開始を示す撮影開始信号、認識処理の起動を示す起動信号、強調画像の認識の開始を示す認識開始信号、強調画像の認識の終了を示す認識終了信号、コード情報の編集を示すコード情報編集信号、コード情報の確定を示す確定信号及びその他の信号を生成し、生成したこれらの信号をCPU103へ出力する。
(7)ディスプレィ部104
ディスプレィ部104は、CPU103から強調画像を受け取り、プレビュー表示エリアにおいて、受け取った強調画像を表示する。
ディスプレィ部104は、CPU103から1個又は複数のコード情報を受け取り、コード情報表示エリアにおいて、受け取った1個又は複数のコード情報を、表示する。複数のコード情報を受け取った場合には、複数のコード情報は、一覧表示される。
(8)スピーカ108、マイク109、AD/DA変換部110、通信制御部111、通信部112及びアンテナ113
通信部112は、アンテナ113により受信した無線周波数信号を増幅し、出力信号をIF信号に変換し、IF信号を増幅し、増幅されたIF信号をベースバンド信号に復調し、また、ベースバンド信号により高周波数信号を変調し、その出力を無線周波数に変換し、無線周波数を増幅しアンテナ113へ出力する。通信制御部111は、ベースバンド信号を生成して通信部112へ出力し、また、通信部112からベースバンド信号を受け取る。
こうして、通信制御部111、通信部112及びアンテナ113は、無線基地局、携帯電話網を介して接続されている他の携帯電話との間で、情報の送受信を行う。
マイク109は、音声をアナログの電気信号に変換し、スピーカ108は、アナログの音声電気信号を、音声に変換して出力する。AD/DA変換部110は、通信制御部111からデジタルの音声情報を受け取り、アナログの音声電気信号に変換して、スピーカ108へ出力する。また、マイク109からアナログの音声の電気信号を受け取り、受け取った電気信号をデジタルの音声情報に変換し、通信制御部111へ出力する。
1.2 携帯電話10の動作
携帯電話10における撮影画像の生成、強調画像の生成及びコード情報の生成の動作について、図2及び図3に示すフローチャートを用いて説明する。
キー入力回路部106から認識処理の起動を示す起動信号を受け取ると、CPU103は、認識フラグに「OFF」を設定し(ステップS101)、設定部132は、エッジ強調の度合いを示す強調度合を、初期値として、「強」に設定する(ステップS102)。
次に、撮影開始信号を受け取ると、CPU103は、同じ撮影開始信号を、DSP部102を介して、カメラセンサ部101へ出力し、光電変換部は、レンズ部を通過し各光素子で受けた光に応じて電気信号生成し、AD変換部114は、電気信号をデジタル信号に変換し、各ライン毎に順次、各デジタル信号を画素として、DSP部102のラインメモリ133へ書き込み(ステップS103)、エッジ強調部131は、設定された強調度合を用いて、ラインメモリ133に書き込まれた複数のライン分の画素に、当該画像に含まれる対象画像の輪郭を強調するエッジ強調を施して、複数のライン分の強調画像を生成し(ステップS104)、CPU103は、複数のライン分の強調画像をメモリ部105へ書き込む(ステップS105)。
次に、ディスプレィ部104は、CPU103から強調画像を受け取り、プレビュー表示エリアにおいて、受け取った強調画像を表示する(ステップS106)。
次に、設定部132は、温度センサ107から携帯電話10の内部の温度を受け取り、内部に保持している閾値aと受け取った温度とを比較する。受け取った温度が、閾値aより高い場合には(ステップS107)、設定部132は、強調度合を「弱」に設定する(ステップS109)。受け取った温度が、閾値aより高くない場合には(ステップS107)、設定部132は、強調度合を変更しない(ステップS108)。
次に、CPU103は、認識フラグが「ON」か「OFF」かを判断し、認識フラグが「ON」である場合には(ステップS110)、CPU103の画像認識部121は、メモリ部105に記憶されている強調画像に対して画像認識処理を施して、認識結果としてコード情報を生成し(ステップS114)、ディスプレィ部104は、コード情報を表示し(ステップS115)、CPU103は、生成したコード情報をメモリ部105へ書き込む(ステップS116)。
認識フラグが「OFF」である場合には(ステップS110)、CPU103は、キー入力回路部106から認識開始信号を受け取ったか否かを判断し、認識開始信号を受け取っていれば(ステップS111)、認識フラグを「ON」に設定し(ステップS113)、認識開始信号を受け取っていなければ(ステップS111)、CPU103は、認識フラグを「OFF」に設定する(ステップS112)。
次に、CPU103は、キー入力回路部106から認識終了信号を受け取ったか否かを判断し、認識終了信号を受け取っていない場合には(ステップS117)、ステップS103へ戻って処理を繰り返す。
認識終了信号を受け取っている場合には(ステップS117)、CPU103は、キー入力回路部106からコード情報編集信号を受け取ったか否かを判断し、コード情報編集信号を受け取った場合には(ステップS118)、メモリ部105から複数のコード情報を読み出し、読み出した複数のコード情報をディスプレィ部104へ出力し、ディスプレィ部104は、コード情報表示エリアにおいて、受け取った複数のコード情報を、一覧表示する(ステップS119)。
次に、CPU103は、キー入力回路部106からコード情報の確定信号を受け取ったか否かを判断し、コード情報の確定信号を受け取った場合には(ステップS120)、CPU103は、認識処理を終了する。コード情報の確定信号を受け取っていない場合には(ステップS120)、ステップS118へ戻って処理を繰り返す。
1.3 まとめ
利用者により認識機能開始の操作が行われると、カメラセンサ部101及びAD変換部144は、撮影画像を生成し、DSP部102は、生成された撮影画像の複数のライン毎にエッジ強調の信号処理をし、CPU103は、生成された強調画像を、メモリ部105に一時保存する。認識機能の初期のエッジ強調は、強に設定される。メモリ部105に記憶された強調画像は、ディスプレィ部104に表示され、利用者は、ディスプレィ部104に表示された強調画像を視認する。強調画像が表示された後、温度センサ107は、温度を測定し、測定された温度が設定された閾値より高い場合には、設定部132は、エッジ強調を弱に設定する。測定された温度が設定された閾値より低い又は等しい場合には、設定部132は、エッジ強調を変更しない。閾値の判別が行われた後、再度生成された撮影画像にエッジ強調が施されて強調画像が生成され、利用者からの認識開始指示がある場合には、生成された強調画像に対して認識処理が施されて、コード情報が抽出される。利用者からの認識開始指示が無い場合には、被写体の表示を繰り返す。抽出されたコード情報は、ディスプレィ部104に表示され、利用者は、表示されたコード情報を視認により判断して、その結果に応じて、メモリ部105へ保存する。保存されたコード情報は、その後、利用者により利用される。
以上説明したように、測定された温度が設定された閾値より高い場合には、設定部132は、エッジ強調を弱に設定する。この場合には、カメラセンサ部101の光電変換部の暗電流が増えてノイズが増加し、撮影画像が劣化するので、この画像の劣化を、エッジ強調の強調度合「弱」に設定することにより、補うことができる。
2.変形例(1)
上記の実施の形態の変形例としての携帯電話10aについて、図4に示すフローチャートを用いて、説明する。
携帯電話10aは、携帯電話10と同様の構成を有し、携帯電話10と同様に動作する。ここでは、携帯電話10との相違点を中心として説明する。
上記の実施の形態の携帯電話10では、図2に示すように、設定部132は、エッジ強調の度合いを示す強調度合を、初期値として、「強」に設定する(ステップS102)。また、設定部132は、温度センサ107から受け取った携帯電話10の内部の温度と、内部に保持している閾値aとを比較する。受け取った温度が、閾値aより高い場合には(ステップS107)、設定部132は、強調度合を「弱」に設定し(ステップS109)、受け取った温度が、閾値aより高くない場合には(ステップS107)、設定部132は、強調度合を変更しない(ステップS108)。
一方、携帯電話10aでは、図4に示すように、設定部132は、エッジ強調の度合いを示す強調度合を、初期値として、「中」に設定する(ステップS102a)。
また、設定部132は、温度センサ107から受け取った携帯電話10の内部の温度が、30度c未満(第1の温度範囲)であるか、30度c以上40度c未満(第2の温度範囲)であるか、又は40度c以上50度c未満(第3の温度範囲)であるかを判断する(ステップS107a)。
受け取った温度が、30度c未満であると判断する場合には(ステップS107a)、設定部132は、強調度合を変更しない(ステップS108a)。この場合には、カメラセンサ部101の周辺の温度が、カメラセンサ部101の動作に影響を与えないからである。
また、受け取った温度が、30度c以上40度c未満であると判断する場合には(ステップS107a)、設定部132は、強調度合を「強」に設定する(ステップS131)。この場合には、カメラセンサ部101の周辺の温度が、カメラセンサ部101のレンズ部に影響を与えると考えられるからである。つまり、レンズ部の周辺の温度が上記の温度帯内(30度c以上40度c未満)である場合には、レンズの屈折率が変化し、これによりレンズ部によるフォーカスがずれ、このため、フォーカスがずれた撮影画像が生成される。このような場合には、設定部132は、エッジ強調の強調度合を「強」に設定することにより、フォーカスのずれを補うことができる。
さらに、受け取った温度が、40度c以上50度c未満であると判断する場合には(ステップS107a)、設定部132は、強調度合を「弱」に設定する(ステップS109a)。この場合には、上記の実施の形態において説明したように、カメラセンサ部101の光電変換部の暗電流が増えてノイズが増加し、撮影画像が劣化するので、この画像の劣化を、エッジ強調の強調度合「弱」に設定することにより、補うことができる。
なお、上記において、設定部132は、温度センサ107から受け取った携帯電話10の内部の温度が、30度c未満であるか、30度c以上40度c未満であるか、又は40度c以上50度c未満であるかを判断するとしているが、これらの温度範囲は、この例には限定されない。携帯電話10内の各部品の配置やその特性により異なる温度範囲を設定してもよい。
3.変形例(2)
上記の実施の形態の変形例としての携帯電話10cについて説明する。
携帯電話10cは、携帯電話10と同様の構成を有し、携帯電話10と同様に動作する。携帯電話10cは、温度センサ107を有しておらず、温度センサ107の代わりに、CPU103が内蔵するタイマを用いる。タイマは、刻々と時間の経過を計時する。
ここでは、携帯電話10cの動作を図5〜図6に示すフローチャートを用いて説明するが、説明の簡略化のために、携帯電話10の動作を示す図2〜図3との相違点のみを説明する。
キー入力回路部106から認識処理の起動を示す起動信号を受け取ると、CPU103は、タイマを「0」にセットする(ステップS151)。その後、ステップS101において、CPU103は、認識フラグに「OFF」を設定する。
また、ステップS106において、ディスプレィ部104が受け取った強調画像を表示した後において、CPU103は、タイマによりカウントされるタイマ値と、内部に保持している閾値Nとを比較する。タイマ値が、閾値Nより高い場合には(ステップS152)、設定部132は、強調度合を「弱」に設定する(ステップS109)。タイマ値が、閾値Nより高くない場合には(ステップS152)、設定部132は、強調度合を変更しない(ステップS108)。
以上のように、携帯電話10cは、温度センサ107を用いる代わりに、CPU103が内蔵するタイマにより測定されるタイマ値を用いている。これは、カメラセンサ部101又はDSP部102の処理時間の経過に伴い、これらからの発熱量が増えると考えられるからである。
4.変形例(3)
上記の変形例(2)のさらなる変形例としての携帯電話10dについて、図7に示すフローチャートを用いて、説明する。
携帯電話10dは、携帯電話10cと同様の構成を有し、携帯電話10cと同様に動作する。ここでは、携帯電話10cとの相違点を中心として説明する。
上記の変形例の携帯電話10cでは、図5〜図6に示すように、設定部132は、エッジ強調の度合いを示す強調度合を、初期値として、「強」に設定する(ステップS102)。また、CPU103は、タイマによりカウントされるタイマ値と、内部に保持している閾値Nとを比較する。タイマ値が、閾値Nより高い場合には(ステップS152)、設定部132は、強調度合を「弱」に設定する(ステップS109)。タイマ値が、閾値Nより高くない場合には(ステップS152)、設定部132は、強調度合を変更しない(ステップS108)。
一方、携帯電話10dでは、図7に示すように、設定部132は、エッジ強調の度合いを示す強調度合を、初期値として、「中」に設定する(ステップS102b)。
また、CPU103は、タイマ値が、30秒未満であるか、30秒以上60秒未満であるか、又は60秒以上であるかを判断する(ステップS152b)。
タイマ値が、30秒未満であると判断する場合には(ステップS152b)、設定部132は、強調度合を変更しない(ステップS108b)。この場合には、カメラセンサ部101の周辺の温度が、カメラセンサ部101の動作に影響を与えないからである。
また、受け取った温度が、30秒以上60秒未満であると判断する場合には(ステップS152b)、設定部132は、強調度合を「強」に設定する(ステップS153)。この場合には、カメラセンサ部101の周辺の温度が、カメラセンサ部101のレンズ部に影響を与えると考えられるからである。つまり、経過時間が30秒以上60秒未満である場合には、レンズ部の周辺の温度が一定の温度帯内であり、レンズの屈折率が変化し、これによりレンズ部によるフォーカスがずれ、このため、フォーカスがずれた撮影画像が生成される。このような場合には、設定部132は、エッジ強調の強調度合を「強」に設定することにより、フォーカスのずれを補うことができる。
さらに、受け取った温度が、60秒以上であると判断する場合には(ステップS150b)、設定部132は、強調度合を「弱」に設定する(ステップS109b)。この場合には、上記の実施の形態において説明したように、カメラセンサ部101の光電変換部の暗電流が増えてノイズが増加し、撮影画像が劣化するので、この画像の劣化を、エッジ強調の強調度合「弱」に設定することにより、補うことができる。
なお、上記において、CPU103は、タイマ値が、30秒未満であるか、30秒以上60秒未満であるか、又は60秒以上であるかを判断するとしているが、これらの時間範囲は、この例には限定されない。携帯電話10内の各部品の配置やその特性により異なる時間範囲を設定してもよい。
5.その他の変形例
なお、本発明を上記の実施の形態に基づいて説明してきたが、本発明は、上記の実施の形態に限定されないのはもちろんである。以下のような場合も本発明に含まれる。
(1)本発明は、CCD、CMOSなどの撮影素子を用いて画像撮影を可能とするセンサと撮影素子からの信号を処理するDSP又は信号処理ソフトと撮影した画像の文字認識又はコード認識をする機能を備え、画像を表示するディスプレィとプログラムを格納するROMとワークバッファ用のRAM及び温度センサを備える電子機器である。
また、本発明は、CCD、CMOSなどの撮影素子を用いて画像撮影を可能とするセンサと撮影素子からの信号を処理するDSP又は信号処理ソフトと撮影した画像の文字認識又はコード認識をする機能を備え、画像を表示するディスプレィとプログラムを格納するROMとワークバッファ用のRAMを備える電子機器である。
(2)上記の実施の形態及び複数の変形例において、温度センサにより測定した温度の範囲により、又はタイマにより測定したタイマ値の範囲により、エッジ強調の程度を変更するとしているが、これに代えて、またこれと同時にノイズ除去の程度を変更するとしてもよい。
(3)上記の実施の形態及び複数の変形例において、温度センサ107は、DSP部107に接続され、DSP部107の設定部132は、内部に保持している閾値aと温度センサ107から受け取った温度とを比較し、受け取った温度が、閾値aより高い場合には、設定部132は、設定部132の強調度合を「弱」に設定し、受け取った温度が、閾値aより高くない場合には、設定部132は、強調度合を変更しないとしているが、本発明は、この構成に限定されない。
次に示すように構成してもよい。
温度センサ107は、DSP部107に接続される代わりに、CPU103に接続されており、メモリ部105は、次のような温度比較用のコンピュータプログラムを記憶している。
温度比較用のコンピュータプログラムは、内部に閾値aを保持しており、温度センサ107から温度を受け取る命令と、内部に保持している閾値aと温度センサ107から受け取った温度とを比較する命令と、受け取った温度が、閾値aより高い場合には、DSP102の設定部132に対して、設定部132の強調度合を「弱」に設定するように指示を出力する命令とを含む。受け取った温度が、閾値aより高くない場合には、設定部132に対する指示を出力しない。
CPU103は、前記温度比較用のコンピュータプログラムに従って動作することにより、温度センサ107から温度を受け取り、内部に保持している閾値aと温度センサ107から受け取った温度とを比較し、受け取った温度が、閾値aより高い場合には、DSP102の設定部132に対して、設定部132の強調度合を「弱」に設定するように指示を出力する。受け取った温度が、閾値aより高くない場合には、設定部132に対する指示を出力しない。
(4)本発明は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。ここで、コンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。
また、本発明は、前記コンピュータプログラム又は前記デジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、CD―ROM、MO、DVD、DVD−ROM、DVD−RAM、BD(Blu−ray Disc)、半導体メモリなど、に記録したものとしてもよい。また、これらの記録媒体に記録されている前記コンピュータプログラム又は前記デジタル信号であるとしてもよい。
また、本発明は、前記コンピュータプログラム又は前記デジタル信号を、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。
また、本発明は、マイクロプロセッサとメモリとを備えたコンピュータシステムであって、前記メモリは、上記コンピュータプログラムを記憶しており、前記マイクロプロセッサは、前記コンピュータプログラムに従って動作するとしてもよい。
また、前記プログラム又は前記デジタル信号を前記記録媒体に記録して移送することにより、又は前記プログラム又は前記デジタル信号を前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。
(5)上記実施の形態及び上記変形例をそれぞれ組み合わせるとしてもよい。
本発明を構成する各装置は、電器機器製造産業において、経営的に、また継続的及び反復的に、製造し、販売することができる。
携帯電話10の構成を示すブロック図である。 携帯電話10における撮影画像の生成、強調画像の生成及びコード情報の生成の動作を示すフローチャートである。図3へ続く。 携帯電話10における撮影画像の生成、強調画像の生成及びコード情報の生成の動作を示すフローチャートである。図2から続く。 実施の形態の変形例としての携帯電話10aの動作を示すフローチャートである。 実施の形態の変形例としての携帯電話10cの動作を示すフローチャートである。図6へ続く。 実施の形態の変形例としての携帯電話10cの動作を示すフローチャートである。図5から続く。 変形例としての携帯電話10dの動作を示すフローチャートである。
符号の説明
10 携帯電話
10a 携帯電話
10c 携帯電話
10d 携帯電話
101 カメラセンサ部
102 DSP部
103 CPU
104 ディスプレィ部
105 メモリ部
106 キー入力回路部
107 温度センサ
108 スピーカ
109 マイク
110 AD/DA変換部
111 通信制御部
112 通信部
113 アンテナ
121 画像認識部
131 エッジ強調部
132 設定部

Claims (12)

  1. 撮影手段により撮影して得られた画像に対して、少なくともエッジ強調処理を施す画像処理装置であって、
    前記撮影手段の周辺温度に係る温度指数を取得する取得手段と、
    取得した温度指数に基づいて、前記エッジ強調処理のエッジ強調度合を設定する設定手段と、
    設定された前記エッジ強調度合に応じたエッジ強調処理を施すエッジ強調手段と
    を備えることを特徴とする画像処理装置。
  2. 前記取得手段は、前記温度指数として、自装置の内部の温度を測定して取得する温度センサであり、
    前記設定手段は、測定された前記温度を用いて、前記エッジ強調度合を設定する
    ことを特徴とする請求項1に記載の画像処理装置。
  3. 前記取得手段は、前記温度指数として、撮影手段による撮影開始後の経過時間を測定して取得するタイマーであり、
    前記設定手段は、測定された前記経過時間を用いて、前記エッジ強調度合を設定する
    ことを特徴とする請求項1に記載の画像処理装置。
  4. 前記設定手段は、前記撮影手段の周辺における第1温度範囲と、前記第1温度範囲より高い第2温度範囲との境界を示す撮影閾値を保持しており、取得された前記温度指数と前記撮影閾値とに基づいて、前記エッジ強調度合を設定する
    ことを特徴とする請求項1に記載の画像処理装置。
  5. 前記設定手段は、取得された前記温度指数に係る温度が前記撮影閾値より低い又は等しい場合に、第1のエッジ強調度合を設定し、前記温度指数に係る温度が前記撮影閾値より高い場合に、第1のエッジ強調度合より低い第2のエッジ強調度合を設定する
    ことを特徴とする請求項4に記載の画像処理装置。
  6. 前記設定手段は、
    前記撮影手段の周辺の第1温度範囲に係る第1温度範囲指数と、前記第1温度範囲より高い第2温度範囲に係る第2温度範囲指数と、前記第2温度範囲より高い第3温度範囲に係る第3温度範囲指数とを保持しており、
    取得された前記温度指数に係る温度が、前記第1温度範囲指数に係る第1温度範囲内に存在する場合に、第1のエッジ強調度合を設定し、取得された前記温度指数に係る温度が、前記第2温度範囲指数に係る第2温度範囲内に存在する場合に、前記第1のエッジ強調度合より高い第2のエッジ強調度合を設定し、取得された前記温度指数に係る温度が、前記第3温度範囲指数に係る第3温度範囲内に存在する場合に、前記第1のエッジ強調度合より低い第3のエッジ強調度合を設定する
    ことを特徴とする請求項1に記載の画像処理装置。
  7. 撮影手段により撮影して得られた画像に対して、少なくともエッジ強調処理を施す画像処理装置において用いられる画像処理方法であって、
    前記撮影手段の周辺温度に係る温度指数を取得する取得ステップと、
    取得した温度指数に基づいて、前記エッジ強調処理のエッジ強調度合を設定する設定ステップと、
    前記設定されたエッジ強調度合に応じたエッジ強調処理を施すエッジ強調ステップと
    を含むことを特徴とする画像処理方法。
  8. 撮影手段により撮影して得られた画像に対して、少なくともエッジ強調処理を施す画像処理用のコンピュータにおいて用いられ、前記コンピュータに対して、画像処理を行わせるコンピュータプログラムであって、
    前記撮影手段の周辺温度に係る温度指数を取得する取得ステップと、
    取得した温度指数に基づいて、前記エッジ強調処理のエッジ強調度合を設定する設定ステップと、
    前記設定されたエッジ強調度合に応じたエッジ強調処理を施すエッジ強調ステップと
    を含むことを特徴とするコンピュータプログラム。
  9. 前記コンピュータプログラムは、コンピュータ読み取り可能な記録媒体に記録されている
    ことを特徴とする請求項8に記載のコンピュータプログラム。
  10. 請求項1に記載の画像処理装置と、前記撮影手段とを備えた画像読取装置であって、
    前記画像読取装置は、さらに、エッジ強調処理後の画像を認識する画像認識手段を含むことを特徴とする画像読取装置。
  11. 前記撮影手段は、1枚以上のレンズから構成されるレンズ部を備え、
    前記レンズのうち、少なくとも1枚は、樹脂製である
    ことを特徴とする請求項10に記載の画像読取装置。
  12. 請求項11に記載の画像読取装置を備えることを特徴とする携帯電話機。
JP2006084801A 2006-03-27 2006-03-27 画像処理装置、画像読取装置及び携帯電話機 Expired - Fee Related JP4861732B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006084801A JP4861732B2 (ja) 2006-03-27 2006-03-27 画像処理装置、画像読取装置及び携帯電話機

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006084801A JP4861732B2 (ja) 2006-03-27 2006-03-27 画像処理装置、画像読取装置及び携帯電話機

Publications (2)

Publication Number Publication Date
JP2007257593A true JP2007257593A (ja) 2007-10-04
JP4861732B2 JP4861732B2 (ja) 2012-01-25

Family

ID=38631728

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006084801A Expired - Fee Related JP4861732B2 (ja) 2006-03-27 2006-03-27 画像処理装置、画像読取装置及び携帯電話機

Country Status (1)

Country Link
JP (1) JP4861732B2 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03151929A (ja) * 1989-11-07 1991-06-28 Olympus Optical Co Ltd 電子内視鏡装置
JPH11112837A (ja) * 1997-10-01 1999-04-23 Olympus Optical Co Ltd 電子的撮像装置
JP2000224472A (ja) * 1999-02-04 2000-08-11 Fuji Photo Film Co Ltd 撮像制御装置および撮像制御方法
JP2002033892A (ja) * 2000-07-13 2002-01-31 Sharp Corp 画像処理装置および画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03151929A (ja) * 1989-11-07 1991-06-28 Olympus Optical Co Ltd 電子内視鏡装置
JPH11112837A (ja) * 1997-10-01 1999-04-23 Olympus Optical Co Ltd 電子的撮像装置
JP2000224472A (ja) * 1999-02-04 2000-08-11 Fuji Photo Film Co Ltd 撮像制御装置および撮像制御方法
JP2002033892A (ja) * 2000-07-13 2002-01-31 Sharp Corp 画像処理装置および画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体

Also Published As

Publication number Publication date
JP4861732B2 (ja) 2012-01-25

Similar Documents

Publication Publication Date Title
JP5265708B2 (ja) 統合されたバーコード・スキャニングを備えた画像キャプチャ・デバイス
EP3762898B1 (en) Object segmentation in a sequence of color image frames by background image and background depth correction
JP4058529B2 (ja) 光学情報読取装置
US8861054B2 (en) Image processing apparatus, image processing method, computer readable medium and image processing system
JP2013098935A (ja) 追尾装置及び追尾方法
JP5862623B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP4861732B2 (ja) 画像処理装置、画像読取装置及び携帯電話機
JP5017988B2 (ja) コード読取装置及びプログラム
JP2007034625A (ja) 情報表示装置
JP5978636B2 (ja) 撮像装置、及びプログラム
CN101877046A (zh) 图像传感器件以及识别可视标识的方法
JP4749382B2 (ja) 2次元コード読取装置及びその方法
JP2016092513A (ja) 画像取得装置、ブレ軽減方法及びプログラム
JPWO2012127639A1 (ja) 画像処理装置及び画像処理方法
JP2018107532A (ja) 投影制御装置、投影制御方法及びプログラム
JP7777786B2 (ja) 画像判定方法、画像判定装置および文字認識方法
CN110543799A (zh) 二维码处理方法、装置、存储介质与移动终端
JP3723948B2 (ja) カメラ付き携帯電話、バーコード読み取り方法、及びプログラム
JP2005341244A (ja) 撮像装置、欠陥画素検出方法およびプログラム
JP2011028322A (ja) 画像処理装置、画像処理プログラムおよび撮像装置
JP2011170882A (ja) 2次元コード読取装置及びその方法
JP3971347B2 (ja) 光学的情報読み取り方法
JP2016021155A (ja) 撮像装置
JP4425834B2 (ja) 欠陥画素更新システム
KR100821159B1 (ko) 핫코드를 인식하는 이동통신 단말기 및 그 방법

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20080801

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20080829

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20081118

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110303

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110329

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110527

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111101

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111107

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141111

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees