JP2012173301A - ブレ補正装置及び光学機器 - Google Patents
ブレ補正装置及び光学機器 Download PDFInfo
- Publication number
- JP2012173301A JP2012173301A JP2011031682A JP2011031682A JP2012173301A JP 2012173301 A JP2012173301 A JP 2012173301A JP 2011031682 A JP2011031682 A JP 2011031682A JP 2011031682 A JP2011031682 A JP 2011031682A JP 2012173301 A JP2012173301 A JP 2012173301A
- Authority
- JP
- Japan
- Prior art keywords
- posture
- sensor
- unit
- camera
- angular velocity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Adjustment Of Camera Lenses (AREA)
- Studio Devices (AREA)
Abstract
【解決手段】カメラの角速度を検出する角速度センサ12Bと、カメラの加速度を検出する加速度センサ12Aと、角速度センサと加速度センサの出力に基づいて、カメラの姿勢を演算する姿勢演算部32と、姿勢演算部の演算結果に基づいて、加速度センサの出力を補正する補正部21と、補正部の補正後の加速度信号と角速度センサからの角速度信号に基づいて、ブレ補正の制御を行う制御部35と、カメラの姿勢更新の可否を判断する判断部52と、判断部の判断結果に基づいて、カメラの姿勢情報を再演算する姿勢再演算部53とを備え、補正部は、姿勢再演算部が姿勢情報を再取得したときには、加速度センサの値を再補正する(S209)。
【選択図】図10
Description
この問題を解決するため、カメラの速度、角速度を検出し、回転ブレの回転中心位置を正確に求めることで、高倍率撮影時のブレ補正精度を向上させる技術(特許文献1、2)が提案されている。
3軸の加速度センサと、3軸の角速度センサを用いてカメラの姿勢を演算し、加速度センサ出力に含まれる重力加速度成分を演算、除去することで、並進ブレ成分のみを演算して、補正することで、高倍率撮影時のブレ補正精度を向上させる技術(特許文献3)が提案されている。これは、6軸センサの出力を基に、平行ブレの変位量を求めるものである。
特許文献1,2は、加速度センサ出力に含まれる重力加速度成分が正確に除去できないため、正確な並進ブレ情報が得られない。
特許文献3は、カメラの姿勢を演算することで加速度センサ出力に含まれる重力加速度成分を演算、除去し、これにより正確に並進ブレによる加速度成分を検出することができるが、外乱等により姿勢情報に誤差が生じた場合や、時間と共に姿勢検出誤差が増えるという弊害もあったため、正確な並進ブレ情報が得られない、という課題があった。
請求項1の発明は、カメラの角速度を検出する角速度センサ(12B)と、カメラの加速度を検出する加速度センサ(12A)と、前記角速度センサと前記加速度センサの出力に基づいて、カメラの姿勢を演算する姿勢演算部(32)と、前記姿勢演算部の演算結果に基づいて、前記加速度センサの出力を補正する補正部(21)と、前記補正部の補正後の加速度信号と前記角速度センサからの角速度信号に基づいて、ブレ補正の制御を行う制御部(35)と、カメラの姿勢更新の可否を判断する判断部(52)と、前記判断部の判断結果に基づいて、カメラの姿勢情報を再演算する姿勢再演算部(53)とを備え、前記補正部は、前記姿勢再演算部が姿勢情報を再取得したときには、前記加速度センサの値を再補正すること(S209)、を特徴とするブレ補正装置である。
請求項2に発明は、請求項1に記載のブレ補正装置において、前記判断部は、角速度センサ、加速度センサ、動きベクトル演算部、磁気センサ、GPSセンサ、傾斜センサの少なくとも1つの出力結果に基づいて、姿勢更新の可否を判断すること、を特徴とするブレ補正装置である。
請求項3の発明は、請求項1又は請求項2に記載のブレ補正装置において、前記姿勢再演算部は、角速度センサ、加速度センサ、動きベクトル演算部、磁気センサ、GPSセンサ、傾斜センサの少なくとも1つの出力に基づいて、姿勢情報の再演算を行うこと、を特徴とするブレ補正装置である。
請求項4の発明は、請求項1から請求項3までのいずれか1項に記載のブレ補正装置において、前記姿勢演算部の初期姿勢の信頼性を判断する信頼性判断部(51)を備え、前記判断部は、前記信頼性が低いと判断されたときには、姿勢更新の可否を判断する閾値を変更すること、を特徴とするブレ補正装置である。
請求項5の発明は、請求項1から請求項4までのいずれか1項に記載のブレ補正装置において、カメラの作動状態を検出する作動状態検出部(8)を備え、前記判断部は、前記作動状態検出部の出力に基づいて、姿勢更新の可否を判断すること(図14(c))、を特徴とするブレ補正装置である。
請求項6の発明は、請求項1から請求項5までのいずれか1項に記載のブレ補正装置を備えた光学機器である。
なお、符号を付して説明した構成は、適宜改良してもよく、また、少なくとも一部を他の構成物に代替してもよい。
以下、図面等を参照して、本発明の実施の形態について、さらに詳しく説明する。
図1は、本発明のカメラの第1実施形態を模式的に示す断面図である。
カメラ1は、デジタル一眼レフカメラであり、カメラ筐体1Aと、このカメラ筐体1Aに対して着脱自在に装着されるレンズ鏡筒1Bとを備えている。
CPU2は、ズーム群4、フォーカス群5、ブレ補正群6等のレンズ群の移動量演算や、カメラ1の全体の制御を行う中央処理装置である。
撮像素子3は、撮影レンズ(4,5,6)により形成された被写体像を撮像する素子であり、被写体光を露光して電気的な画像信号に変換し、信号処理回路15へ出力する。撮像素子3は、例えばCCD、CMOSなどの素子により構成されている。
加速度センサ12A、角速度センサ12Bは、それぞれセンサユニットに生じる振れの加速度、角速度を検出するセンサである。
EEPROM14は、加速度センサ12Aのゲイン値などの調整値情報、レンズ鏡筒固有の情報等を記憶するメモリであって、CPU2に出力する。
信号処理回路15は、撮像素子3からの出力を受けて、ノイズ処理やA/D変換等の処理を行う回路である。
AFセンサ16は、AF(自動焦点調節)を行うためのセンサであって、CCD等を用いることができる。
レリーズスイッチ17は、カメラ1の撮影操作を行う部材であって、シャッタ駆動のタイミング等を操作するスイッチである。
シャッタ20は、ミラー19の後方に配置されている。シャッタ20には、ミラー19が上へ回転して撮影可能状態となったときに、被写体光が入射される。シャッタ20は、レリーズスイッチ17などによる撮影指示に応じてシャッタ幕を走行させ、撮像素子3に入射する被写体光を制御する。
図3は、本発明によるブレ補正装置の第1実施形態のカメラ座標系を説明する図である。
加速度センサ12Aは、図3(A)に示すように、カメラ1のX軸、Y軸、Z軸方向に感度を有する加速度を検出するGセンサなどである。この実施形態では、撮像素子3の撮像面と撮影レンズ(4,5,6)の光軸との交点を直交座標の原点Oとし、撮影レンズ(4,5,6)の光軸をZ軸、撮像素子3の撮像面をXY平面として表している。
角速度センサ12Bは、X軸回り(Pitch)、Y軸回り(Yaw)、Z軸回り(Roll)の角速度を検出する振動ジャイロ等のセンサである。
初期姿勢演算部31は、カメラ1の初期姿勢を求める部分であり、加速度センサ12Aの出力から求められる重力加速度方向を利用して求める。ここで、カメラ1には回転振動及び並進振動が存在するので、重力加速度方向を適宜の時間の間測定し続け、その測定結果の平均を算出することで平均的な重力加速度方向を求める。このようにして、図3に示すカメラ座標系42における重力加速度方向により、慣性座標系41に対するカメラの平均的な姿勢を求め、これをカメラ1の初期姿勢に設定する。
カメラ1の姿勢を演算する際は、初期値が必要であり、これは、加速度センサ12Aの検出値を基に演算する。しかし、加速度センサ12Aの出力には、重力加速度成分と、加速度成分が含まれているため、初期値演算時の加速度センサ12Aの出力に、大きなブレや、外乱等による加速度成分が多分に含まれている場合には、姿勢演算結果に誤差が生じてしまう。この誤差により、ブレ補正精度を悪化させてしまうという問題があった。
この実施形態では、初期姿勢演算結果の誤差によるブレ補正性能の悪化を防ぐため、ブレ補正が開始される前までに姿勢情報の初期値が求まらなかった場合(信頼度が低いと判断された場合)には、初期値を演算するまでの間は、角速度センサ12Bのみによるブレ補正(通常手ブレ補正)を行う。
S1において、レリーズスイッチ17が半押しされたか否かを判定し、半押しされた場合には、S2に進む。
ついで、焦点距離情報の取得(S2)、被写体距離情報の取得(S3)を行う。
S4において、撮影倍率:β情報の取得を行い、その撮影倍率:βが所定の閾値βth以上か否かを判断し(S5)、肯定の場合には、S6へ進み、否定の場合には、S9に進む。
信頼度の判断は、角速度センサ12Bの出力値を基に演算する。具体的には、図6(a)に示すように、t1の時点でレリーズスイッチ17の半押し信号がONになると、図6(c)に示すように、初期姿勢演算中信号がハイレベルになり、図6(b)に示すように、その間(t1〜t2)の角速度センサ12Aの信号をモニタし、演算期間中に閾値:ωthを超えていなければ、初期姿勢は信頼できると判断し、図6(d)に示すように、マイクロ用ブレ補正の開始信号を出力する。
図7(b)に示すように、ωが閾値:ωthを超える場合は、加速度センサ12Bの出力に加速度成分が多分に含まれることになり、この場合は、初期姿勢結果が信頼できないため、通常ブレ補正開始信号を出力する。
S8では、マイクロ用ブレ補正演算のサブルーチンをコールする。図5(a)は、マイクロ用ブレ補正演算のサブルーチンを示すフローチャートである。
S81において、角速度データ、加速度データの読込を行う。
S82において、加速度センサ12Aから撮像面までの距離情報を取得(目標位置演算に使用)する。
S84において、カメラの姿勢演算結果から、重力加速度成分を演算し、加速度センサ検出値に含まれる重力加速度成分を除去する。
前述したように、並進ブレ量は、加速度センサ12Aを用いることで検出可能であるが、加速度センサ12Aの出力値には、並進ブレで発生する加速度成分と、重力加速度成分とが含まれている。また、カメラの角度ブレによってカメラ姿勢が変化するため、加速度センサ検出値に含まれる重力加速度成分も変化する。従って、並進ブレによる加速度成分を求めるために、加速度センサ検出値から、重力加速度成分を除去するようにしたものである。
S85において、角速度情報、加速度情報から、ブレ補正駆動機構9X,9Yの目標位置を演算して、リターンする。
S91において、角速度データの読込を行う。
S92において、その角速度データに基づいて、ブレ補正駆動機構9X,9Yの目標位置演算を行い、リターンする。
S11において、ブレ補正駆動機構9X,9Yを駆動する。
図8は、本発明によるブレ補正装置の第2実施形態を示すブロック図である。
図9は、第2実施形態によるブレ補正装置の動作を示すフローチャートである。
なお、以下の各実施形態では、第1実施形態と同様な機能を果たす部分には、同一の符号を付して、重複する説明を適宜省略する。
第2実施形態のブレ補正装置は、初期姿勢信頼性判定部51Aで初期姿勢演算結果が信頼できるか否かの判定を行い(S105)、信頼できないと判断された場合には(S106:NO)、利得調整部27X,27Yの加速度成分の利得を変更して(この実施形態では、利得を下げて(利得<1))、信頼性のある初期姿勢が求められた時点で(S106:YES)、利得を1倍に戻す。信頼度の判定方法は、第1実施形態と同様なため、説明を省略する。
図10は、本発明によるブレ補正装置の第3実施形態を示すブロック図である。
図11は、第3実施形態によるブレ補正装置の動作を示すフローチャートである。
図12は、第3実施形態によるブレ補正装置の姿勢情報更新動作を説明する線図である。
上述の加速度センサ12Aと角速度センサ12Bを用いたブレ補正装置においては、外乱や、構図変更等による大きな角度ブレが起こった場合に、姿勢演算部32の姿勢演算結果に誤差が生じてしまう。また、角速度センサ12Bの信号にHPF25による処理をかけているため、時間と共に誤差が生じてしまう。この誤差によって、正確な並進ブレによる加速度成分の検出が行えないという課題があった。
本実施形態では、上記課題を解決するために、所定の条件を満たした場合に、姿勢演算結果を更新することとしたものである。
姿勢再演算部53は、姿勢情報更新タイミング信号検出部52の更新タイミング信号を取得すると、加速度センサ12Aの出力を基に、この間に姿勢情報を再演算して、姿勢演算部32の姿勢情報を更新する。
S208において、角速度信号を基に、カメラが静止状態か否かを判断する。静止状態の判定は、図12(a)に示すように、角速度の絶対値が所定値:ωth以下であることが条件であり、この状態が所定時間:Tth以上続いた場合に(図12(b))、姿勢情報を更新することとする。
また、更新する姿勢情報は、静止状態中の、加速度センサ出力の平均値から演算する。この再取得した姿勢情報を基に、座標変換マトリクスを求め、これを座標変換マトリクスの初期値とし、姿勢演算を実施する(S209)。
なお、角速度センサ以外で姿勢更新の可否判断を行う場合であっても、上記と同様の考えであるため、説明は省略する。
図13は、本発明によるブレ補正装置の第4実施形態を示すブロック図である。
図14は、第4実施形態によるブレ補正装置の姿勢情報更新動作を説明する線図である。
この実施形態は、姿勢再演算部53Aの姿勢更新の可否判断を、角速度センサ12Bの出力と、カメラの作動状態(この実施形態では、フォーカス駆動部8のフォーカス駆動状態)によって決定する。
例えば、第3実施形態で説明したように、角速度センサ12Bの信号からは姿勢状態更新可と判断される場合であっても、それがフォーカス駆動中であれば、姿勢更新を行わないこととする。
なお、カメラの作動状態としては、ミラーアップ後についても、上記と同様である。
以上、説明した実施形態に限定されることなく、以下に示すような種々の変形や変更が可能であり、それらも本発明の範囲内である。
本実施形態では、初期姿勢信頼性判断部は、加速度センサ12Aの検出結果を例に説明したが、角速度センサ12Bの検出結果に基づいて判定してもよい。
姿勢再演算部52は、加速度センサの出力に基づいて、姿勢情報の再演算を行う例で説明したが、角速度センサ、動きベクトル演算部、磁気センサ、GPSセンサ、傾斜センサの少なくとも1つの出力に基づいて、姿勢情報の再演算を行うようにしてもよい。
姿勢演算部32の初期姿勢の信頼性を判断する初期姿勢信頼性判断部51を備えており、この初期姿勢信頼性判断部51が、信頼性が低いと判断されたときには、姿勢更新の可否を判断する閾値ωthを変更するようにしてもよい。
なお、実施形態及び変形形態は、適宜組み合わせて用いることもできるが、詳細な説明は省略する。また、本発明は以上説明した実施形態によって限定されることはない。
Claims (6)
- カメラの角速度を検出する角速度センサと、
カメラの加速度を検出する加速度センサと、
前記角速度センサと前記加速度センサの出力に基づいて、カメラの姿勢を演算する姿勢演算部と、
前記姿勢演算部の演算結果に基づいて、前記加速度センサの出力を補正する補正部と、
前記補正部の補正後の加速度信号と前記角速度センサからの角速度信号に基づいて、ブレ補正の制御を行う制御部と、
カメラの姿勢更新の可否を判断する判断部と、
前記判断部の判断結果に基づいて、カメラの姿勢情報を再演算する姿勢再演算部とを備え、
前記補正部は、前記姿勢再演算部が姿勢情報を再取得したときには、前記加速度センサの値を再補正すること、
を特徴とするブレ補正装置。 - 請求項1に記載のブレ補正装置において、
前記判断部は、角速度センサ、加速度センサ、動きベクトル演算部、磁気センサ、GPSセンサ、傾斜センサの少なくとも1つの出力結果に基づいて、姿勢更新の可否を判断すること、
を特徴とするブレ補正装置。 - 請求項1又は請求項2に記載のブレ補正装置において、
前記姿勢再演算部は、角速度センサ、加速度センサ、動きベクトル演算部、磁気センサ、GPSセンサ、傾斜センサの少なくとも1つの出力に基づいて、姿勢情報の再演算を行うこと、
を特徴とするブレ補正装置。 - 請求項1から請求項3までのいずれか1項に記載のブレ補正装置において、
前記姿勢演算部の初期姿勢の信頼性を判断する信頼性判断部を備え、
前記判断部は、前記信頼性が低いと判断されたときには、姿勢更新の可否を判断する閾値を変更すること、
を特徴とするブレ補正装置。 - 請求項1から請求項4までのいずれか1項に記載のブレ補正装置において、
カメラの作動状態を検出する作動状態検出部を備え、
前記判断部は、前記作動状態検出部の出力に基づいて、姿勢更新の可否を判断すること、
を特徴とするブレ補正装置。 - 請求項1から請求項5までのいずれか1項に記載のブレ補正装置を備えた光学機器。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011031682A JP5957796B2 (ja) | 2011-02-17 | 2011-02-17 | ブレ補正装置及び光学機器 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011031682A JP5957796B2 (ja) | 2011-02-17 | 2011-02-17 | ブレ補正装置及び光学機器 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2012173301A true JP2012173301A (ja) | 2012-09-10 |
| JP5957796B2 JP5957796B2 (ja) | 2016-07-27 |
Family
ID=46976297
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011031682A Expired - Fee Related JP5957796B2 (ja) | 2011-02-17 | 2011-02-17 | ブレ補正装置及び光学機器 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5957796B2 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020181059A (ja) * | 2019-04-24 | 2020-11-05 | キヤノン株式会社 | 撮像装置及びその制御方法、姿勢角算出装置、プログラム、記憶媒体 |
| JP2020184006A (ja) * | 2019-05-07 | 2020-11-12 | キヤノン株式会社 | 防振制御装置及び方法、及び撮像システム |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07225405A (ja) * | 1993-12-14 | 1995-08-22 | Nikon Corp | 像振れ補正カメラ |
| JPH09218435A (ja) * | 1996-02-13 | 1997-08-19 | Nikon Corp | 像ブレ補正カメラ |
| JP2010145500A (ja) * | 2008-12-16 | 2010-07-01 | Canon Inc | 光学機器 |
| JP2010286721A (ja) * | 2009-06-12 | 2010-12-24 | Canon Inc | 光学機器 |
| JP2011033881A (ja) * | 2009-08-03 | 2011-02-17 | Canon Inc | 撮影システムおよびレンズ装置 |
-
2011
- 2011-02-17 JP JP2011031682A patent/JP5957796B2/ja not_active Expired - Fee Related
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07225405A (ja) * | 1993-12-14 | 1995-08-22 | Nikon Corp | 像振れ補正カメラ |
| JPH09218435A (ja) * | 1996-02-13 | 1997-08-19 | Nikon Corp | 像ブレ補正カメラ |
| JP2010145500A (ja) * | 2008-12-16 | 2010-07-01 | Canon Inc | 光学機器 |
| JP2010286721A (ja) * | 2009-06-12 | 2010-12-24 | Canon Inc | 光学機器 |
| JP2011033881A (ja) * | 2009-08-03 | 2011-02-17 | Canon Inc | 撮影システムおよびレンズ装置 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020181059A (ja) * | 2019-04-24 | 2020-11-05 | キヤノン株式会社 | 撮像装置及びその制御方法、姿勢角算出装置、プログラム、記憶媒体 |
| JP7240241B2 (ja) | 2019-04-24 | 2023-03-15 | キヤノン株式会社 | 撮像装置及びその制御方法、姿勢角算出装置、プログラム、記憶媒体 |
| JP2020184006A (ja) * | 2019-05-07 | 2020-11-12 | キヤノン株式会社 | 防振制御装置及び方法、及び撮像システム |
| JP7281957B2 (ja) | 2019-05-07 | 2023-05-26 | キヤノン株式会社 | 防振制御装置及び方法、及び撮像システム |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5957796B2 (ja) | 2016-07-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4717382B2 (ja) | 光学機器 | |
| JP4789614B2 (ja) | 防振制御装置およびその制御方法 | |
| CN103733131B (zh) | 抖动量检测装置、摄像装置和抖动量检测方法 | |
| JP4807855B2 (ja) | 防振装置および防振方法およびプログラム | |
| US10827124B2 (en) | Shake correction device, imaging apparatus, and shake correction method | |
| JP2004295027A (ja) | ブレ補正装置 | |
| JP4994756B2 (ja) | 防振制御装置およびそれを備えた光学機器、撮像装置、また防振制御装置の制御方法 | |
| JP2012128356A (ja) | ブレ補正装置及び光学機器 | |
| JP2002156675A (ja) | ブレ補正カメラ | |
| JP2012163824A (ja) | ブレ補正装置及び光学機器 | |
| JP6737307B2 (ja) | ブレ補正装置及び撮影装置 | |
| JP5822548B2 (ja) | 像ブレ補正装置、像ブレ補正方法、撮像装置 | |
| JP2011039436A (ja) | 撮影システムおよびレンズ装置 | |
| JP5957796B2 (ja) | ブレ補正装置及び光学機器 | |
| JP6024031B2 (ja) | ブレ補正装置及び光学機器 | |
| JP2013054193A (ja) | ブレ補正装置及び光学機器 | |
| JP2016181000A (ja) | ブレ補正装置及び光学機器 | |
| JP2011033881A (ja) | 撮影システムおよびレンズ装置 | |
| JP2012173302A (ja) | ブレ補正装置及び光学機器 | |
| JP2012237884A (ja) | ブレ補正装置及び光学機器 | |
| JP2012042589A (ja) | 像振れ補正機構、レンズ鏡筒、および撮像装置 | |
| JP2014215357A (ja) | 像ブレ補正装置及び光学機器 | |
| JP2010145493A (ja) | カメラシステム | |
| JP2014164290A (ja) | ブレ補正装置及び光学機器 | |
| JP2014215358A (ja) | 像ブレ補正装置及び光学機器 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140217 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20141119 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20141202 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150202 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150728 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150928 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160301 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160426 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160524 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160606 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5957796 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |