JP2009117960A - ディジタルカメラ - Google Patents

ディジタルカメラ Download PDF

Info

Publication number
JP2009117960A
JP2009117960A JP2007286098A JP2007286098A JP2009117960A JP 2009117960 A JP2009117960 A JP 2009117960A JP 2007286098 A JP2007286098 A JP 2007286098A JP 2007286098 A JP2007286098 A JP 2007286098A JP 2009117960 A JP2009117960 A JP 2009117960A
Authority
JP
Japan
Prior art keywords
angle
digital camera
image
optical system
view
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007286098A
Other languages
English (en)
Other versions
JP5071054B2 (ja
Inventor
Norikazu Yokonuma
則一 横沼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2007286098A priority Critical patent/JP5071054B2/ja
Publication of JP2009117960A publication Critical patent/JP2009117960A/ja
Application granted granted Critical
Publication of JP5071054B2 publication Critical patent/JP5071054B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Studio Devices (AREA)

Abstract

【課題】本発明は、近年のディジタル画像処理技術を有効利用し、撮影者が注意を払わなくとも良好なフレーミングを行うことのできるオートフレーミング機能を搭載したディジタルカメラを提供することを目的とする。
【解決手段】本発明のディジタルカメラは、撮影光学系が人物像を目標サイズにするのに必要な最適画角を、その撮影光学系の撮影距離に基づき算出する画角算出手段(S63,S67,S611)と、前記撮影光学系の画角を前記最適画角より広角側に設定するズーム制御手段(S64,S68,S612)と、前記撮影光学系が前記設定下で生成する画像上で、前記最適画角に相当するサイズを有し、かつ前記人物像の配置角度と同じ角度で配置された矩形枠を、その画像のトリミング枠として算出する枠算出手段(S65,S69,S613,S66,S610,S614)とを備えたことを特徴とする。
【選択図】 図4

Description

本発明は、ズーム制御機能を有したディジタルカメラに関する。
ズーム制御機能を有したカメラの中に、オートイメージサイジング機能を搭載したものが提案されている(特許文献1等を参照)。この機能は、画像中の人物が予め指定されたサイズになるよう撮影レンズのズーム位置を自動的に調整するものである。指定されたサイズが同じであるならば、撮影レンズのズーム位置は、人物がカメラから近いときには広角側に、人物がカメラから離れているときには望遠側に設定される。
例えば、旅行先などでユーザが一般人に自分を撮影してもらう際にこの機能をオンしてからカメラを預ければ、その人がカメラに不慣れだったとしても画像中の人物のサイズが過小又過大となることは無い。
特開平5−215952号公報 特開2004−328083号公報
しかしながらこの機能を利用しても、カメラの姿勢が悪かったりレリーズスイッチの押し方が強過ぎたりすると、人物の像が画角内にうまく収まらないことがある。
本発明は以上の問題に鑑みてなされたものであり、近年のディジタル画像処理技術(例えば、特許文献2などに記載のトリミング技術)を有効利用し、撮影者が注意を払わなくとも良好なフレーミングを行うことのできるオートフレーミング機能を搭載したディジタルカメラを提供することを目的とする。
本発明のディジタルカメラは、撮影光学系が人物像を目標サイズにするのに必要な最適画角を、その撮影光学系の撮影距離に基づき算出する画角算出手段と、前記撮影光学系の画角を前記最適画角より広角側に設定するズーム制御手段と、前記撮影光学系が前記設定下で生成する画像上で、前記最適画角に相当するサイズを有し、かつ前記人物像の配置角度と同じ角度で配置された矩形枠を、その画像のトリミング枠として算出する枠算出手段とを備えたことを特徴とする。
なお、前記枠算出手段は、前記撮影光学系が前記設定下で生成した画像中の顔領域の配置角度に基づき前記人物像の配置角度を検知してもよい。
また、本発明の何れかのディジタルカメラは、前記ディジタルカメラの姿勢を検出する姿勢センサが更に備えられてもよく、その場合、前記枠算出手段は、前記姿勢センサの出力に基づき前記人物像の配置角度を検知してもよい。
また、本発明の何れかのディジタルカメラは、前記撮影光学系が前記設定下で生成した画像を、前記枠算出手段が算出したトリミング枠でトリミングするトリミング手段を更に備えてもよい。
また、前記画角算出手段、前記制御手段、前記枠算出手段、前記トリミング手段は、前記撮影光学系が保存用の静止画像を生成するときと、前記撮影光学系が表示用の動画像を生成するときとの双方において動作してもよい。
また、本発明の何れかのディジタルカメラは、前記撮影光学系が生成した表示用の動画像を表示することの可能な表示手段を更に備えてもよく、その場合、前記表示手段は、前記撮影光学系が表示用の動画像を生成する期間に、その動画像の代わりに前記トリミング手段がトリミングした後の前記動画像を表示してもよい。
また、本発明の何れかのディジタルカメラは、前記枠算出手段が算出したトリミング枠の情報を、前記撮影光学系が前記設定下で生成した画像に対応づけて記録する記録手段を更に備えてもよい。
また、前記画角算出手段は、前記目標サイズを撮影シーンの種類に応じて切り替えてもよい。
また、前記画角算出手段は、前記撮影光学系が生成する画像中の顔領域の数に基づき撮影シーンの種類を検知してもよい。
また、本発明の何れかのディジタルカメラは、前記撮影光学系の画角をユーザが調節したときには、前記画角算出手段、前記制御手段、前記枠算出手段の動作を禁止する禁止手段を更に備えてもよい。
また、本発明の何れかのディジタルカメラは、前記人物像の状態が変化したときには、前記撮影光学系の画角を最広角に設定してから、前記画角算出手段、前記制御手段、前記枠算出手段を改めて動作させるリセット手段を更に備えてもよい。
また、前記リセット手段は、前記撮影光学系が生成する画像中の顔領域の数の変化に基づき前記状態の変化を検知してもよい。
本発明によれば、撮影者が注意を払わなくとも良好なフレーミングを行うことが可能となる。
以下、ディジタルカメラの実施形態を説明する。図1は、本実施形態のディジタルカメラのブロック図である。先ず、ディジタルカメラの構成を説明する。
図1に示すとおり、ディジタルカメラには、撮影レンズ1、フォーカス制御回路2、シャッタ制御回路3、絞り制御回路4、ズーム制御回路5、撮像素子6、撮像制御回路7、信号処理回路8、バッファメモリ10、ROM9、メモリ制御回路11、操作検出回路13、モニタ制御回路14、モニタ15、マイコン20などが備えられる。
撮影レンズ1は、ズームレンズ1a、フォーカシングレンズ1b、絞り1c、シャッタ1dなどを備える。撮影レンズ1は、被写界からの光束(被写界光束)を捉え、その被写界光束を撮像素子6の近傍に結像する。
シャッタ1dは、シャッタ制御回路3によって開閉される。被写界からの被写界光束は、シャッタ1dが開放されている期間にのみ撮像素子6へ到達することができる。
絞り1cは、絞り制御回路4によって駆動される。絞り1cが駆動されると、絞り1cの開口径が変化し、撮像素子6に向かう被写界光束の拡がり角度が変化する。
ズームレンズ1aは、ズーム制御回路5によって駆動される。ズームレンズ1aが駆動されると、撮影レンズ1の焦点距離が変化し、撮影レンズ1の画角が変化する。
フォーカシングレンズ1bは、フォーカス制御回路2によって駆動される。フォーカシングレンズ1bが駆動されると、撮影レンズ1の焦点が光軸方向に変位し、撮影レンズ1の撮影距離が変化する。撮影レンズ1の焦点が被写体に一致すると、撮像素子6の近傍に被写体像が形成される。
撮像素子6は、CCD,CMOS等の撮像素子である。撮像素子6は、撮像制御回路7によって駆動される。撮像素子6が駆動されると、撮像素子6の各画素に入射した光がそれぞれ光電変換され、被写界の画像を示すアナログ画像信号が生成される。撮像制御回路7が撮像素子6の電荷蓄積時間を調節すると、撮像素子6の露光期間が調節される。なお、撮像素子6の露光期間は撮像素子6の電荷蓄積時間だけでなくシャッタ1dの開成時間によっても制御できるが、ここでは、電荷蓄積時間のみによって制御されるものとする。因みに、ディジタルカメラの露出は、絞り1cの開口径(絞り値)と露光時間との組み合わせによって決まる。
信号処理回路8は、撮像素子6が生成するアナログ画像信号を増幅すると共に、それをディジタル画像信号へ変換する。そのディジタル画像信号は、画像データとしてマイコン20へ入力され、そのマイコン20において各種の処理が施される。なお、信号処理回路8の駆動タイミングは、撮像素子6の駆動タイミングと共に撮像制御回路7によって制御される。
ROM9は、マイコン20の動作プログラムを予め格納したメモリである。マイコン20は、その動作プログラムに従ってディジタルカメラの各部を統括制御する。なお、ROM9の代わりに書き換え可能な不揮発性メモリが使用されてもよい。
バッファメモリ10は、マイコン20が画像データへ各処理を施す際に、その画像データを一時的に保存するメモリである。これによって、連続して実行される2つの処理の速度差が補償される。
メモリ制御回路11には、カードメモリなどの記憶媒体12が着脱される。メモリ制御回路11は、装着中の記憶媒体12に対し、マイコン20から指定された画像ファイルを書き込んだり、その記憶媒体12から、マイコン20から指定された画像ファイルを読み出したりする。
モニタ制御回路14は、LCD等のモニタ15に接続されており、マイコン20から与えられる表示用の画像データをモニタ15へ送出することにより、そのモニタ15へ画像を表示する。
操作検出回路13には、電源スイッチ13a、レリーズスイッチ13b、モード切替スイッチ13c、ズームスイッチ13d、マルチセレクタ13eなどの各種の操作スイッチが接続されており、これらの操作スイッチの少なくとも1つが操作されると、操作検出回路13は、その操作内容を示す信号をマイコン20へ与える。
このうち、モード切替スイッチ13cは、ユーザがディジタルカメラのモード(マイコン20の動作モード)を撮影モード、再生モード、設定モードなどの各種のモードの間で切り替えるためのスイッチである。
また、ズームスイッチ13dは、ユーザが撮影レンズ1の画角を変更するためのスイッチである。このズームスイッチ13dが操作されると、マイコン20は、ズーム制御回路5へ制御信号を与え、ズームスイッチ13dの操作量に応じた量だけ撮影レンズ1の画角を変更する。
また、マルチセレクタ13eは、ユーザが各種の選択を行うためのスイッチである。本実施形態ではこのマルチセレクタ13eにより、ユーザがオートフレーミング機能のオン/オフの指示をマイコン20へ入力することもできる。オートフレーミング機能をオンする指示が入力されると、マイコン20は、マニュアルフラグをオフし、オートフレーミング機能をオフする指示が入力されると、マイコン20は、マニュアルフラグをオンする。
次に、ディジタルカメラが撮影モードに設定されているときのマイコン20の動作を詳しく説明する。図2は、撮影モードにおけるマイコン20の動作フローチャートである。図2中のステップS6がオートフレーミング処理である。このステップS6の詳細は後述することとし、先ずは他の各ステップを順に説明する。
ステップS1:マイコン20は、システムの初期化を行うと共に、ズーム制御回路5へ指示を与えて撮影レンズ1の画角を最広角に設定させる。なお、マイコン20の内部メモリの所定領域には、トリミング処理(ステップS14,19)で使用すべきトリミング枠の情報(トリミング枠の形状、サイズ、配置位置、配置角度であり、それらは撮像素子6の有効領域上の座標で規定されるものとする。)が書き込まれており、その形状、サイズ、配置位置、配置角度は、システムの初期化により、撮像素子6の有効領域の外枠と同じに設定される。
ステップS2:マイコン20は、シャッタ制御回路3へ指示を与えてシャッタ1dを開放すると共に、撮像制御回路7及び信号処理回路8をドラフトモード(間引き読み出しモード)で駆動し始める。このとき撮像素子6からはスルー画像の画像データ(以下、単に「スルー画像」という。)が連続的に出力され、そのスルー画像は信号処理回路8においてリアルタイムで処理される。また、スルー画像の出力中、マイコン20は、そのスルー画像へリアルタイムで所定の画像処理(デベイヤ処理、階調変換処理、輪郭強調処理、ホワイトバランス処理など)及びリサイズ処理を施して表示用の画像データを得ると、それをモニタ制御回路14へ順次送出する。これによって、モニタ15に対するライブビュー表示が開始される。なお、ライブビュー表示の期間中にマイコン20は、撮影に関する情報(アイコンなど)をオンスクリーン機能によってスルー画像上に重畳させることもできる。
ステップS3:マイコン20は、信号処理回路8から出力されるスルー画像に基づき自動ホワイトバランス制御(AWB)、自動焦点制御(AF)、自動露出制御(AE)を行うと共に、画像処理後のスルー画像に対し顔検出処理、風景判定処理を順に施す。
このうち自動ホワイトバランス制御(AWB)は、信号処理回路8から出力されるスルー画像から色の評価値を抽出し、その評価値が適正値に保たれるようにホワイトバランス処理の制御量を調整するものである。
また、自動焦点制御(AF)は、信号処理回路8から出力されるスルー画像からコントラストの評価値を抽出すると共に、フォーカス制御回路2へ制御信号を与え、その評価値が極大となるようにフォーカシングレンズ1bの位置を調節するものである。
また、自動露出制御(AE)は、信号処理回路8から出力されるスルー画像から輝度の評価値を抽出すると共に、絞り制御回路4及び撮像制御回路7へ制御信号を与え、その評価値が適正値となるようにディジタルカメラの露出を調節するものである。
また、顔検出処理は、画像処理後のスルー画像中に存在する顔領域を公知のアルゴリズムにより検出する処理である。例えば、マイコン20は、スルー画像上の正方形状の部分領域から特徴量を抽出し、その特徴量を予め用意された顔の特徴量と比較し、両者の相関が一定の閾値を超えるときに、その部分領域を顔領域と判定する。この判定を、部分領域のサイズ、配置位置、配置角度の組み合わせを様々に変更しながら繰り返せば、スルー画像中に存在する様々な顔領域が検出される。なお、顔検出処理を連続して行う場合は、検出結果の前回値を利用して各回の検出を行えば、検出に係る処理の演算量を低減することができる。
ここで、本実施形態の顔検出処理では、図3(A)に示すとおり、検出された顔領域AFの配置方向DFと、その顔領域AFの中心位置CFとが算出される。但し、図3(B)に示すように顔領域AFが1つのスルー画像中に複数個存在した場合には、複数の顔領域を代表する1つの顔領域の配置方向が配置方向DFとして算出される。代表する1つの顔領域は、例えばサイズが最大の顔領域、中心からの距離が最小の顔領域、予め登録された特定の人物と同じ特徴を有した顔領域などである。また、顔領域AFが1つのスルー画像中に複数個存在した場合は、複数の顔領域AFの重心位置が中心位置CFとして算出される。以下、顔領域AFが1つである場合の中心位置を、顔領域AFが複数である場合と同様に「重心位置」と称す。また、顔領域AFに関するこれらの情報(配置方向DF、重心位置CF)は、前述したトリミング枠の情報と同様に、撮像素子6の有効領域上の座標で規定されるものとする。
風景判定処理は、画像処理後のスルー画像が風景画像(海、山、空、湖、大地、建物などの風景を背景とした画像)であるか否かを判定する処理である。この判定は、公知のアルゴリズムによって行われる。例えば、マイコン20は、スルー画像の非顔領域から特徴量を抽出し、その特徴量を予め用意された風景画像の特徴量と比較し、両者の相関が一定の閾値を超えるときに、そのスルー画像を風景画像と判定する。
ステップS4:マイコン20は、マニュアルフラグがオフされているか否かを判別する。マニュアルフラグがオフされていればオートフレーミング機能がオンされているとみなしてステップS5へ移行し、マニュアルフラグがオンされていればオートフレーミング機能がオフされているとみなしてステップS13へ移行する。
ステップS5:マイコン20は、直前のステップS3において顔領域AFが検出されたか否かを判別する。顔領域AFが1つでも検出された場合はステップS6へ移行し、顔領域AFが1つも検出されなかった場合はステップS13へ移行する。
ステップS6:マイコン20は、オートフレーミング処理(後述)を実行する。このオートフレーミング処理により撮影レンズ1の画角は自動的に変更され、トリミング処理(ステップS14,S19)で使用すべきトリミング枠の形状、サイズ、配置位置、配置角度が決定される。
ステップS7:マイコン20は、ステップS6で決定されたトリミング枠の形状、サイズ、配置位置、配置角度の情報を、内部メモリの所定領域へ上書きする。これによって、トリミング処理で使用すべきトリミング枠が設定される。
ステップS8:マイコン20は、ズームスイッチ13dが操作されたか否かを判別する。操作されたならばステップS9へ移行し、操作されなければステップS10へ移行する。
ステップS9:マイコン20は、マニュアルフラグをオンしてからステップS13へ移行する。したがって、ユーザがオートフレーミング機能をオンしていたとしても、撮影モード中にユーザがズームスイッチ13dを操作すると、その時点で自動的にオートフレーミング機能がオフされる。
ステップS10:マイコン20は、画像処理後のスルー画像に対し改めて顔検出処理を施し、そのスルー画像中に存在する顔領域AFの検出を行う。この顔検出処理は、ステップS3における顔検出処理と同じアルゴリズムで行われる。
ステップS11:マイコン20は、直前のステップS10で検出された顔領域AFの個数がオートフレーミング処理(ステップS6)の直前のステップS3で検出された顔領域AFの個数から変化したか否かを判別する。顔領域AFの個数が変化した場合には被写界中の人物に変化があったとみなしてステップS12へ移行し、顔領域AFの個数が変化していない場合には被写界中の人物に変化がなかったとみなしてステップS14へ移行する。
ステップS12:マイコン20は、ズーム制御回路5へ指示を与え、撮影レンズ1の画角を最広角に設定してからステップS13へ移行する。したがって、オートフレーミング処理(ステップS6)の前後で顔領域AFの数が変化した場合は、オートフレーミング処理(ステップS6)の結果に拘わらず撮影レンズ1の画角は最広角となる。
ステップS13:マイコン20は、内部メモリの所定領域に書き込まれたトリミング枠の情報を初期値(撮像素子6の有効領域の外枠と同じ)に戻してからステップS14へ移行する。これによって、トリミング枠は解除される。
ステップS14:マイコン20は、内部メモリの所定領域を参照し、現時点で設定中のトリミング枠を認識すると、信号処理回路8から出力されるスルー画像に対し、そのトリミング枠でトリミング処理を施す。トリミング処理後のスルー画像は、画像処理及びリサイズ処理が施されてからモニタ制御回路14へ送出される。したがって、本ステップによればトリミング処理後のスルー画像がライブビュー表示されることになる。
ステップS15:マイコン20は、レリーズスイッチ13bが半押しされたか否かを判別する。半押しされた場合にはステップS16へ移行し、半押しされない場合にはステップS22へ移行する。
ステップS16:マイコン20は、トリミング処理後のスルー画像に基づき自動ホワイトバランス制御(AWB)、自動焦点調節制御(AF)、自動露出制御(AE)を実行する。なお、本ステップで設定されたホワイトバランス処理の制御量、フォーカシングレンズ1bの位置、及びディジタルカメラの露出は、レリーズスイッチ13bの半押しが解除されない限り保持(ロック)され続ける。
ステップS17:マイコン20は、レリーズスイッチ13bが全押しされたか否かを判別する。全押しされた場合にはステップS18へ移行し、全押しされていない場合にはステップS21へ移行する。
ステップS18:マイコン20は、ドラフトモードで駆動中の撮像制御回路7及び信号処理回路8を1回だけフレームモード(全画素読み出しモード)で駆動する。このとき撮像素子6からは本画像の画像データ(以下、単に「本画像」という。)が1フレーム分出力され、その本画像は信号処理回路8において処理される。その本画像には所定の画像処理(デベイヤ処理、階調変換処理、輪郭強調処理、ホワイトバランス処理など)が施される。
ステップS19:マイコン20は、内部メモリの所定領域を参照し、現時点で設定中のトリミング枠を認識すると、画像処理後の本画像に対し、そのトリミング枠でトリミング処理を施す。トリミング処理後の本画像は、マイコン20においてリサイズ処理された後、モニタ制御回路14へ送出される。これによってモニタ15には、トリミング処理後の本画像がアフタービュー表示される。
ステップS20:マイコン20は、トリミング処理後の本画像をバッファメモリ10に蓄積させつつ、その本画像へ圧縮処理を施す。さらに、マイコン20は、圧縮処理後の本画像を基に画像ファイルを作成し、その画像ファイルをメモリ制御回路11へ与えることにより記憶媒体12へ保存する。これによってトリミング処理後の本画像が保存される。その後、マイコン20はステップS3へ移行する。
なお、本ステップにおいて作成される画像ファイルは、例えば、Exif規格に準拠した画像ファイルである。その画像ファイルのヘッダには、本画像の撮影条件(露光時間、絞り値、ズーム位置など)の情報や、本画像のサムネイルデータなどが書き込まれる。因みに、サムネイルデータは、本画像をモニタ15へ表示するための表示用の画像データであって、ディジタルカメラが再生モードに設定されているときなどに使用されるものである。
ステップS21:マイコン20は、レリーズスイッチ13bの半押しが解除されたか否かを検出する。半押しが解除されない場合はステップS17へ移行し、半押しが解除された場合はステップS3へ移行する。
ステップS22:マイコン20は、電源スイッチ13aが操作されたか否かを判別する。操作された場合はステップS23へ移行し、操作されなかった場合はステップS3へ移行する。
ステップS23:マイコン20は、ディジタルカメラの電源をオフする。
次に、オートフレーミング処理(ステップS6)の詳細を説明する。図4は、オートフレーミング処理(ステップS6)におけるマイコン20の動作フローチャートである。図4の各ステップを順に説明する。
ステップS61:マイコン20は、直前のステップS3における風景判定処理でスルー画像が風景画像と判定されたか否かを判別し、風景画像と判定されなかった場合は更なる判定を行うべくステップS62へ移行し、風景画像と判定された場合は現在の撮影シーンの種類がフルショット撮影に適したものであるとみなしてステップS611へ移行する。
ステップS62:マイコン20は、直前のステップS3における顔検出処理で検出された顔領域AFの個数が「1」、「2」、「3以上」の何れであるかを判別し、「1」であった場合は現在の撮影シーンの種類がバストショット撮影に適したものであるとみなしてステップS63へ移行し、「2」であった場合は現在の撮影シーンの種類がウェストショット撮影に適したものであるとみなしてステップS67へ移行し、「3以上」であった場合は現在の撮影シーンの種類がフルショット撮影に適したものであるとみなしてステップS611へ移行する。
ステップS63:マイコン20は、フォーカス制御回路2の設定内容などに基づき撮影レンズ1の現在の撮影距離を認識すると、その撮影距離を予め用意された第1の算出式へ当てはめることにより、その撮影距離でバストショット撮影を行うのに必要な最適画角を算出する。なお、第1の算出式は、一般的な背丈の人物の像を、画角内(撮像素子6の有効領域内)にバストショットサイズで収めるための算出式である。
ステップS64:マイコン20は、ズーム制御回路5へ制御信号を与え、撮影レンズ1の画角を、ステップS63で算出された最適画角よりも広角側に設定する。以下、設定された画角を「設定画角」と称す。このとき、画角内(撮像素子6の有効領域内)に形成される人物像のサイズは、例えば図5(1)→図5(2)に示すとおりに変化する。
さらに、マイコン20は、図5(2)に示すとおり、設定画角内(撮像素子6の有効領域内)に暫定トリミング枠S0を規定する。その暫定トリミング枠S0の形状、配置位置、配置角度は、撮像素子6の有効領域の外枠と同じであるが、暫定トリミング枠S0のサイズは、有効領域の外枠よりも小さく、ステップS63で算出された最適画角に相当する。なお、本ステップの設定画角は、暫定トリミング枠S0のサイズが撮影距離に拘わらず所定値となるように選定されているものとする。
ステップS65:マイコン20は、直前のステップS3で検出された配置方向DFが暫定トリミング枠S0の長手方向に対して成す角度θ1と、その配置方向DFが暫定トリミング枠S0の短手方向に対して成す角度θ2とをそれぞれ算出する。続いてマイコン20は、角度θ1の絶対値|θ1|と角度θ2の絶対値|θ2|とを比較し、|θ1|の方が小さかった場合は、現在の撮影を縦位置撮影とみなして角度θ1がゼロとなるように暫定トリミング枠S0を回転させる。一方、|θ2|の方が小さかった場合は、現在の撮影を横位置撮影とみなして角度θ2ゼロとなるように暫定トリミング枠S0を回転させる。例えば、|θ2|の方が小さかった場合、暫定トリミング枠S0は、図5(2)→図5(3)のとおり回転し、暫定トリミング枠S0の短手方向が配置方向DFに一致する。
ステップS66:マイコン20は、直前のステップS3で検出された配置方向DFに基づき暫定トリミング枠S0の方向性(4つの枠線の中の何れの枠線が人物像の上側に対応しているか)を認識する。そして、マイコン20は、顔領域AF(ここでは1つの顔領域AF)の重心座標CFが、暫定トリミング枠S0の上半分の領域の中央(又は中央よりも所定割合だけ下側)に配置されるように、暫定トリミング枠S0をシフトさせる。これによって、暫定トリミング枠S0は、例えば図5(3)→図5(4)のとおり変位する。そして、マイコン20は、トリミング処理で使用すべきトリミング枠の形状、サイズ、配置位置、配置角度を、現時点における暫定トリミング枠S0の形状、サイズ、配置位置、配置角度と同じに決定する。そのトリミング枠でトリミング処理を行えば、図5(5)に示すとおり人物像をバストショットで切り出すことができる。
ステップS67:マイコン20は、フォーカス制御回路2の設定内容などに基づき撮影レンズ1の現在の撮影距離を認識すると、その撮影距離を予め用意された第2の算出式へ当てはめることにより、その撮影距離でウェストショット撮影を行うのに必要な最適画角を算出する。なお、第2の算出式は、一般的な背丈の人物の像を、画角内(撮像素子6の有効領域内)にウェストショットで収めるための算出式である。
ステップS68:マイコン20は、ズーム制御回路5へ制御信号を与え、撮影レンズ1の画角を、ステップS67で算出された最適画角よりも広角側に設定する。以下、設定された画角を「設定画角」と称す。このとき、画角内(撮像素子6の有効領域内)に形成される人物像のサイズは、例えば図6(1)→図6(2)に示すとおりに変化する。
さらに、マイコン20は、図6(2)に示すとおり、設定画角内(撮像素子6の有効領域内)に暫定トリミング枠S0を規定する。その暫定トリミング枠S0の形状、配置位置、配置角度は、撮像素子6の有効領域の外枠と同じであるが、暫定トリミング枠S0のサイズは、有効領域の外枠よりも小さく、ステップS67で算出された最適画角に相当する。なお、本ステップの設定画角は、暫定トリミング枠S0のサイズがステップS64におけるそれと同じになるように選定されているものとする。
ステップS69:マイコン20は、直前のステップS3で検出された配置方向DFが暫定トリミング枠S0の長手方向に対して成す角度θ1と、その配置方向DFが暫定トリミング枠S0の短手方向に対して成す角度θ2とをそれぞれ算出する。続いてマイコン20は、角度θ1の絶対値|θ1|と角度θ2の絶対値|θ2|とを比較し、|θ1|の方が小さかった場合は、現在の撮影を縦位置撮影とみなして角度θ1がゼロとなるように暫定トリミング枠S0を回転させる。一方、|θ2|の方が小さかった場合は、現在の撮影を横位置撮影とみなして角度θ2ゼロとなるように暫定トリミング枠S0を回転させる。例えば、|θ2|の方が小さかった場合、暫定トリミング枠S0は、図6(2)→図6(3)のとおり回転し、暫定トリミング枠S0の短手方向が配置方向DFに一致する。
ステップS610:マイコン20は、直前のステップS3で検出された配置方向DFに基づき暫定トリミング枠S0の方向性(4つの枠線の中の何れの枠線が人物像の上側に対応しているか)を認識する。そして、マイコン20は、顔領域AF(ここでは2つの顔領域AF)の重心座標CFが、暫定トリミング枠S0の上半分の領域の中央(又は中央よりも所定割合だけ下側)に配置されるように、暫定トリミング枠S0をシフトさせる。これによって、暫定トリミング枠S0は、例えば図6(3)→図6(4)のとおり変位する。そして、マイコン20は、トリミング処理で使用すべきトリミング枠の形状、サイズ、配置位置、配置角度を、現時点における暫定トリミング枠S0の形状、サイズ、配置位置、配置角度と同じに決定する。そのトリミング枠でトリミング処理を行えば、図6(5)に示すとおり、人物像をバストショットで切り出すことができる。
ステップS611:マイコン20は、フォーカス制御回路2の設定内容などに基づき撮影レンズ1の現在の撮影距離を認識すると、その撮影距離を予め用意された第3の算出式へ当てはめることにより、その撮影距離でフルショット撮影を行うのに必要な最適画角を算出する。なお、第3の算出式は、一般的な背丈の人物の像を、画角内(撮像素子6の有効領域内)にフルトショットで収めるための算出式である。
ステップS612:マイコン20は、ズーム制御回路5へ制御信号を与え、撮影レンズ1の画角を、ステップS611で算出された最適画角よりも広角側に設定する。以下、設定された画角を「設定画角」と称す。このとき、画角内(撮像素子6の有効領域内)に形成される人物像のサイズは、例えば図7(1)→図7(2)に示すとおりに変化する。
さらに、マイコン20は、図7(2)に示すとおり、設定画角内(撮像素子6の有効領域内)に暫定トリミング枠S0を規定する。その暫定トリミング枠S0の形状、配置位置、配置角度は、撮像素子6の有効領域の外枠と同じであるが、暫定トリミング枠S0のサイズは、有効領域の外枠よりも小さく、ステップS611で算出された最適画角に相当する。なお、本ステップの設定画角は、暫定トリミング枠S0のサイズがステップS64におけるそれと同じになるように選定されているものとする。
ステップS613:マイコン20は、直前のステップS3で検出された配置方向DFが暫定トリミング枠S0の長手方向に対して成す角度θ1と、その配置方向DFが暫定トリミング枠S0の短手方向に対して成す角度θ2とをそれぞれ算出する。続いてマイコン20は、角度θ1の絶対値|θ1|と角度θ2の絶対値|θ2|とを比較し、|θ1|の方が小さかった場合は、現在の撮影を縦位置撮影とみなして角度θ1がゼロとなるように暫定トリミング枠S0を回転させる。一方、|θ2|の方が小さかった場合は、現在の撮影を横位置撮影とみなして角度θ2ゼロとなるように暫定トリミング枠S0を回転させる。例えば、|θ1|の方が小さかった場合、暫定トリミング枠S0は、図7(2)→図7(3)のとおり回転し、暫定トリミング枠S0の長手方向が配置方向DFに一致する。
ステップS614:マイコン20は、直前のステップS3で検出された配置方向DFに基づき暫定トリミング枠S0の方向性(4つの枠線の中の何れの枠線が人物像の上側に対応しているか)を認識する。そして、マイコン20は、顔領域AF(ここでは1又は複数の顔領域AF)の重心座標CFが、暫定トリミング枠S0の上半分の領域の中央(又は中央よりも所定割合だけ下側)に配置されるように、暫定トリミング枠S0をシフトさせる。これによって、暫定トリミング枠S0は、例えば図7(3)→図7(4)のとおり変位する。そして、マイコン20は、トリミング処理で使用すべきトリミング枠の形状、サイズ、配置位置、配置角度を、現時点における暫定トリミング枠S0の形状、サイズ、配置位置、配置角度と同じに決定する。そのトリミング枠でトリミング処理を行えば、図7(5)に示すとおり、人物像をフルショットで切り出すことができる。
以上、本実施形態のマイコン20は、オートズームの際に撮影レンズ1の画角を最適画角よりも広角側に設定するので(ステップS64,S68,S612)、ディジタルカメラの姿勢が多少悪くとも、画角内(撮像素子6の有効領域)から被写体の主要部が外れる可能性は低い(図5(2),図6(2),図7(2)参照)。
そして、本実施形態のマイコン20は、この設定下で取得される本画像を適切な配置位置及び適切な配置角度のトリミング枠でトリミング処理することにより(ステップS65,S66,S69,S610,S613,S614)、フレーミングの良好な本画像を取得する(図5(5),図6(5),図7(5)参照)。
したがって、本実施形態のディジタルカメラによれば、撮影者が注意を払わなくとも良好なフレーミングで撮影を行うことができる。
また、本実施形態のマイコン20は、スルー画像から顔領域が1つも検出されなかった場合(ステップS5NO)にはオートフレーミング処理(ステップS6)を省略し、トリミング枠を解除する(ステップS13)。したがって、本実施形態のディジタルカメラは効率的である。
また、本実施形態のマイコン20は、トリミング処理後のスルー画像をライブビュー表示するので(ステップS14)、撮影者は、トリミング処理後に残存する範囲(つまり撮影範囲)を最大のサイズで目視しながら撮影を行うことができる。
また、本実施形態のマイコン20は、撮影シーンの種類を判別してオートズームにおける人物像の目標サイズを自動的に切り替えるので(ステップS61,S62,S63,S67,S611)、フレーミングの良好な画像を、撮影シーンの種類に依らず確実に得ることができる。
また、本実施形態のマイコン20は、撮影シーンの種類を自動的に判別するので(ステップS61,S62)、ユーザが撮影シーンの種類をディジタルカメラへ入力する手間が省ける。
また、本実施形態のマイコン20は、たとえオートフレーミング機能がオンされていたとしても、ズームスイッチ13dが操作された場合には(ステップS8YES)、オートフレーミング機能を即座に解除するので(ステップS9)、ユーザはワンタッチでマニュアルフレーミングを開始することができる。
また、本実施形態のマイコン20は、オートフレーミング処理(ステップS6)の前後で人物の数が変化した場合には(ステップS11YES)、そのオートフレーミング処理(ステップS6)の結果に拘わらず、撮影レンズ1の画角を最広角にセットしてから(ステップS12)、オートフレーミング処理を再実行できる状態へ移行するので、オートフレーミングに失敗する確率は低い。
(その他)
なお、本実施形態のマイコン20は、トリミング処理の対象を、スルー画像と本画像との双方としたが(ステップS14,S19)、本画像のみに制限してもよい。
また、本実施形態のマイコン20は、オートフレーミング処理(ステップS6)の実行をスルー画像の取得期間中に繰り返したが、レリーズスイッチ13bが半押しされたタイミング(ステップS15YES)のみに制限してもよい。
また、本実施形態のマイコン20は、撮影シーンの種類の判別を、風景判定の結果と顔検出処理の結果とに基づき行ったが(ステップS61,S62)、顔検出処理の結果と撮影距離とに基づき行ってもよい。また、撮影シーンの種類の判別を、風景判定の結果と顔検出処理の結果と撮影距離とに基づき行ってもよい。
また、本実施形態のマイコン20は、撮影シーンの種類の判別を自動的に行ったが、ディジタルカメラにシーンモードの切り替えスイッチが設けられている場合は、そのスイッチの切り替え位置に基づき行ってもよい。
また、本実施形態のマイコン20は、トリミング処理後の本画像の情報を保存したが、トリミング処理前の本画像の情報と、その本画像に関して設定されたトリミング枠の情報(トリミング枠の形状、サイズ、配置位置、配置角度など)とをそれぞれ保存してもよい。その場合、トリミング枠の情報がメタデータとして本画像の画像ファイルのヘッダに書き込まれる。
このように本画像の情報とトリミング枠の情報とをそれぞれ保存しておけば、トリミング処理をユーザの所望するタイミングで実行することが可能となる。例えば、マイコン20は、ディジタルカメラが再生モード(又は編集モード)に設定されている期間に以下のとおり動作してもよい。
ディジタルカメラが再生モード(又は編集モード)に設定されると、マイコン20は、記憶媒体12に記録されている画像ファイルのヘッダからサムネイルデータを読み出し、それをモニタ制御回路14へ送出する。これによって、過去の撮影で取得された本画像がモニタ15へ再生表示される。この状態でユーザからトリミング処理の指示が入力されると、マイコン20は、その画像ファイルから本画像を読み出し、その本画像へ伸張処理を施してからバッファメモリ10へ蓄積させる。その一方でマイコン20は、その画像ファイルのヘッダを参照し、トリミング処理で使用すべきトリミング枠の形状、サイズ、配置位置、配置角度を認識する。そして、マイコン20は、そのトリミング枠で伸張処理後の本画像へトリミング処理を施す。さらに、マイコン20は、トリミング処理後の本画像へ圧縮処理を施し、その本画像の画像ファイルを作成すると、それをメモリ制御回路11へ与えて記憶媒体12へ保存する。
また、本画像の情報とトリミング枠の情報とをそれぞれ保存しておけば、トリミング処理をディジタルカメラ以外の画像処理装置(プリンタ、画像ストレージャ)や、コンピュータの画像処理ソフトウエアなどに実行させることも可能である。
また、本実施形態のマイコン20は、顔検出処理の結果を、トリミング処理のみに使用したが、自動焦点制御(AF)、特に、レリーズスイッチ13bが半押しされた時点における自動焦点制御(AF)に使用してもよい。その場合、マイコン20は、コントラストの評価値の抽出元(AFエリア)を、顔検出処理で検出された1又は複数の顔領域のみに制限すればよい。
また、本実施形態のマイコン20は、顔検出処理の結果を、トリミング処理のみに使用したが、自動露出制御(AE)、特に、レリーズスイッチ13bが半押しされた時点における自動露出制御(AE)に使用してもよい。その場合、マイコン20は、輝度の評価値の抽出元(測光エリア)を、顔検出処理で検出された1又は複数の顔領域のみに制限すればよい。
また、本実施形態のマイコン20は、人物像の配置方向を検知するためにスルー画像中の顔領域の配置方向DFを検出したが、ディジタルカメラに角度センサ又は地軸センサなどの姿勢センサが搭載されている場合は、姿勢センサが指し示す鉛直方向を人物像の配置方向とみなしてもよい。
また、本実施形態のマイコン20は、オートフレーミング処理が有効であるときのトリミング枠のサイズを所定サイズとしたが、ユーザが予め指定したサイズとしてもよい。
また、本実施形態のマイコン20は、オートフレーミング処理の内容に拘わらず、トリミング枠のサイズを一定としたが、オートフレーミング処理の内容によってトリミング枠のサイズが変化してもよい。但し、その場合は、トリミング処理後の保存される本画像のサイズがオートフレーミング処理の内容に拘わらず一定となるよう、トリミング処理後の本画像へリサイズ処理を施すことが望ましい。
また、本実施形態のディジタルカメラでは、ディジタルカメラの主たる処理の全てをマイコン20が実行したが、マイコン20が実行した処理の一部をマイコン20以外の回路に実行させてもよい。
ディジタルカメラのブロック図である。 オート撮影モードにおけるマイコン20の動作フローチャートである。 顔検出処理を説明する図である。 オートフレーミング処理(ステップS6)におけるマイコン20の動作フローチャートである。 バストショット撮影におけるマイコン20の動作を説明する図である。 ウェストショット撮影におけるマイコン20の動作を説明する図である。 フルショット撮影におけるマイコン20の動作を説明する図である。
符号の説明
1…撮影レンズ,6…撮像素子,8…信号処理回路,10…バッファメモリ,9…ROM,7…撮像制御回路,2…フォーカス制御回路,3…シャッタ制御回路,4…絞り制御回路,5…ズーム制御回路,14…モニタ制御回路,11…メモリ制御回路,13…操作検出回路,15…モニタ

Claims (12)

  1. 撮影光学系が人物像を目標サイズにするのに必要な最適画角を、その撮影光学系の撮影距離に基づき算出する画角算出手段と、
    前記撮影光学系の画角を前記最適画角より広角側に設定するズーム制御手段と、
    前記撮影光学系が前記設定下で生成する画像上で、前記最適画角に相当するサイズを有し、かつ前記人物像の配置角度と同じ角度で配置された矩形枠を、その画像のトリミング枠として算出する枠算出手段と、
    を備えたことを特徴とするディジタルカメラ。
  2. 請求項1に記載のディジタルカメラにおいて、
    前記枠算出手段は、
    前記撮影光学系が前記設定下で生成した画像中の顔領域の配置角度に基づき前記人物像の配置角度を検知する
    ことを特徴とするディジタルカメラ。
  3. 請求項1に記載のディジタルカメラにおいて、
    前記ディジタルカメラの姿勢を検出する姿勢センサが更に備えられ、
    前記枠算出手段は、
    前記姿勢センサの出力に基づき前記人物像の配置角度を検知する
    ことを特徴とするディジタルカメラ。
  4. 請求項1〜請求項3の何れか一項に記載のディジタルカメラにおいて、
    前記撮影光学系が前記設定下で生成した画像を、前記枠算出手段が算出したトリミング枠でトリミングするトリミング手段を更に備えた
    ことを特徴とするディジタルカメラ。
  5. 請求項4に記載のディジタルカメラにおいて、
    前記画角算出手段、前記制御手段、前記枠算出手段、前記トリミング手段は、
    前記撮影光学系が保存用の静止画像を生成するときと、前記撮影光学系が表示用の動画像を生成するときとの双方において動作する
    ことを特徴とするディジタルカメラ。
  6. 請求項5に記載のディジタルカメラにおいて、
    前記撮影光学系が生成した表示用の動画像を表示することの可能な表示手段を更に備え、
    前記表示手段は、
    前記撮影光学系が表示用の動画像を生成する期間に、その動画像の代わりに前記トリミング手段がトリミングした後の前記動画像を表示する
    ことを特徴とするディジタルカメラ。
  7. 請求項1〜請求項6の何れか一項に記載のディジタルカメラにおいて、
    前記枠算出手段が算出したトリミング枠の情報を、前記撮影光学系が前記設定下で生成した画像に対応づけて記録する記録手段を更に備えた
    ことを特徴とするディジタルカメラ。
  8. 請求項1〜請求項7の何れか一項に記載のディジタルカメラにおいて、
    前記画角算出手段は、
    前記目標サイズを撮影シーンの種類に応じて切り替える
    ことを特徴とするディジタルカメラ。
  9. 請求項8に記載のディジタルカメラにおいて、
    前記画角算出手段は、
    前記撮影光学系が生成する画像中の顔領域の数に基づき撮影シーンの種類を検知する
    ことを特徴とするディジタルカメラ。
  10. 請求項1〜請求項9の何れか一項に記載のディジタルカメラにおいて、
    前記撮影光学系の画角をユーザが調節したときには、前記画角算出手段、前記制御手段、前記枠算出手段の動作を禁止する禁止手段を更に備えた
    ことを特徴とするディジタルカメラ。
  11. 請求項1〜請求項10の何れか一項に記載のディジタルカメラにおいて、
    前記人物像の状態が変化したときには、前記撮影光学系の画角を最広角に設定してから、前記画角算出手段、前記制御手段、前記枠算出手段を改めて動作させるリセット手段を更に備えた
    ことを特徴とするディジタルカメラ。
  12. 請求項11に記載のディジタルカメラにおいて、
    前記リセット手段は、
    前記撮影光学系が生成する画像中の顔領域の数の変化に基づき前記状態の変化を検知する
    ことを特徴とするディジタルカメラ。
JP2007286098A 2007-11-02 2007-11-02 ディジタルカメラ Expired - Fee Related JP5071054B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007286098A JP5071054B2 (ja) 2007-11-02 2007-11-02 ディジタルカメラ

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007286098A JP5071054B2 (ja) 2007-11-02 2007-11-02 ディジタルカメラ

Publications (2)

Publication Number Publication Date
JP2009117960A true JP2009117960A (ja) 2009-05-28
JP5071054B2 JP5071054B2 (ja) 2012-11-14

Family

ID=40784633

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007286098A Expired - Fee Related JP5071054B2 (ja) 2007-11-02 2007-11-02 ディジタルカメラ

Country Status (1)

Country Link
JP (1) JP5071054B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013258748A (ja) * 2013-08-07 2013-12-26 Canon Inc 撮像装置
US10652473B2 (en) 2017-07-28 2020-05-12 Canon Kabushiki Kaisha Zoom control device, zoom control method, control program, and imaging apparatus equipped with zoom control device
CN115272483A (zh) * 2022-07-22 2022-11-01 北京城市网邻信息技术有限公司 一种图像生成方法、装置、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06217187A (ja) * 1992-10-14 1994-08-05 Mitsubishi Electric Corp 撮像装置,動きベクトル検出装置及び画像揺れ補正装置
JPH10170991A (ja) * 1996-12-06 1998-06-26 Samsung Aerospace Ind Ltd ポートレイトの撮影装置およびその方法
JP2005286940A (ja) * 2004-03-31 2005-10-13 Fuji Photo Film Co Ltd ディジタル・スチル・カメラおよびその制御方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06217187A (ja) * 1992-10-14 1994-08-05 Mitsubishi Electric Corp 撮像装置,動きベクトル検出装置及び画像揺れ補正装置
JPH10170991A (ja) * 1996-12-06 1998-06-26 Samsung Aerospace Ind Ltd ポートレイトの撮影装置およびその方法
JP2005286940A (ja) * 2004-03-31 2005-10-13 Fuji Photo Film Co Ltd ディジタル・スチル・カメラおよびその制御方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013258748A (ja) * 2013-08-07 2013-12-26 Canon Inc 撮像装置
US10652473B2 (en) 2017-07-28 2020-05-12 Canon Kabushiki Kaisha Zoom control device, zoom control method, control program, and imaging apparatus equipped with zoom control device
US11128805B2 (en) 2017-07-28 2021-09-21 Canon Kabushiki Kaisha Zoom control device, zoom control method, control program, and imaging apparatus equipped with zoom control device
CN115272483A (zh) * 2022-07-22 2022-11-01 北京城市网邻信息技术有限公司 一种图像生成方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
JP5071054B2 (ja) 2012-11-14

Similar Documents

Publication Publication Date Title
JP4761146B2 (ja) 撮像装置及びそのプログラム
JP4671133B2 (ja) 画像処理装置
JP5046788B2 (ja) 撮像装置及びその制御方法
KR101342477B1 (ko) 동영상을 촬영하는 촬상 장치, 및 촬상 처리 방법
JP4135100B2 (ja) 撮影装置
US7668451B2 (en) System for and method of taking image
JP4957943B2 (ja) 撮像装置及びそのプログラム
TWI514847B (zh) 影像處理裝置、影像處理方法、及記錄媒體
JP5228354B2 (ja) ディジタルカメラ
JP2013013050A (ja) 撮像装置及びこの撮像装置を用いた表示方法
JP2009065577A (ja) 撮像装置および撮像方法
US9055212B2 (en) Imaging system, image processing method, and image processing program recording medium using framing information to capture image actually intended by user
US7796163B2 (en) System for and method of taking image based on objective body in a taken image
JP2014068081A (ja) 撮像装置及びその制御方法、プログラム、並びに記憶媒体
JP2007225763A (ja) 撮像装置および撮像方法、並びにプログラム
JP5071054B2 (ja) ディジタルカメラ
JP4645413B2 (ja) 撮像装置
JP5217843B2 (ja) 構図選択装置、構図選択方法及びプログラム
JP2007324976A (ja) デジタルカメラ
JP2018097380A (ja) 撮像装置及びその制御方法
JP4368783B2 (ja) 撮影装置
JP2009033386A (ja) 撮影装置及び撮影方法
JP2014064061A (ja) 撮像装置及びその制御方法
JP4888829B2 (ja) 動画処理装置、動画撮影装置および動画撮影プログラム
JP2010074415A (ja) 撮像装置、画像表示方法および画像表示プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20101027

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120724

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120806

R150 Certificate of patent or registration of utility model

Ref document number: 5071054

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150831

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150831

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees