JP2012173531A - 撮像装置、およびフォーカス制御方法、並びにプログラム - Google Patents

撮像装置、およびフォーカス制御方法、並びにプログラム Download PDF

Info

Publication number
JP2012173531A
JP2012173531A JP2011035888A JP2011035888A JP2012173531A JP 2012173531 A JP2012173531 A JP 2012173531A JP 2011035888 A JP2011035888 A JP 2011035888A JP 2011035888 A JP2011035888 A JP 2011035888A JP 2012173531 A JP2012173531 A JP 2012173531A
Authority
JP
Japan
Prior art keywords
focus
focus lens
time
focus control
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
JP2011035888A
Other languages
English (en)
Other versions
JP2012173531A5 (ja
Inventor
Hiroaki Yamaguchi
浩章 山口
Toru Shiono
徹 塩野
Shinichi Fujii
真一 藤井
Junko Nagahata
純子 長畑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2011035888A priority Critical patent/JP2012173531A/ja
Priority to CN2012100182918A priority patent/CN102645818A/zh
Priority to US13/359,929 priority patent/US20120212661A1/en
Publication of JP2012173531A publication Critical patent/JP2012173531A/ja
Publication of JP2012173531A5 publication Critical patent/JP2012173531A5/ja
Ceased legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • G02B7/36Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • G02B7/38Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals measured at different points on the optical axis, e.g. focussing on two or more planes and comparing image data
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32Means for focusing
    • G03B13/34Power focusing
    • G03B13/36Autofocus systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/634Warning indications
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635Region indicators; Field of view indicators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/672Focus control based on electronic image sensor signals based on the phase difference signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/675Focus control based on electronic image sensor signals comprising setting of focusing regions

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)
  • Focusing (AREA)
  • Lens Barrels (AREA)
  • Automatic Focus Adjustment (AREA)

Abstract

【課題】フォーカスレンズの駆動速度を変更可能としたフォーカス制御を実現する装置、方法を提供する。
【解決手段】表示部の表示画像の画像領域の選択情報を入力し、選択画像領域に含まれる被写体を合焦対象としたフォーカス制御を実行するフォーカス制御部を有し、フォーカス制御部は、ユーザーの操作情報に基づいてフォーカスレンズの駆動速度を決定し、決定したフォーカスレンズ駆動速度でフォーカスレンズを移動させる。例えば、表示部に対するユーザーのなぞり時間やなぞり量、あるいはタッチ継続時間などを計測し、これらの計測情報に応じてフォーカスレンズの駆動速度を決定し、決定したフォーカスレンズ駆動速度でフォーカスレンズを移動させる。
【選択図】図11

Description

本発明は、撮像装置、およびフォーカス制御方法、並びにプログラムに関する。さらに詳細には、被写体に対する高度なフォーカス制御を行う撮像装置、およびフォーカス制御方法、並びにプログラムに関する。
映画やドラマの1シーンで、遠くの人や物にピントが合っていて近くの人や物がボケている状態からピントを移動してボケていた近くの人や物が鮮明にみえるようになるといったフォーカシングに意味がある印象深い映像を見ることがある。
このような映像は、被写界深度を浅く設定し、マニュアルフォーカスでフォーカスリングを回転させてフォーカスレンズを駆動させることで撮影できるが、ピントを合わせたい被写体の距離に応じたフォーカスレンズの合焦位置を把握して、その合焦位置までスムーズに且つ任意の時間をかけてフォーカスリングを回転させる高いフォーカシング技術が必要であり、一般ユーザーがマニュアル操作で撮影することは困難である。
特許文献1(特開2010−113291)は、コントラスト測定によるオートフォーカス(AF)に関する技術を開示している。コントラスト測定に基づくフォーカス制御は、レンズを介して取得された撮像データのコントラストの高低を判断してフォーカス位置を決定する手法である。
すなわち、ビデオカメラやスチルカメラにおいて取得される画像のコントラストの大小情報を用いてフォーカス制御を行う。例えば、撮像画像の特定領域をフォーカス制御用の信号取得領域(空間周波数抽出エリア)として設定する。この領域は測距枠(検波枠)と呼ばれる。この特定領域のコントラストが高いほどフォーカスが合っており、コントラストが低いとフォーカスがずれていると判定し、コントラストをより高くする位置にレンズを駆動して調整する方式である。
具体的には、例えば特定領域の高周波成分を抽出して、抽出した高周波成分の積分データを生成し、生成した高周波成分積分データに基づいてコントラストの高低を判定する方法が適用される。すなわち、フォーカスレンズを複数の位置へと動かしながら複数枚の画像を取得し、各画像の輝度信号に対しハイパスフィルタに代表されるフィルタ処理をすることにより、各画像のコントラスト強度を示すAF評価値を得る。このとき、あるフォーカス位置でピントが合った被写体が存在する場合、フォーカスレンズ位置に対するAF評価値は図1のような曲線を描く。この曲線のピーク位置P1、すなわち画像のコントラスト値が最大となる位置が合焦位置である。この方式では、デジタルカメラの撮像素子であるイメージャに写った画像の情報のみをもとに合焦動作を行うことができ、撮像光学系の他に測距光学系を持つ必要がないことから、今般デジタルカメラにおいて広く用いられている。
このコントラスト検出は撮像素子から読み出された画像信号を用いて行うため、撮像素子上のすべてのポイントでピントを合わせることができるが、図1に示すように最適な合焦ポイント11の前後の焦点位置12、13においても、コントラスト検出を実行する必要がある。従って処理時間を要し、撮影開始までの時間経過に伴い、撮影時点で被写体がぶれてしまうことがある。
また、上記のコントラスト検出方式の他、オートフォーカス制御処理として位相差検出方式が知られている。位相差検出方式は、撮影レンズの射出瞳を通過した光束を二分割し、二分割した光束を一組の焦点検出用センサー(位相差検出画素)によりそれぞれ受光する。この一組の焦点検出用センサ(位相差検出画素)各々の受光量に応じて出力される信号のズレ量に基づいてフォーカスレンズを調整するものである。
一組の焦点検出用センサ(位相差検出画素)をそれぞれ画素a、画素bとしたときの各画素a,bの出力例を図2に示す。画素aからの出力ラインと、画素bからの出力ラインは、所定量のシフト量Sfを持つ信号となる。
このシフト量Sfはフォーカスレンズのピント位置(フォーカス位置)からのずれ量、すなわちデフォーカス量に対応する。このシフト量Sfに応じてフォーカスレンズを調整することで被写体に対するピント合わせ(フォーカス制御)を行う方式が位相差検出方式である。この位相差検出方式では、光束の分割方向の相対的位置ズレ量を検出することにより撮影レンズのピント方向のズレ量を直接求めることができ、ぶれることなく高速なピント合わせが可能となる。
例えば特許文献2(特開2008−42404)には、動画撮影時の位相差検出によるオートフォーカスに関する技術が開示されている。この特許文献2は、静止画像を記録する静止画モードと動画像を記録する動画モードを備える撮像装置において、位相差検出方式で求められたデフォーカス量からレンズ駆動量を決定し、自動でレンズ駆動速度を決定する構成を開示している。
この特許文献2に開示された位相差検出方式を適用すれば、被写体に対してスムーズにピントを合わせることができる。しかし、ピント合わせに際して実行するレンズの移動速度が自動的に決定されてしまうため、撮影者の好みに応じた時間をかけたピント合わせ処理、すなわちフォーカス制御を行うことはできない。
特開2010−113291号公報 特開2008−42404号公報
本発明は、例えば上述の状況に鑑みてなされたものであり、例えば、特定の被写体に対するピント合わせ時間や速度をユーザーの好みに応じて自在に設定可能とした高度なフォーカス制御を行う撮像装置、およびフォーカス制御方法、並びにプログラムを提供することを目的とする。
本発明の第1の側面は、
撮像素子に撮り込まれた画像を表示する表示部と、
前記表示部の表示画像の画像領域の選択情報を入力し、選択画像領域に含まれる被写体を合焦対象としたフォーカス制御を実行するフォーカス制御部を有し、
前記フォーカス制御部は、
ユーザーの操作情報に基づいてフォーカスレンズの駆動速度を決定し、決定したフォーカスレンズ駆動速度でフォーカスレンズを移動させるフォーカス制御を行う撮像装置にある。
さらに、本発明の撮像装置の一実施態様において、前記フォーカス制御部は、前記表示部に表示された合焦済みの第1画像領域から次の合焦対象の第2画像領域へのユーザーによるなぞり時間に応じてフォーカスレンズの駆動時間を決定し、決定したフォーカスレンズの駆動時間をフォーカスレンズ移動時間とするフォーカス制御を行う。
さらに、本発明の撮像装置の一実施態様において、前記フォーカス制御部は、前記決定したフォーカスレンズの駆動時間で、前記第2画像領域の被写体に対する合焦処理が完了するようにフォーカスレンズの駆動速度を決定し、決定したフォーカスレンズ駆動速度でフォーカスレンズを移動させる。
さらに、本発明の撮像装置の一実施態様において、前記フォーカス制御部は、前記表示部に表示された次の合焦対象の画像領域に対するユーザーによるタッチ継続時間に応じてフォーカスレンズの駆動時間を決定し、決定したフォーカスレンズの駆動時間をフォーカスレンズ移動時間とするフォーカス制御を行う。
さらに、本発明の撮像装置の一実施態様において、前記フォーカス制御部は、前記決定したフォーカスレンズの駆動時間で、前記次の合焦対象の画像領域の被写体に対する合焦処理が完了するようにフォーカスレンズの駆動速度を決定し、決定したフォーカスレンズ駆動速度でフォーカスレンズを移動させる。
さらに、本発明の撮像装置の一実施態様において、前記フォーカス制御部は、前記表示部に表示された合焦済みの第1画像領域から次の合焦対象の第2画像領域へのユーザーによるなぞり時間と単位時間当たりのなぞり量に応じてフォーカスレンズの駆動時間と駆動速度を決定し、決定したフォーカスレンズの駆動時間と駆動速度に従ってフォーカスレンズを移動させるフォーカス制御を行う。
さらに、本発明の撮像装置の一実施態様において、前記フォーカス制御部は、前記決定したフォーカスレンズの駆動時間と駆動速度で、前記第2画像領域の被写体に対する合焦処理が完了するようにフォーカスレンズを移動させるフォーカス制御を行う。
さらに、本発明の撮像装置の一実施態様において、前記フォーカス制御部は、前記表示部に表示された合焦済みの第1画像領域から次の合焦対象の第2画像領域へのユーザーによるなぞり時間の総時間を複数に分割し、分割区分単位のなぞり量に応じてフォーカスレンズの分割区分単位の駆動速度を決定し、決定したフォーカスレンズの分割区分単位の駆動速度に従ってフォーカスレンズを移動させるフォーカス制御を行う。
さらに、本発明の撮像装置の一実施態様において、前記撮像素子は、位相差検出方式によるフォーカス制御を実行する位相差検出画素を有するAF領域を多数備えた構成であり、前記フォーカス制御部は、ユーザーの表示部に対する接触領域に対応するAF領域を合焦対象のAF領域として選択する。
さらに、本発明の第2の側面は、
撮像装置において実行するフォーカス制御方法であり、
フォーカス制御部が、表示部の表示画像の画像領域の選択情報を入力し、選択画像領域に含まれる被写体を合焦対象としたフォーカス制御を実行するフォーカス制御ステップを実行し、
前記フォーカス制御ステップは、
ユーザーの操作情報に基づいてフォーカスレンズの駆動速度を決定し、決定したフォーカスレンズ駆動速度でフォーカスレンズを移動させるフォーカス制御を行うステップであるフォーカス制御方法にある。
さらに、本発明の第3の側面は、
撮像装置においてフォーカス制御を実行させるプログラムであり、
フォーカス制御部に、表示部の表示画像の画像領域の選択情報を入力し、選択画像領域に含まれる被写体を合焦対象としたフォーカス制御を実行するフォーカス制御ステップを実行させ、
前記フォーカス制御ステップにおいて、
前記フォーカス制御部に、ユーザーの操作情報に基づくフォーカスレンズの駆動速度の決定処理と、決定したフォーカスレンズ駆動速度でのフォーカスレンズ移動処理によるフォーカス制御を行わせるプログラムにある。
なお、本発明のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して例えば記憶媒体によって提供されるプログラムである。このようなプログラムを情報処理装置やコンピュータ・システム上のプログラム実行部で実行することでプログラムに応じた処理が実現される。
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
本発明の一実施例によれば、フォーカスレンズの駆動速度を変更可能としたフォーカス制御を実現する装置、方法が実現される。具体的には、表示部の表示画像の画像領域の選択情報を入力し、選択画像領域に含まれる被写体を合焦対象としたフォーカス制御を実行するフォーカス制御部を有する。フォーカス制御部は、ユーザーの操作情報に基づいてフォーカスレンズの駆動速度を決定し、決定したフォーカスレンズ駆動速度でフォーカスレンズを移動させる。例えば、表示部に対するユーザーのなぞり時間やなぞり量、あるいはタッチ継続時間などを計測し、これらの計測情報に応じてフォーカスレンズの駆動速度を決定し、決定したフォーカスレンズ駆動速度でフォーカスレンズを移動させる。
これらの処理により、例えばフォーカスポイントの変更処理をゆっくり、あるいは早くするなどの映像効果を持つ動画再生が可能となる。
コントラスト検出に基づくフォーカス制御処理について説明する図である。 位相差検出に基づくフォーカス制御処理について説明する図である。 撮像装置の構成例について説明する図である。 撮像装置の撮像素子におけるAF領域について説明する図である。 位相差検出に基づくフォーカス制御処理について説明する図である。 位相差検出に基づくフォーカス制御処理について説明する図である。 位相差検出に基づくフォーカス制御処理について説明する図である。 撮像装置の実行する処理シーケンスについて説明するフローチャートを示す図である。 動画撮影時の表示部の表示画像について説明する図である。 撮像装置の実行するなぞり時間に基づくAF制御処理について説明する図である。 撮像装置の実行するなぞり時間に基づくAF制御処理について説明するフローチャートを示す図である。 撮像装置の実行するAF制御処理について説明するフローチャートを示す図である。 撮像装置の実行するフォーカスレンズの駆動速度制御を伴うAF制御処理について説明するフローチャートを示す図である。 撮像装置の実行するなぞり時間に基づくAF制御処理の具体例について駆動時間と駆動速度との対応関係を示して説明する図である。 撮像装置の実行するタッチON継続時間に基づくAF制御処理について説明する図である。 撮像装置の実行するタッチON継続時間に基づくAF制御処理について説明するフローチャートを示す図である。 撮像装置の実行するなぞり時間となぞり量に基づくAF制御処理について説明する図である。 撮像装置の実行するなぞり時間となぞり量に基づくAF制御処理について説明するフローチャートを示す図である。 撮像装置の実行するなぞり時間となぞり量に基づくAF制御処理について説明するフローチャートを示す図である。 撮像装置の実行するなぞり時間となぞり量に基づくAF制御処理の具体例について駆動時間と駆動速度との対応関係を示して説明する図である。
以下、図面を参照しながら本発明の撮像装置、およびフォーカス制御方法、並びにプログラムの詳細について説明する。説明は、以下の項目に従って行う。
1.撮像装置の構成例について
2.AF領域(オートフォーカス領域)の選択モードについて
3.撮像装置の実行するフォーカス制御シーケンスについて
4.AF領域選択とAF駆動時間設定の詳細実施例について
4−1.(実施例1)AF領域間のユーザーの指の移動時間に応じてフォーカスレンズの駆動速度を制御するAF制御
4−2.(実施例2)新たな合焦対象とするAF領域に対するユーザーの指の接触時間に応じてフォーカスレンズの駆動速度を制御するAF制御
4−3.(実施例3)AF領域間のユーザーの指の移動量(距離)に応じてフォーカスレンズの駆動速度を制御するAF制御
[1.撮像装置の構成例について]
まず、図3を参照して本発明の撮像装置(カメラ)100の内部構成について説明する。本発明の撮像装置は、オートフォーカス機能を持つ撮像装置である。
フォーカスレンズ101、ズームレンズ102を介する入射光は、例えばCMOSやCCDなどの撮像素子103に入力し、撮像素子103において光電変換される。光電変換データは、アナログ信号処理部104に入力され、アナログ信号処理部104においてノイズ除去等の処理がなされ、A/D変換部105においてデジタル信号に変換される。A/D変換部105においてデジタル変換されたデータは、例えばフラッシュメモリなどによって構成される記録デバイス115に記録される。さらに、モニタ117、ビューファインダ(EVF)116に表示される。モニタ117、ビューファインダ(EVF)116には撮影の有無に関わらず、レンズを介する画像がスルー画として表示される。
操作部118は、カメラ本体にあるシャッタ、ズームボタンなど、各種の操作情報を入力する入力部、撮影モードを設定するためのモードダイアル等を含む操作部である。制御部110は、CPUを有し、撮像装置の実行する各種の処理の制御を予めメモリ(ROM)120などに格納されたプログラムに従って実行する。メモリ(EEPROM)119は不揮発性メモリであり、画像データ、各種の補助情報、プログラムなどが格納される。メモリ(ROM)120は、制御部(CPU)110が使用するプログラムや演算パラメータ等を格納する。メモリ(RAM)121は、制御部(CPU)110やAF制御部112a等において使用するプログラムや、その実行において適宜変化するパラメータ等を格納する。
AF制御部112aは、フォーカスレンズ101に対応して設定されたフォーカスレンズ駆動モータ113aを駆動し、オートフォーカス制御(AF制御)処理を実行する。ズーム制御部112bは、ズームレンズ102に対応して設定されたズームレンズ駆動モータ113bを駆動する。垂直ドライバ107は、撮像素子(CCD)103を駆動する。タイミングジェネレータ106は、撮像素子103およびアナログ信号処理部104の処理タイミングの制御信号を生成して、これらの各処理部の処理タイミングを制御する。
なお、フォーカスレンズ101は、AF制御部112aの制御によって光軸方向に駆動される。
撮像素子103は、例えばフォトダイオードを有して構成される複数の画素がマトリクス状に2次元配置され、各画素の受光面に、それぞれ分光特性の異なる例えばR(赤)、G(緑)、B(青)のカラーフィルタが1:2:1の比率で配設されてなる通常画素と、被写体光を瞳分割して焦点検出するための位相差検出画素をもつセンサが用いられる。
撮像素子103は、被写体像のR(赤)、G(緑)、B(青)各色成分のアナログの電気信号(画像信号)を生成し、R、G、B各色の画像信号として出力する一方、位相差検出画素による位相差検出信号も出力する。撮像素子103は、図4に示すように撮像面にマトリックス状に規定された複数のAF領域151を有する。AF領域151各々に位相差検出画素が設定されており、AF領域151各々において位相差検出方式の焦点検出が可能な構成となっている。すなわち、AF領域151単位で合焦処理、すなわちAF領域151各々単位で、各AF領域に含まれる被写体に対するピント合わせが可能な構成を持つ。
位相差検出方式の焦点検出処理の概要について、図5〜図7を参照して説明する。
先に図2を参照して説明したように、位相差検出方式においては、一組の焦点検出用センサ(位相差検出画素)各々の受光量に応じて出力される信号のズレ量に基づいてフォーカスレンズのデフォーカス量が算出され、このデフォーカス量に基づいてフォーカスレンズをピント位置(フォーカス位置)に設定する。
図4のAF領域151各々に設定される一組の焦点検出用センサ(位相差検出画素)をそれぞれ画素a、画素bとして、これらの画素に対する入射光の詳細について図5を参照して説明する。
図5に示されるように、位相差検出部には、撮影光学系の射出瞳EYの右側部分(「右側の部分瞳領域」または単に「右瞳領域」とも称する)Qaからの光束Taと左側部分(「左側の部分瞳領域」または単に「左瞳領域」とも称する)Qbからの光束Tbとを受光する一対の位相差検出画素211a,211bが水平方向に配列されている。なお、ここでは、図中+X方向側を右側と、−X方向側を左側と表現している。
一対の位相差検出画素211a,211bのうち、一方の位相差検出画素(以下では「第1位相差検出画素」と称する)211aは、第1位相差検出画素211aへの入射光を集光するマイクロレンズMLと、スリット(矩形)状の第1開口部OP1を有する第1遮光板AS1と、当該第1遮光板AS1の下方に配置され、スリット(矩形)状の第2開口部OP2を有する第2遮光板AS2と、光電変換部PDとを備えている。
第1位相差検出画素211aにおける第1開口部OP1は、受光素子PDの中心を通り光軸LTに平行な中心軸CLを基準(起点)にして特定方向(ここでは、右方向(+X方向))に偏った位置に設けられている。また、第1位相差検出画素11aにおける第2開口部OP2は、中心軸CLを基準にして上記特定方向とは反対の方向(「反特定方向」とも称する)に偏った位置に設けられている。
また、一対の位相差検出画素211a,211bのうち、他方の位相差検出画素(以下では、「第2位相差検出画素」と称する)211bは、スリット状の第1開口部OP1を有する第1遮光板AS1と、当該第1遮光板AS1の下方に配置され、スリット状の第2開口部OP2を有する第2遮光板AS2とを備えている。そして、第2位相差検出画素211bにおける第1開口部OP1は、中心軸CLを基準にして上記特定方向とは反対の方向に偏った位置に設けられている。また、第2位相差検出画素211bにおける第2開口部OP2は、中心軸CLを基準にして上記特定方向に偏った位置に設けられている。
すなわち、一対の位相差検出画素211a,211bでは、第1開口部OP1が互いに異なる方向に偏って配置される。また、第2開口部OP2は、位相差検出画素211a,211b内の対応する第1開口部OP1に対して異なる方向にずれて配置される。
上述のような構成を有する一対の位相差検出画素a,bでは、射出瞳EYにおいて異なる領域(部分)を通過した被写体光が取得される。
具体的には、射出瞳EYの右瞳領域Qaを通過した光束Taは、位相差検出画素aに対応するマイクロレンズMLおよび第1遮光板AS1の第1開口部OP1を通過し、さらに第2遮光板AS2によって制限(限定)された後、第1位相差検出画素aの受光素子PDで受光される。
また、射出瞳EYの左瞳領域Qbを通過した光束Tbは、位相差検出画素bに対応するマイクロレンズMLおよび第2遮光板AS2の第1開口部OP1を通過し、さらに第2遮光板AS2によって制限された後、第2位相差検出画素bの受光素子PDで受光される。
ab各画素において取得される受光素子の出力の例を図6に示す。図6に示すように、画素aからの出力ラインと、画素bからの出力ラインは、所定量のシフト量Sfを持つ信号となる。
図7(a)は、フォーカスレンズが、被写体距離に応じた位置に設定され、フォーカスが合った場合、すなわち合焦状態において、a,b各画素間で発生するシフト量Sfaを示している。
図7(b1),(b2)は、フォーカスレンズが、被写体距離に応じた位置に設定されず、フォーカスが合っていないた場合、すなわち非合焦状態において、a,b各画素間で発生するシフト量Sfaを示している。
(b1)は、シフト量が合焦時より大きい場合、(b2)はシフト量が合焦時より小さい場合の例である。
図7(b1),(b2)のような場合は、フォーカス時のシフト量になるようにフォーカスレンズを移動させて合焦させることが可能となる。
この処理が「位相差検出法」に従った合焦処理である。
この「位相差検出法」に従った合焦処理によってフォーカスレンズの合焦位置への設定が可能であり、フォーカスレンズは被写体距離に応じた位置に設定できる。
図7を参照して説明したシフト量は、図4に示すAF領域151各々に設定された位相差検出素子である画素a,画素bの組単位で計測可能であり、この微細領域(a,b画素の組み合わせ領域)に撮り込まれる被写体画像に対する合焦位置(フォーカスポイント)を個別に決定することが可能となる。
例えば、図4に示す複数のAF領域151の左上の1つのAF領域151aをフォーカス制御のために利用すれば、AF領域151aに含まれる被写体にピントが合うようなフォーカス制御が可能となる。
同様に、図4に示す複数のAF領域151の右下の1つのAF領域151zをフォーカス制御のために利用すれば、AF領域151zに含まれる被写体にピントが合うようなフォーカス制御が可能となる。
このように、位相差検出によるフォーカス制御を行うことで、撮像素子に撮り込まれる画像の一部の領域単位のフォーカス制御、すなわちピント合わせ(合焦状態の設定)が可能となる。
図3に示AF制御部112aは、オートフォーカス時のオートフォーカス制御として、図4に示す撮像面に配置された複数のAF領域151のうち選択されたAF領域に対応するデフォーカス量を検出し、選択されたAF領域に含まれる被写体に対するフォーカスレンズ101の合焦位置を求める。そして、この合焦位置にフォーカスレンズ101を移動させて、合焦状態を得る。
なお、後段で詳細に説明するが、AF制御部112aは、フォーカスレンズ101を移動させる移動時間や移動速度を、様々な設定とした制御を行う。すなわちAF領域のデフォーカス量に応じたフォーカスレンズ駆動速度を、ユーザーの操作情報に応じて変更してフォーカスレンズの移動を行う。この処理の詳細については後段で説明する。
合焦検出部130は、A/D変換部105からの位相差検出画素信号を用いて、デフォーカス量を求める。デフォーカス量が0を含む所定範囲内になることで、合焦状態を検出する。
[2.AF領域(オートフォーカス領域)の選択モードについて]
次に、AF領域(オートフォーカス領域)の選択モードについて説明する。AF制御部112aが実行するAF領域の選択モード(フォーカスエリアモード)には、以下の3種類がある。
(1)ローカルモード、
(2)中央固定モード、
(3)ワイドモード、
これらのモードがある。
ローカルモードでは、例えば撮影者であるユーザーが選択した1点のAF領域でオートフォーカスを行う。すなわち、図4に示す多数のAF領域151a〜151zから例えば撮影者が選択した1点のAF領域151xに含まれる被写体を合焦対象、すなわちピント合わせ対象として選択したオートフォーカスを行う。
撮影者が選択したAF領域情報は記憶部、例えばメモリ(RAM)121にローカルAF領域設定値として記憶される。
中央固定モードでは、撮像面の中央に位置するAF領域に含まれる被写体を合焦対象、すなわちピント合わせの対象として選択したオートフォーカスを行う。
ワイドモードでは、被写体距離や顔認識結果及び撮像装置の縦横状態等を判断してAF領域を自動で選択し、そのAF領域でオートフォーカスを行う。
[3.撮像装置の実行するフォーカス制御シーケンスについて]
次に、撮像装置の実行するフォーカス制御シーケンスについて、図8以下のフローチャートを参照して説明する。
なお、以下に説明するフローは、図1に示す制御部110やAF制御部112aの制御の下、例えばメモリ(ROM)119に格納されたプログラムに規定されたシーケンスに従って実行される。
図8に示すフローを参照して、撮像装置の実行する画像撮影の全体シーケンスについて説明する。
まず、ステップS101において、操作部118のフォーカスモードSW(スイッチ)に対するユーザーの操作情報を入力し、オートフォーカスモードを選択する。
フォーカスモードSWはマニュアルフォーカスまたはオートフォーカスを選択するSWである。
ステップS102において、操作部118のメニューボタン等に対するユーザーの操作情報を入力し、フォーカスエリアモードをローカルモードに設定する。前述したように、AF制御部112aが実行するAF領域の選択モード(フォーカスエリアモード)には、(1)ローカルモード、(2)中央固定モード、(3)ワイドモード、これらの3つのモードがあるが、ここでは、(1)ローカルモードによる制御が選択されたものとする。
ローカルモードでは、撮影者が選択した1点のAF領域でオートフォーカスを行う。すなわち、図4に示す多数の値は領域151a〜151zから撮影者が選択した1点のAF領域151xに含まれる被写体を合焦対象、すなわちピント合わせの対象として選択したオートフォーカスを行う。
次に、ステップS103において、例えばユーザーによる操作部118の動画ボタンの押下情報を入力し、動画撮影を開始する。
なお、図9に示すように、動画撮影中は表示部であるモニタ117等に動画撮影中を示すアイコン401が表示される。
この時点で、ユーザーが選択またはデフォルト設定で選択された1つのAF領域の合焦状態を示すAF枠402が表示される。図9に示すように、選択された1つのAF枠402が合焦状態にあることを示す表示態様(例えば緑色の枠表示)で表示される。合焦状態でなければ合焦状態にないことを示す表示態様(例えば黒色の枠表示)でAF枠が表示される。なお、図は白黒2色表示のため、合焦状態のAF枠402を白色で示してある。
次に、ステップS104において、ユーザーはモニタ117に表示される画像を観察しながらピントを合わせたい画像領域、すなわちオートフォーカスを行うAF領域を逐次、設定する。例えばモニタ117はタッチパネルであり、モニタ117に表示された画像からピント合わせを行いたい領域に指を触れることで、その近傍のAF領域が選択される。
なお、本実施例の撮像装置はAF領域の変更に際して、フォーカスレンズの移動時間や速度の制御を行う。すなわちAF駆動時間や速度を制御して、より自由度が高いオートフォーカス操作を実現する。なお、この処理の詳細については後述する。
最後に、ステップS105において、ユーザーによる操作部118の動画ボタン押下情報の入力を検出すると、動画撮影を終了する。
[4.AF領域選択とAF駆動時間設定の詳細実施例について]
次に、AF領域選択とAF駆動時間設定の詳細実施例について説明する。
上述したように、ローカルモードにおいて、ユーザーはモニタ117に表示される画像を観察しながらピントを合わせたい画像領域、すなわちオートフォーカスを行うAF領域を逐次、設定することができる。
例えば、タッチパネルとして構成されたモニタ117に表示された画像内からピント合わせを行いたい領域を選択して、指を触れる(タッチ)ことで、AF゛いぎょ部112aは、指の接触位置近傍のAF領域をフォーカス制御対象のAF領域として選択して非フォーカス制御を行う。
以下、第1の合焦対象として選択した第1被写体を含む第1AF制御位置(合焦位置)から、第2の合焦対象として選択した第2被写体を含む第2AF制御位置(合焦位置)へフォーカスポイントを変更するAF制御の複数の実施例について説明する。
以下の実施例について、順次、説明する。
4−1.(実施例1)AF領域間のユーザーの指の移動時間に応じてフォーカスレンズの駆動速度を制御するAF制御
4−2.(実施例2)新たな合焦対象とするAF領域に対するユーザーの指の接触時間に応じてフォーカスレンズの駆動速度を制御するAF制御
(実施例3)AF領域間のユーザーの指の移動量(距離)に応じてフォーカスレンズの駆動速度を制御するAF制御
[4−1.(実施例1)AF領域間のユーザーの指の移動時間に応じてフォーカスレンズの駆動速度を制御するAF制御]
まず、実施例1として、AF領域間のユーザーの指の移動時間に応じてフォーカスレンズの駆動速度を制御するAF制御について説明する。
本実施例のAF制御では、例えば、図10(a)〜(b)に示すように、ユーザーがタッチパネル上をなぞる、すなわち指を接触させながら滑らせる処理を行うと、AF制御部112aは、スタート位置に設定されていた第1AF領域の第1AF枠421から第2AF領域の第2AF枠422にAF制御位置(合焦位置)に変更する制御を行う。
さらに、AF制御部112aは、このAF制御位置(合焦位置)変更処理に際して、ユーザー設定に応じてAF制御時間を制御する。すなわち、第1AF枠421の被写体に対する合焦状態から、第2AF枠422の被写体に対する合焦状態への遷移時間を長くするかまたは短くするかの制御を実行する。この処理により、例えば動画再生時に、被写体Aから被写体Bに対する焦点の変更処理がゆっくり、あるいは早く行われるといった映像上の効果を発揮させることができる。
このフォーカス制御処理シーケンスについて、図11以下に示すフローチャートを参照して説明する。
AF制御部112aは、ステップS201において、操作部118を構成するタッチパネル(=モニタ117)に対するユーザーのタッチ情報を取得する。
タッチ情報には、ユーザーの指等の、
(1)接触状態、
(2)接触位置情報、
が含まれる。
なお、(1)接触状態は、
(1a)タッチON:タッチパネルにユーザーの指等が接触している状態
(1b)タッチOFF:タッチパナルにユーザーの指等が接触していない状態
これらの2つの状態の識別情報である。
(2)接触位置情報は、例えばタッチパネルのXY2次元座標平面における座標データ(x,y)等によって検出される。
ステップS201において取得するタッチ情報には、上記の
(1)接触状態、
(2)接触位置情報、
これらの情報が含まれる。
次に、ステップS202において、フォーカスエリアモードの設定モードの確認を実行する。すなわち、
(1)ローカルモード、
(2)中央固定モード、
(3)ワイドモード、
これらのモードのいずれに設定されているかを確認する。
ローカルモードに設定されている場合には、ステップS203に進む。
ローカルモードでなければ、ステップS241に進み、タッチ情報を記憶部(例えばメモリ(RAM)121)に記憶する。
ステップS202において、ローカルモード設定が確認された場合は、ステップS203に進み、タッチパネルの接触状態(ON/OFF)と接触位置の変化状態を判断する。
なお、ローカルモードでは、前述したように、撮影者が選択した1点のAF領域でオートフォーカスを行う。すなわち、図4に示す多数の値は領域151a〜151zから撮影者が選択した1点のAF領域151xに含まれる被写体を合焦対象、すなわちピント合わせの対象として選択したオートフォーカスを行う。
ステップS203において、タッチパネルの最新の接触状態もしくは接触位置が記憶部(例えばメモリ(RAM)121)に記憶されている前回、検出した接触状態(ON/OFF)もしくは前回接触位置と全く同じでなければステップS204に進む。なお、この図11に示す処理は、ステップS242に示す待機ステップでの所定の待機時間ごとに繰り返し実行される。待機時間は例えば100msであり、100msごとに繰り返し実行する。
タッチパネルの最新の接触状態および接触位置が共に前回、検出した接触状態および前回接触位置と同じであれば、ステップS241に進み、タッチ情報を記憶部(例えばメモリ(RAM)121)に記憶する。
ステップS203において、タッチパネルの最新の接触状態もしくは接触位置が記憶部(例えばメモリ(RAM)121)に記憶されている前回の接触状態もしくは前回接触位置の少なくともいずれかが同じでないと判定した場合、ステップS204で、タッチパネルの接触状態変化と接触位置変化を判断する。
ステップS204において、
前回接触状態がタッチOFFで、
最新接触状態がタッチON、
であると判定した場合は、ステップS211に進む。
ステップS204において、
前回接触状態がタッチONで、
最新接触状態がタッチONで、かつ、
最新接触位置が前回接触位置と同じでない、
と判定した場合は、ステップS221に進む。
ステップS204において、
前回接触状態がタッチONで、
最新接触状態がタッチOFF、
であると判定した場合は、ステップS231に進む。
ステップS204の判定処理において、前回接触状態がタッチOFFで、最新接触状態がタッチONであると判定した場合は、ステップS211において、ユーザーの最新接触位置に対応するAF領域を抽出し、「第1ローカルAF領域識別子」として記憶部(例えばメモリ(RAM)121)に記憶する。
AF領域識別値は、例えば図4に示す多数のAF領域151a〜zのどのAF領域にユーザーが触れたかを示すAF領域を識別するデータである。
なお、「第1ローカルAF領域識別子」は、ユーザーの指が最初に接触したAF領域の識別子である。例えば、図10の例では、AF枠421が設定されたAF領域に対応する。
また、ステップS204の判定処理において、前回接触状態がタッチONで、最新接触状態もタッチONで、かつ最新接触位置が前回接触位置と同じでないと判定した場合は、ステップS221において、「なぞり時間」の計測中であるかどうかを判断する。
「なぞり時間」とは、例えば図10に示すAF枠421からAF枠422までのユーザーの指の移動時間である。
「なぞり時間」を計測中でなければ、ステップS222に進み、なぞり時間の計測を開始する。
「なぞり時間」を計測中であれば、ステップS241に進み、タッチ情報を記憶部(例えばメモリ(RAM)121)に記憶する。
また、ステップS204の判定処理において、前回接触状態がタッチONで、最新接触状態がタッチOFFであると判定した場合は、ステップS231において、「なぞり時間」の計測中であるかどうかを判断する。
「なぞり時間」を計測中であれば、ステップS232に進む。「なぞり時間」を計測中でなければステップS241に進み、タッチ情報を記憶部(例えばメモリ(RAM)121)に記憶する。
ステップS231において、「なぞり時間」を計測中と判定し、ステップS232に進むと、最新の接触位置に対応するAF領域を検出する。すなわちユーザーの指が離れた位置にあるAF領域の識別子である「第2ローカルAF領域識別子」を取得して、記憶部(例えばメモリ(RAM121))に記憶する。
さらに、ステップS233で、「なぞり時間」の計測を終了する。計測した「なぞり時間」は「AF駆動時間設定値」として記憶部(例えばメモリ(RAM121))に記憶する。
なお、「第2ローカルAF領域識別子」は、ユーザーの指がタッチパネルから離れた地点のAF領域の識別子であり、次の合焦対象となる被写体が含まれるAF領域である。例えば、図10の例では、AF枠422が設定されたAF領域に対応する。
さらに、ステップS234で、AF制御部112aに「時間指定AF動作要求」の設定を行う。
「時間指定AF動作要求」とは、計測した「なぞり時間」を適用してフォーカス制御時間を調整してAF動作を行う処理の実行要求である。なお、この要求の有無情報は、例えばメモリ(RAM)121に[1]=要求あり、[0]=要求なし、このようなビット値の設定として記録しておいてもよい。
「時間指定AF動作要求」がある場合には、「なぞり時間」を反映したフォーカス制御を行う。この処理シーケンスについては後述する。
例えば図10に示すAF枠421の合焦状態からAF枠422の合焦状態への遷移時間を「なぞり時間」に応じて制御するAF動作である。
ステップS241は、接触状態と接触位置を記憶部(例えばメモリ(RAM121))に前回接触状態と前回接触位置として記憶するステップである。
ステップS242は、AF制御部112aが、予め規定された時間間隔、例えば100ms毎にタッチパネル処理を行うため、既定の待機時間(例えば100ms)の待機を行うステップである。待機後、ステップS201に戻り同様の処理を繰り返す。
次に、動画撮影中にAF制御部112aの実行するAF制御処理のシーケンスについて図12に示すフローチャートを参照して説明する。
ステップS301において、合焦検出部130は全AF領域のデフォーカス量、すなわちフォーカス位置からのずれ量に対応するデフォーカス量を算出する。
具体的には、例えば図4に示すAF領域151各々からの位相差検出情報に基づいて、各AF領域に対応するデフォーカス量を算出する。
次に、ステップS302において、「時間指定AF動作要求」があるかどうかを判断する。要求がなければステップS303に進む。要求があればステップS311に進む。
なお、「時間指定AF動作要求」は、先に説明した図11に示すフローのステップS234において設定される要求である。すなわち、「なぞり時間」を適用してフォーカス制御時間を調整してAF動作を行う処理の実行要求である。
「時間指定AF動作要求」がなく、ステップS303に進むと、さらに、ステップS303において、フォーカスエリアモードの設定モード確認を実行する。すなわち、
(1)ローカルモード、
(2)中央固定モード、
(3)ワイドモード、
これらのモードのいずれに設定されているかを確認する。
フォーカスエリアモードが、
ワイドモードであればステップS304に進み、
中央固定モーであればステップS305に進み、
ローカルモードであればステップS306に進む。
フォーカスエリアモードが、ワイドモードである場合は、
ステップS304において、AF制御部112aは全AF領域からピントを合わせるAF領域を選択する。
このAF領域選択処理は、AF制御部112aが予め設定された処理シーケンスに従って実行する。例えば、AF制御部112aは被写体距離や顔認識結果及び撮像装置の縦横状態等を判断して合焦対象としてのAF領域を選択する。この選択処理の後、選択されたAF領域のデフォーカス量からフォーカスレンズ101の駆動方向と駆動量を求め、次のステップS307において、選択AF領域の被写体に対して合焦するようにフォーカスレンズ101を駆動する。
また、フォーカスエリアモードが、中央固定モーであればステップS305に進み、
ステップS305において、AF制御部112aは撮像面の中央に位置するAF領域を合焦対象として選択する。さらに、この中央のAF領域のデフォーカス量からフォーカスレンズ101の駆動方向と駆動量を求め、次のステップS307において、中央のAF領域の被写体に対して合焦するようにフォーカスレンズ101を駆動する。
また、フォーカスエリアモードが、ローカルモードであればステップS306に進み、ステップS306において、AF制御部112aは撮影者が選択したAF領域を合焦対象として選択する。さらに、このユーザーにより選択されたAF領域のデフォーカス量からフォーカスレンズ101の駆動方向と駆動量を求め、次のステップS307において、ユーザーの選択したAF領域の被写体に対して合焦するようにフォーカスレンズ101を駆動する。
なお、ステップS307において実行するフォーカスレンズ101の移動速度は、予め定められた標準の移動速度である。
一方、ステップS302において、「時間指定AF動作要求」があると判定した場合は、ステップS311に進む。
ステップS311では、時間指定AF動作を行う。この時間指定AF動作の詳細シーケンスについて、図13に示すフローチャートを参照して説明する。
ステップS401において、記憶部(例えばメモリ(RAM121))に記憶されている「第2ローカルAF領域識別子」を取得する。
この「第2ローカルAF領域識別子」は、次の合焦対象とするAF領域の位置情報である。例えば図10に示すAF枠422が設定されたAF領域の識別情報である。
次に、ステップS402において、
「第1ローカルAF領域識別子」と、
「第2ローカルAF領域識別子」と、
の比較を実行する。
なお、「第1ローカルAF領域識別子」は、すでに合焦処理が完了しているローカル領域であり、「第2ローカルAF領域識別子」は、これから合焦処理を行うローカル領域である。
本実施例1では、「第1ローカルAF領域識別子」は、ユーザーの指がOFFからONになり、タッチパネルに接触開始した位置のAF領域(例えば図10に示すAF枠421に対応するAF領域)である。
「第2ローカルAF領域識別子」は、ユーザーの指がONからOFFなり、タッチパネルから指を離した位置のAF領域(例えば図10に示すAF枠422に対応するAF領域)である。
「第1ローカルAF領域識別子」と、「第2ローカルAF領域識別子」の両者が同じであれば、処理を終了する。
例えば、図10の設定で、ユーザーの指がAF枠421にとどまっていれば、ローカルAF領域設定値と駆動時間指定ローカルAF領域設定値は同じであると判断される。この場合、合焦対象とするAF領域に変化がないので、あらたな処理を行わず処理を終了する。
一方、ステップS402において、「第1ローカルAF領域識別子」と、「第2ローカルAF領域識別子」が異なると判定した場合は、ステップS403に進む。
これは、図10の設定で、ユーザーの指がAF枠421の設定されたAF領域からAF枠422の設定されたAF領域に移動した場合に相当する。
ステップS403で、AF制御部112aは、「第2ローカルAF領域識別子」によって特定されるAF領域を、次のフォーカス制御対象AF領域として決定し、この「第2ローカルAF領域識別子」によって特定されるAF領域のデフォーカス量からフォーカスレンズ101の駆動方向と駆動量を求める。すなわち、例えば、図10の設定において、新たな合焦対象として指定されたAF枠422の示されたAF領域を合焦対象とし、このAF領域のデフォーカス量からフォーカスレンズ101の駆動方向と駆動量を求める。
さらに、次のステップS404において、AF制御部112aは、記憶部(例えばメモリ(RAM121))に予め記憶されているAF駆動時間設定値(t)とAF制御部112aが算出した駆動量(d)から、駆動速度(v)を算出する。
レンズに依存するフォーカス駆動の加減速度を固定値:Aとする。
AF駆動時間設定値(t)はユーザーによって設定された「なぞり時間」に対応する。なお、「なぞり時間」については、例えば、
AF駆動時間設定値(t)=「なぞり時間」
としてもよいし、
Tha≦「なぞり時間」<Thbの場合は、AF駆動時間設定値(t)=T1、
Thb≦「なぞり時間」<Thcの場合は、AF駆動時間設定値(t)=T2、
Thc≦「なぞり時間」<Thdの場合は、AF駆動時間設定値(t)=T3、
このように所定の閾値で区切った「なぞり時間」の範囲に対応させてAF駆動時間設定値(t)を設定する構成としてもよい。
上記のような設定の一例として、例えば、
ゆっくりとしたフォーカス制御に対応するAF駆動時間設定値:t=TL、
標準のフォーカス制御に対応するAF駆動時間設定値:t=TM、
速いフォーカス制御に対応するAF駆動時間設定値:t=TF、
上記のような設定が可能である。
駆動量(d)は、フォーカス制御対象となる「第2ローカルAF領域識別子」によって特定されるAF領域に対する合焦処理に必要となるフォーカスレンズの駆動量であり、AF制御部112aにおいて算出される。
駆動時間(t)と駆動速度(v)と駆動量(d)の関係式は以下のように示される。
d=((v/A)×2×v÷2)+(t−(v/A)×2)×v
図14を参照して、具体的なフォーカス制御処理例について説明する。
図14は、横軸がフォーカスレンズの駆動時間、縦軸がフォーカスレンズの駆動速度を示している。
AF駆動時間設定値(t)の標準的な時間を標準時間T(M)とする。この標準時間T(M)においてフォーカスカレンズの駆動速度は、標準駆動速度V(M)となる。
このような設定の下で、AF制御部112aは、ユーザーによる「なぞり時間」に基づいてAF駆動時間設定値(t)を決定する。
例えば、ユーザーによるなぞり処理がゆっくり行われ、「なぞり時間」が長い時間であり、AF駆動時間設定値(t)が、図14に示す時間T(L)に設定されたとする。
図から明らかなように、
AF駆動時間設定値(t)=T(L)は、
標準時間T(M)より長い。
この場合、フォーカスレンズ101の駆動速度は、図14に示す第2駆動速度:V(L)に設定され、標準の駆動速度:V(M)より遅く設定される。
すなわち、第1AF枠421の被写体に対する合焦状態から、第2AF枠422の被写体に対する合焦状態へ設定するため、フォーカスレンズは第2駆動速度:V(L)でゆっくり移動する。この結果、第1AF枠421の被写体に対する合焦状態から、第2AF枠422の被写体に対する合焦状態への遷移時間がT(L)となり、第2AF枠422に対応するAF領域の被写体に対してゆっくりとしたピントあ合わせが行われることになる。
一方、例えば、ユーザーによるなぞり処理が素早く行われ、「なぞり時間」が短い時間で完了し、AF駆動時間設定値(t)が、図14に示す時間T(F)に設定されたとする。
図から明らかなように、
AF駆動時間設定値(t)=T(F)は、
標準時間T(M)より短い。
この場合、フォーカスレンズ101の駆動速度は、図14に示す第1駆動速度:V(F)に設定され、標準の駆動速度:V(M)より速く設定される。
すなわち、第1AF枠421の被写体に対する合焦状態から、第2AF枠422の被写体に対する合焦状態へ設定するためのフォーカスレンズは第1駆動速度:V(F)で速く移動する。この結果、第1AF枠421の被写体に対する合焦状態から、第2AF枠422の被写体に対する合焦状態への遷移時間がT(F)となり、第2AF枠422に対応するAF領域の被写体に対して素早いピントあ合わせが行われることになる。
ステップS404では、このように、記憶部(例えばメモリ(RAM121))に記憶されている「なぞり時間」に基づいてAF駆動時間設定値(t)を決定し、このAF駆動時間設定値(t)と、さらにAF制御部112aが算出した駆動量(d)から、駆動速度(v)を算出する。
次のステップS405において、AF制御部112aが算出した駆動方向に、決定した駆動速度に従ってフォーカスレンズ101を駆動させる。すなわち、ユーザーの選択したAF領域の被写体に対して合焦するようにフォーカスレンズ101を移動する。
このように、本実施例1において、AF制御部112aは、ユーザーの「なぞり時間」に従って設定されるAF駆動時間設定値(t)に応じて、AF制御時間を制御する。具体的には、例えば図10の設定において、第1AF枠421の被写体に対する合焦状態から、第2AF枠422の被写体に対する合焦状態への遷移時間を、ユーザーのの「なぞり時間」に従って設定されるAF駆動時間設定値(t)に応じて長くしたり短くしたりの制御を実行する。この処理により、例えば動画再生時に、被写体Aから被写体Bに対する焦点の変更処理がゆっくり、あるいは早く行われるといった映像上の効果を発揮させることができる。
[4−2.(実施例2)新たな合焦対象とするAF領域に対するユーザーの指の接触時間に応じてフォーカスレンズの駆動速度を制御するAF制御]
次に、第2実施例として、タッチパネル上の新たな合焦対象とするAF領域を押し続けることでAF領域選択とAF駆動時間設定を行う実施例について説明する。
本実施例のAF制御では、例えば、図15(a)〜(b)に示すように、ユーザーが第1AF領域の第1AF枠421から第2AF領域の第2AF枠422にAF制御位置(合焦位置)を変更する場合、新たな合焦位置である第2AF枠対応の第2AF領域を継続してタッチし続ける。
AF制御部はこの第2AF領域のタッチ継続時間を計測して、この計測時間に応じて、AF制御時間を制御する。すなわち、第1AF枠421の被写体に対する合焦状態から、第2AF枠422の被写体に対する合焦状態への遷移時間を長くするかまたは短くするかの制御を実行する。この処理により、例えば動画再生時に、被写体Aから被写体Bに対する焦点の変更処理がゆっくり、あるいは早く行われるといった映像上の効果を発揮させることができる。
このフォーカス制御処理シーケンスについて、図16に示すフローチャートを参照して説明する。
AF制御部112aは、ステップS501において、操作部118を構成するタッチパネル(=モニタ117)に対するユーザーのタッチ情報を取得する。
前述したように、タッチ情報には、ユーザーの指等の、
(1)接触状態(タッチON/タッチOFF)、
(2)接触位置情報、
が含まれる。
ステップS502において、フォーカスエリアモードの設定モードの確認を実行する。すなわち、
(1)ローカルモード、
(2)中央固定モード、
(3)ワイドモード、
これらのモードのいずれに設定されているかを確認する。
ローカルモードに設定されている場合には、ステップS503に進む。
ローカルモードでなければ、ステップS541に進み、タッチ情報を記憶部(例えばメモリ(RAM)121)に記憶する。
ステップS502において、ローカルモード設定が確認された場合は、ステップS503に進み、タッチパネルの接触状態(ON/OFF)と接触位置を判断する。
なお、ローカルモードでは、前述したように、撮影者が選択した1点のAF領域でオートフォーカスを行う。すなわち、図4に示す多数の値は領域151a〜151zから撮影者が選択した1点のAF領域151xに含まれる被写体を合焦対象、すなわちピント合わせの対象として選択したオートフォーカスを行う。
ステップS503において、タッチパネルの最新の接触状態もしくは接触位置が記憶部(例えばメモリ(RAM)121)に記憶されている前回の接触状態(ON/OFF)もしくは前回接触位置と全く同じでなければステップS504に進む。
タッチパネルの最新の接触状態および接触位置が共に前回接触状態および前回接触位置と同じであれば、ステップS541に進み、タッチ情報を記憶部(例えばメモリ(RAM)121)に記憶する。
ステップS503において、タッチパネルの最新の接触状態もしくは接触位置が記憶部(例えばメモリ(RAM)121)に記憶されている前回の接触状態もしくは前回接触位置の少なくともいずれかが同じでないと判定した場合、ステップS504で、タッチパネルの接触状態変化と接触位置変化を判断する。
ステップS504において、
前回接触状態がタッチOFFで、
最新接触状態がタッチON、
であると判定した場合は、ステップS521に進む。
ステップS504において、
前回接触状態がタッチONで、
最新接触状態がタッチOFF、
であると判定した場合は、ステップS531に進む。
ステップS504の判定処理において、前回接触状態がタッチOFFで、最新接触状態がタッチONであると判定した場合は、ステップS511において、「タッチON継続時間」の計測中であるかどうかを判断する。
「タッチON継続時間」とは、例えば図10に示すAF枠422に対するユーザーの指のタッチ継続時間である。
「タッチON継続時間」を計測中でなければ、ステップS522に進み、「タッチON継続時間」の計測を開始する。
「タッチON継続時間」を計測中であれば、ステップS541に進み、タッチ情報を記憶部(例えばメモリ(RAM)121)に記憶する。
また、ステップS504の判定処理において、前回接触状態がタッチONで、最新接触状態がタッチOFFであると判定した場合は、ステップS531において、「タッチON継続時間」の計測中であるかどうかを判断する。
「タッチON継続時間」を計測中であれば、ステップS532に進む。「タッチON継続時間」を計測中でなければステップS541に進み、タッチ情報を記憶部(例えばメモリ(RAM)121)に記憶する。
ステップS531において、「タッチON継続時間」を計測中と判定し、ステップS532に進むと、最新の接触位置に対応するAF領域を検出する。すなわちユーザーの指が離れた位置にあるAF領域の識別子である「第2ローカルAF領域識別子」を取得して、記憶部(例えばメモリ(RAM121))に記憶する。
さらに、ステップS533で、「タッチON継続時間」の計測を終了する。計測した「タッチON継続時間」は「AF駆動時間設定値」として記憶部(例えばメモリ(RAM121))に記憶する。
なお、「第2ローカルAF領域識別子」は、ユーザーの指がタッチパネルから離れた地点のAF領域の識別子であり、次の合焦対象となる被写体が含まれるAF領域である。例えば、図15の例では、AF枠432が設定されたAF領域に対応する。
さらに、ステップS534で、AF制御部112aに「時間指定AF動作要求」の設定を行う。
「時間指定AF動作要求」とは、計測した「タッチON継続時間」を適用してフォーカス制御時間を調整してAF動作を行う処理の実行要求である。なお、この要求の有無情報を例えばメモリ(RAM)121内に、[1]=要求あり、[0]=要求なし、このようなビット値設定とした情報として記録しておいてもよい。
「時間指定AF動作要求」がある場合には、「タッチON継続時間」を反映したフォーカス制御を行う。この処理シーケンスは、先に図13を参照して説明した時間指定AF処理に従った処理となる。
すなわち、先に図13を参照して説明した処理において、「なぞり時間」を「タッチON継続時間」に置き換えた処理となる。
ステップS541は、接触状態と接触位置を記憶部(例えばメモリ(RAM121))に前回接触状態と前回接触位置として記憶するステップである。
ステップS542は、AF制御部112aが、予め規定された時間間隔、例えば100ms毎にタッチパネル処理を行うため、既定の待機時間(例えば100ms)の待機を行うステップである。待機後、ステップS501に戻り同様の処理を繰り返す。
本実施例2におけるAF処理は、先に実施例1において説明した図12に示すフローチャートに従った処理となる。
また、上述したように、「時間指定AF動作要求」がある場合のAF処理は、先に図13、図14を参照して説明した処理において、「なぞり時間」を「タッチON継続時間」に置き換えた処理となる。
すなわち、本実施例2では、
AF駆動時間設定値(t)はユーザーによって設定された「タッチON継続時間」に対応する。「タッチON継続時間」を
AF駆動時間設定値(t)=「タッチON継続時間」
としてもよいし、
Tha≦「タッチON継続時間」<Thbの場合は、AF駆動時間設定値(t)=T1、
Thb≦「タッチON継続時間」<Thcの場合は、AF駆動時間設定値(t)=T2、
Thc≦「タッチON継続時間」<Thdの場合は、AF駆動時間設定値(t)=T3、
このように所定の閾値で区切った「タッチON継続時間」の範囲に対応させてAF駆動時間設定値(t)を設定する構成としてもよい。
上記のような設定の一例として、例えば、
ゆっくりとしたフォーカス制御に対応するAF駆動時間設定値:t=TL、
標準のフォーカス制御に対応するAF駆動時間設定値:t=TM、
速いフォーカス制御に対応するAF駆動時間設定値:t=TF、
例えば上記のような設定が可能である。
先に説明したように、駆動時間(t)と駆動速度(v)と駆動量(d)の関係式は以下のように示される。
d=((v/A)×2×v÷2)+(t−(v/A)×2)×v
図14を参照して、本実施例における具体的なフォーカス制御処理例について説明する。
AF駆動時間設定値(t)の標準的な時間を標準時間T(M)とする。この標準時間T(M)においてフォーカスカレンズの駆動速度は、標準駆動速度V(M)となる。
このような設定の下で、AF制御部112aは、ユーザーによる「タッチON継続時間」に基づいてAF駆動時間設定値(t)を決定する。
例えば、ユーザーによる、「タッチON継続時間」が長い時間であり、AF駆動時間設定値(t)が、図14に示す時間T(L)に設定されたとする。
図から明らかなように、
AF駆動時間設定値(t)=T(L)は、
標準時間T(M)より長い。
この場合、フォーカスレンズ101の駆動速度は、図14に示す第2駆動速度:V(L)に設定され、標準の駆動速度:V(M)より遅く設定される。
すなわち、図15に示す第1AF枠431の被写体に対する合焦状態から、第2AF枠432の被写体に対する合焦状態へ設定するため、フォーカスレンズは第2駆動速度:V(L)でゆっくり移動する。この結果、第1AF枠421の被写体に対する合焦状態から、第2AF枠422の被写体に対する合焦状態への遷移時間がT(L)となり、第2AF枠422に対応するAF領域の被写体に対してゆっくりとしたピントあ合わせが行われることになる。
一方、例えば、ユーザーによるなぞり処理が素早く行われ、「タッチON継続時間」が短い時間で完了し、AF駆動時間設定値(t)が、図14に示す時間T(F)に設定されたとする。
図から明らかなように、
AF駆動時間設定値(t)=T(F)は、
標準時間T(M)より短い。
この場合、フォーカスレンズ101の駆動速度は、図14に示す第1駆動速度:V(F)に設定され、標準の駆動速度:V(M)より速く設定される。
すなわち、第1AF枠421の被写体に対する合焦状態から、第2AF枠422の被写体に対する合焦状態へ設定するため、フォーカスレンズは第1駆動速度:V(F)で速く移動する。この結果、第1AF枠421の被写体に対する合焦状態から、第2AF枠422の被写体に対する合焦状態への遷移時間がT(F)となり、第2AF枠422に対応するAF領域の被写体に対して素早いピントあ合わせが行われることになる。
本実施例2において、図13のフローのステップS404では、このように、記憶部(例えばメモリ(RAM121))に記憶されている「タッチON継続時間」に基づいてAF駆動時間設定値(t)を決定し、このAF駆動時間設定値(t)と、さらにAF制御部112aが算出した駆動量(d)から、駆動速度(v)を算出する。
次のステップS405において、AF制御部112aが算出した駆動方向に、決定した駆動速度に従ってフォーカスレンズ101を駆動させる。すなわち、ユーザーの選択したAF領域の被写体に対して合焦するようにフォーカスレンズ101を移動する。
このように、本実施例2では、AF制御部112aは、ユーザーの「タッチON継続時間」に従って設定されるAF駆動時間設定値(t)に応じて、AF制御時間を制御する。具体的には、例えば図15の設定において、第1AF枠431の被写体に対する合焦状態から、第2AF枠432の被写体に対する合焦状態への遷移時間を、ユーザーの「タッチON継続時間」に従って設定されるAF駆動時間設定値(t)に応じて長くしたり短くしたりの制御を実行する。この処理により、例えば動画再生時に、被写体Aから被写体Bに対する焦点の変更処理がゆっくり、あるいは早く行われるといった映像上の効果を発揮させることができる。
[4−3.(実施例3)AF領域間のユーザーの指の移動量(距離)に応じてフォーカスレンズの駆動速度を制御するAF制御]
次に、第3実施例として、タッチパネル上のAF領域間のユーザーの指の移動量(距離)に応じてフォーカスレンズの駆動速度を制御する実施例について説明する。
本実施例3のAF制御処理では、例えば、図17(a)〜(b)に示すように、先に説明した実施例1と同様、ユーザーが第1AF領域の第1AF枠441から第2AF領域の第2AF枠442にAF制御位置(合焦位置)を変更する場合、第1AF領域の第1AF枠441から第2AF領域の第2AF枠442に指を滑らせる「なぞり処理」を行う。
本実施例3では、この「なぞり処理」における、
「なぞり時間」と、さらに、
「なぞり量」、
を計測する。
「なぞり時間」と、「なぞり量」に基づいて、ユーザーによる単位時間当たりの「なぞり量」を検出する。この単位時間当たりの「なぞり量」に基づいてユーザーによる「なぞり速度の変化」遷移が算出される。
本実施例3では、この「なぞり速度の変化」に基づいて、AF制御時間を制御する。すなわち、例えば図17に示す第1AF枠441の被写体に対する合焦状態から、第2AF枠442の被写体に対する合焦状態への遷移処理に際して、ユーザーによる「なぞり速度の変化」に応じてフォーカスレンズの移動速度を多段階に変更する。例えば高速、中速、低速等の順番でフォーカスレンズの移動速度を順次切り替える。
この処理により、例えば動画再生時に、被写体Aから被写体Bに対する焦点の変更処理速度を多段階に変化させる映像上の効果を発揮させることができる。
このフォーカス制御処理シーケンスについて、図18に示すフローチャートを参照して説明する。
AF制御部112aは、ステップS601において、操作部118を構成するタッチパネル(=モニタ117)に対するユーザーのタッチ情報を取得する。
前述したように、タッチ情報には、ユーザーの指等の、
(1)接触状態(タッチON/タッチOFF)、
(2)接触位置情報、
が含まれる。
ステップS602において、フォーカスエリアモードの設定モードの確認を実行する。すなわち、
(1)ローカルモード、
(2)中央固定モード、
(3)ワイドモード、
これらのモードのいずれに設定されているかを確認する。
ローカルモードに設定されている場合には、ステップS603に進む。
ローカルモードでなければ、ステップS641に進み、タッチ情報を記憶部(例えばメモリ(RAM)121)に記憶する。
ステップS602において、ローカルモード設定が確認された場合は、ステップS603に進み、タッチパネルの接触状態(ON/OFF)と接触位置を判断する。
なお、ローカルモードでは、前述したように、撮影者が選択した1点のAF領域でオートフォーカスを行う。すなわち、図4に示す多数の値は領域151a〜151zから撮影者が選択した1点のAF領域151xに含まれる被写体を合焦対象、すなわちピント合わせの対象として選択したオートフォーカスを行う。
ステップS603において、タッチパネルの最新の接触状態もしくは接触位置が記憶部(例えばメモリ(RAM)121)に記憶されている前回の接触状態(ON/OFF)もしくは前回接触位置と全く同じでなければステップS604に進む。
タッチパネルの最新の接触状態および接触位置が共に前回接触状態および前回接触位置と同じであれば、ステップS641に進み、タッチ情報を記憶部(例えばメモリ(RAM)121)に記憶する。
ステップS603において、タッチパネルの最新の接触状態もしくは接触位置が記憶部(例えばメモリ(RAM)121)に記憶されている前回の接触状態もしくは前回接触位置の少なくともいずれかが同じでないと判定した場合、ステップS604で、タッチパネルの接触状態変化と接触位置変化を判断する。
ステップS604において、
前回接触状態がタッチOFFで、
最新接触状態がタッチON、
であると判定した場合は、ステップS611に進む。
ステップS604において、
前回接触状態がタッチONで、
最新接触状態がタッチONで、かつ
最新接触位置が前回接触位置と同じでない、
であると判定した場合は、ステップS621に進む。
ステップS604において、
前回接触状態がタッチONで、
最新接触状態がタッチOFF、
であると判定した場合は、ステップS631に進む。
ステップS604の判定処理において、前回接触状態がタッチOFFで、最新接触状態がタッチONであると判定した場合は、ステップS611において、ユーザーの最新接触位置に対応するAF領域を抽出し、「第1ローカルAF領域識別子」として記憶部(例えばメモリ(RAM)121)に記憶する。
また、ステップS604の判定処理において、前回接触状態がタッチONで、最新接触状態もタッチONで、かつ最新接触位置が前回接触位置と同じでないと判定した場合は、ステップS621において、「なぞり時間」の計測中であるかどうかを判断する。
「なぞり時間」とは、例えば図17に示すAF枠441からAF枠442までの経路におけるユーザーの指の移動時間である。
「なぞり時間」を計測中でなければ、ステップS622に進み、なぞり時間の計測を開始し、ステップS641に進み、タッチ情報を記憶部(例えばメモリ(RAM)121)に記憶する。
「なぞり時間」を計測中であれば、ステップS623に進む。
ステップS623では、「なぞり量」を記憶部(例えばメモリ(RAM)121)に記憶する。例えば、
前回計測時点の接触位置の座標が(sX、sY)、
今回の新たな接触位置の座標が(dX、dY)とすると、
「なぞり量L」を、以下の式によって算出する。
なお、ステップS642の待機時間=100msecとすると、「なぞり量L」の計測は100msごとに実行される。
記憶部(例えばメモリ(RAM121))はなぞり量を、順次格納(例えば100コまで格納)するものとし、100msごとの「なぞり量L」が記録され、総計で、10秒(1000ms)分のなぞり量が記憶できる。
例えば、
なぞり時間:0〜100ms→なぞり量:10mm
なぞり時間:100〜200ms→なぞり量:20mm
なぞり時間:200〜300ms→なぞり量:30mm
なぞり時間:300〜400ms→なぞり量:20mm

このような100ms単位の「なぞり量」が記憶部に記録される。
ステップS623における「なぞり量」の記憶処理の後、ステップS641に進み、タッチ情報を記憶部(例えばメモリ(RAM)121)に記憶する。
また、ステップS604の判定処理において、前回接触状態がタッチONで、最新接触状態がタッチOFFであると判定した場合は、ステップS631において、「なぞり時間」の計測中であるかどうかを判断する。
「なぞり時間」を計測中であれば、ステップS632に進む。「なぞり時間」を計測中でなければステップS641に進み、タッチ情報を記憶部(例えばメモリ(RAM)121)に記憶する。
ステップS631において、「なぞり時間」を計測中と判定し、ステップS632に進むと、最新の接触位置に対応するAF領域を検出する。すなわちユーザーの指が離れた位置にあるAF領域の識別子である「第2ローカルAF領域識別子」を取得して、記憶部(例えばメモリ(RAM121))に記憶する。
さらに、ステップS633で、「なぞり時間」の計測を終了する。計測した「なぞり時間」は「AF駆動時間設定値」として記憶部(例えばメモリ(RAM121))に記憶する。
なお、「第2ローカルAF領域識別子」は、ユーザーの指がタッチパネルから離れた地点のAF領域の識別子であり、次の合焦対象となる被写体が含まれるAF領域である。例えば、図17の例では、AF枠442が設定されたAF領域に対応する。
さらに、ステップS634で、AF制御部112aに「時間指定AF動作要求」の設定を行う。
本実施例において、「時間指定AF動作要求」とは、計測した「なぞり時間」と、「なぞり量」を適用してフォーカス制御時間を調整してAF動作を行う処理の実行要求である。なお、この要求の有無情報を例えばメモリ(RAM)121内に、[1]=要求あり、[0]=要求なし、このようなビット値設定とした情報として記録しておいてもよい。
「時間指定AF動作要求」がある場合には、「なぞり時間」と、「なぞり量」を反映したフォーカス制御を行う。
この処理シーケンスは、先に図13を参照して説明した時間指定AF処理に従った処理において、ステップS404のフォーカスレンズ駆動速度の算出処理を後段で説明する図19に示すフローに従った処理に置き換えた処理となる。
ステップS641は、接触状態と接触位置を記憶部(例えばメモリ(RAM121))に前回接触状態と前回接触位置として記憶するステップである。
ステップS642は、AF制御部112aが、予め規定された時間間隔、例えば100ms毎にタッチパネル処理を行うため、既定の待機時間(例えば100ms)の待機を行うステップである。待機後、ステップS601に戻り同様の処理を繰り返す。
本実施例3におけるAF処理は、先に実施例1において説明した図12に示すフローチャートに従った処理と同様の処理である。
また、上述したように、「時間指定AF動作要求」がある場合のAF処理は、先に図13を参照して説明した処理において、ステップS404のフォーカスレンズ駆動速度の算出処理を、図19に示すフローに従った処理に置き換えた処理となる。
本実施例3におけるフォーカスレンズ駆動速度の算出処理について、図19のフローと図20を参照して説明する。
図19のフローチャートに示す各ステップの処理について説明する。
ステップS701において、AF制御部112aは、AF駆動時間設定値をn分割し、n個それぞれの区間のなぞり量の和を計算する。
nは2以上の任意の数であり、予め設定された値、あるいはユーザーによって設定可能な値である。
一例としてn=3とした例について説明する。
例えば、トータルの「なぞり時間」に相当するAF駆動時間設定値が2.4秒(2400ms)であるとする。すなわち、図17に示す第1AF枠441のある第1AF領域から第2AF枠442のある第2AF領域までの「なぞり時間」に相当するAF駆動時間設定値(Tp)が2.4秒(2400ms)であるとする。
AF制御部112aは、このAF駆動時間設定値:Tp=2.4秒(2400ms)をn分割する。n=3として、3分割すると、
2.4/3=0.8秒
となる。
AF制御部112aは、0.8秒(800ms)毎のなぞり量の和を計算する。すなわち、
なぞり開始から0〜0.8秒における第1なぞり量、
なぞり開始から0.8〜1.6秒における第2なぞり量、
なぞり開始から1.6〜2.4秒における第3なぞり量、
これらの3つのなぞり量を、記憶部に記憶されている「なぞり量」に基づいて、各々算出する。
例えば、それぞれの時間区間のなぞり量が以下のような値であったとする。
(1)なぞり開始から0〜0.8秒(第1区間)における第1なぞり量=300、
(2)なぞり開始から0.8〜1.6秒(第2区間)における第2なぞり量=100、
(3)なぞり開始から1.6〜2.4秒(第3区間)における第3なぞり量=50、
なお、なぞり量の単位は、例えばmm、あるいは画素数など、様々な設定が可能である。
ステップS702において、AF制御部112aは、それぞれの区間のなぞり量から、フォーカスレンズ駆動速度の比率を計算する。
(1)なぞり開始から0〜0.8秒(第1区間)におけるフォーカスレンズ駆動速度をv1、
(2)なぞり開始から0.8〜1.6秒(第2区間)におけるフォーカスレンズ駆動速度をv2、
(3)なぞり開始から1.6〜2.4秒(第3区間)におけるフォーカスレンズ駆動速度をv3、
とする。
上記のような各区間の駆動速度をv1、v2、v3として、
各駆動速度の比率を、各区間のなぞり量の比率と同じ比率として設定する。
すなわち、
v1:v2:v3=300:100:50=6:2:1
とする。
また、n分割したn個の各区間のフォーカスレンズの移動距離については等配分とするため、加減速期間を除いた各区間(第1区間〜第3区間)の駆動時間:t1、t2、t3を、上記の駆動速度v1〜v3の逆数の設定とする。すなわち、
t1:t2:t3=(1/6):(1/2):(1/1)=1:3:6
とする。
ステップS703において、AF制御部112aは、上記の処理によって決定したフォーカスレンズの各区間の駆動速度と駆動時間に基づいて、フォーカスレンズを駆動する。
上記設定に従ったフォーカスレンズの駆動処理は、図20に示す設定となる。
レンズに依存したフォーカス駆動の加減速度を固定値Aとすると、
駆動時間(Tp)と駆動速度(v1)、駆動速度(v2)、駆動速度(v3)と駆動量(d)の関係式は以下のように示される。
d=(v1÷A×2×v1÷2)+(Tp−v1÷A×2)×(1/10)×v1
+(Tp−v1÷A×2)×(3/10)×v2
+(Tp−v1÷A×2)×(6/10)×v3
これにより、ユーザーが指でなぞった、なぞり速度の変化に応じてフォーカスレンズの駆動速度を変化されたAF制御が行われる。すなわち、始めは速くフォーカス駆動を行い、だんだんと遅くなりながらフォーカス合わせを行うことができる。
このように、本実施例3は、AF制御部112aは、ユーザーの「なぞり時間」と「なぞり量」に従って算出される「なぞり速度の変化」に応じて、フォーカスレンズの駆動速度を変化させる。具体的には、例えば図17の設定において、第1AF枠441の被写体に対する合焦状態から、第2AF枠442の被写体に対する合焦状態への遷移処理に際して、ユーザーのなぞり速度の変化に従ってフォーカスレンズの駆動速度を変化させる。この処理により、例えば動画再生時に、被写体Aから被写体Bに対する焦点の変更処理を、ゆっくりから速く、あるいは早くからゆっくりなど様々な設定で行わせて様々な変化を持つピント合わせ処理態様の動画再生効果を発揮させることができる。
以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、LAN(Local Area Network)、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
以上、説明したように、本発明の一実施例によれば、フォーカスレンズの駆動速度を変更可能としたフォーカス制御を実現する装置、方法が実現される。具体的には、表示部の表示画像の画像領域の選択情報を入力し、選択画像領域に含まれる被写体を合焦対象としたフォーカス制御を実行するフォーカス制御部を有する。フォーカス制御部は、ユーザーの操作情報に基づいてフォーカスレンズの駆動速度を決定し、決定したフォーカスレンズ駆動速度でフォーカスレンズを移動させる。例えば、表示部に対するユーザーのなぞり時間やなぞり量、あるいはタッチ継続時間などを計測し、これらの計測情報に応じてフォーカスレンズの駆動速度を決定し、決定したフォーカスレンズ駆動速度でフォーカスレンズを移動させる。
これらの処理により、例えばフォーカスポイントの変更処理をゆっくり、あるいは早くするなどの映像効果を持つ動画再生が可能となる。
100 撮像装置
101 フォーカスレンズ
102 ズームレンズ
103 撮像素子
104 アナログ信号処理部
105 A/D変換部
106 タイミングジェネレーター(TG)
107 垂直ドライバ
108 デジタル信号処理部(DSP)
110 制御部
112a AF制御部
112b ズーム制御部
113 モータ
115 記録デバイス
116 ビューファインダ
117 モニタ
118 操作部
119〜121 メモリ
151 AF領域
401 アイコン
402 AF枠
421,422 AF枠
431,432 AF枠
441,442 AF枠

Claims (11)

  1. 撮像素子に撮り込まれた画像を表示する表示部と、
    前記表示部の表示画像の画像領域の選択情報を入力し、選択画像領域に含まれる被写体を合焦対象としたフォーカス制御を実行するフォーカス制御部を有し、
    前記フォーカス制御部は、
    ユーザーの操作情報に基づいてフォーカスレンズの駆動速度を決定し、決定したフォーカスレンズ駆動速度でフォーカスレンズを移動させるフォーカス制御を行う撮像装置。
  2. 前記フォーカス制御部は、
    前記表示部に表示された合焦済みの第1画像領域から次の合焦対象の第2画像領域へのユーザーによるなぞり時間に応じてフォーカスレンズの駆動時間を決定し、決定したフォーカスレンズの駆動時間をフォーカスレンズ移動時間とするフォーカス制御を行う請求項1に記載の撮像装置。
  3. 前記フォーカス制御部は、
    前記決定したフォーカスレンズの駆動時間で、前記第2画像領域の被写体に対する合焦処理が完了するようにフォーカスレンズの駆動速度を決定し、決定したフォーカスレンズ駆動速度でフォーカスレンズを移動させる請求項2に記載の撮像装置。
  4. 前記フォーカス制御部は、
    前記表示部に表示された次の合焦対象の画像領域に対するユーザーによるタッチ継続時間に応じてフォーカスレンズの駆動時間を決定し、決定したフォーカスレンズの駆動時間をフォーカスレンズ移動時間とするフォーカス制御を行う請求項1に記載の撮像装置。
  5. 前記フォーカス制御部は、
    前記決定したフォーカスレンズの駆動時間で、前記次の合焦対象の画像領域の被写体に対する合焦処理が完了するようにフォーカスレンズの駆動速度を決定し、決定したフォーカスレンズ駆動速度でフォーカスレンズを移動させる請求項4に記載の撮像装置。
  6. 前記フォーカス制御部は、
    前記表示部に表示された合焦済みの第1画像領域から次の合焦対象の第2画像領域へのユーザーによるなぞり時間と単位時間当たりのなぞり量に応じてフォーカスレンズの駆動時間と駆動速度を決定し、決定したフォーカスレンズの駆動時間と駆動速度に従ってフォーカスレンズを移動させるフォーカス制御を行う請求項1に記載の撮像装置。
  7. 前記フォーカス制御部は、
    前記決定したフォーカスレンズの駆動時間と駆動速度で、前記第2画像領域の被写体に対する合焦処理が完了するようにフォーカスレンズを移動させるフォーカス制御を行う請求項6に記載の撮像装置。
  8. 前記フォーカス制御部は、
    前記表示部に表示された合焦済みの第1画像領域から次の合焦対象の第2画像領域へのユーザーによるなぞり時間の総時間を複数に分割し、分割区分単位のなぞり量に応じてフォーカスレンズの分割区分単位の駆動速度を決定し、決定したフォーカスレンズの分割区分単位の駆動速度に従ってフォーカスレンズを移動させるフォーカス制御を行う請求項6に記載の撮像装置。
  9. 前記撮像素子は、位相差検出方式によるフォーカス制御を実行する位相差検出画素を有するAF領域を多数備えた構成であり、
    前記フォーカス制御部は、
    ユーザーの表示部に対する接触領域に対応するAF領域を合焦対象のAF領域として選択する請求項1に記載の撮像装置。
  10. 撮像装置において実行するフォーカス制御方法であり、
    フォーカス制御部が、表示部の表示画像の画像領域の選択情報を入力し、選択画像領域に含まれる被写体を合焦対象としたフォーカス制御を実行するフォーカス制御ステップを実行し、
    前記フォーカス制御ステップは、
    ユーザーの操作情報に基づいてフォーカスレンズの駆動速度を決定し、決定したフォーカスレンズ駆動速度でフォーカスレンズを移動させるフォーカス制御を行うステップであるフォーカス制御方法。
  11. 撮像装置においてフォーカス制御を実行させるプログラムであり、
    フォーカス制御部に、表示部の表示画像の画像領域の選択情報を入力し、選択画像領域に含まれる被写体を合焦対象としたフォーカス制御を実行するフォーカス制御ステップを実行させ、
    前記フォーカス制御ステップにおいて、
    前記フォーカス制御部に、ユーザーの操作情報に基づくフォーカスレンズの駆動速度の決定処理と、決定したフォーカスレンズ駆動速度でのフォーカスレンズ移動処理によるフォーカス制御を行わせるプログラム。
JP2011035888A 2011-02-22 2011-02-22 撮像装置、およびフォーカス制御方法、並びにプログラム Ceased JP2012173531A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2011035888A JP2012173531A (ja) 2011-02-22 2011-02-22 撮像装置、およびフォーカス制御方法、並びにプログラム
CN2012100182918A CN102645818A (zh) 2011-02-22 2012-01-20 成像装置、聚焦控制方法和程序
US13/359,929 US20120212661A1 (en) 2011-02-22 2012-01-27 Imaging apparatus, focus control method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011035888A JP2012173531A (ja) 2011-02-22 2011-02-22 撮像装置、およびフォーカス制御方法、並びにプログラム

Publications (2)

Publication Number Publication Date
JP2012173531A true JP2012173531A (ja) 2012-09-10
JP2012173531A5 JP2012173531A5 (ja) 2014-02-27

Family

ID=46652426

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011035888A Ceased JP2012173531A (ja) 2011-02-22 2011-02-22 撮像装置、およびフォーカス制御方法、並びにプログラム

Country Status (3)

Country Link
US (1) US20120212661A1 (ja)
JP (1) JP2012173531A (ja)
CN (1) CN102645818A (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014069228A1 (ja) * 2012-11-05 2014-05-08 富士フイルム株式会社 画像処理装置、撮像装置、画像処理方法及びプログラム
WO2014157270A1 (ja) * 2013-03-29 2014-10-02 富士フイルム株式会社 画像処理装置、撮像装置、プログラム及び画像処理方法
JP2016157093A (ja) * 2015-02-26 2016-09-01 キヤノン株式会社 撮像装置及びその駆動方法
JP2017015871A (ja) * 2015-06-30 2017-01-19 キヤノン株式会社 フォーカス制御装置、撮像装置、フォーカス制御方法、プログラム、および記憶媒体
US11962888B2 (en) 2021-09-17 2024-04-16 Panasonic Intellectual Property Management Co., Ltd. Imaging apparatus with focus operation display information

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101838033B1 (ko) * 2011-11-25 2018-03-15 삼성전자 주식회사 사용자 디바이스의 영상 촬영 방법 및 장치
KR101842453B1 (ko) * 2012-03-23 2018-05-14 삼성전자주식회사 전자 장치에서 자동 초점 기능을 제어하기 위한 장치 및 방법
CN104798364B (zh) * 2012-06-07 2018-08-17 数位光学欧洲有限公司 Mems快速对焦照相机模块
US9531961B2 (en) 2015-05-01 2016-12-27 Duelight Llc Systems and methods for generating a digital image using separate color and intensity data
US9918017B2 (en) 2012-09-04 2018-03-13 Duelight Llc Image sensor apparatus and method for obtaining multiple exposures with zero interframe time
JP6094588B2 (ja) * 2012-09-11 2017-03-15 ソニー株式会社 撮像制御装置、撮像装置、および、撮像制御装置の制御方法
KR101918760B1 (ko) 2012-10-30 2018-11-15 삼성전자주식회사 촬상 장치 및 제어 방법
JP5786847B2 (ja) * 2012-12-19 2015-09-30 カシオ計算機株式会社 撮像装置、撮像方法及びプログラム
US9819849B1 (en) 2016-07-01 2017-11-14 Duelight Llc Systems and methods for capturing digital images
US10558848B2 (en) 2017-10-05 2020-02-11 Duelight Llc System, method, and computer program for capturing an image with correct skin tone exposure
US9807322B2 (en) 2013-03-15 2017-10-31 Duelight Llc Systems and methods for a digital image sensor
CN105051600B (zh) * 2013-03-29 2018-02-02 富士胶片株式会社 图像处理装置、摄像装置以及图像处理方法
JP6127869B2 (ja) * 2013-09-25 2017-05-17 ソニー株式会社 固体撮像素子及びその駆動方法、並びに電子機器
JP6555857B2 (ja) * 2013-10-11 2019-08-07 キヤノン株式会社 撮像装置およびその制御方法
JP5877406B2 (ja) * 2013-12-06 2016-03-08 パナソニックIpマネジメント株式会社 撮像装置及び撮像システム
CN104717417B (zh) * 2013-12-16 2018-06-01 展讯通信(上海)有限公司 一种成像系统快速自动对焦方法及装置
JP6438276B2 (ja) * 2014-11-04 2018-12-12 オリンパス株式会社 顕微鏡システム
US10924688B2 (en) 2014-11-06 2021-02-16 Duelight Llc Image sensor apparatus and method for obtaining low-noise, high-speed captures of a photographic scene
US11463630B2 (en) 2014-11-07 2022-10-04 Duelight Llc Systems and methods for generating a high-dynamic range (HDR) pixel stream
US12401911B2 (en) 2014-11-07 2025-08-26 Duelight Llc Systems and methods for generating a high-dynamic range (HDR) pixel stream
US12401912B2 (en) 2014-11-17 2025-08-26 Duelight Llc System and method for generating a digital image
US9787889B2 (en) * 2015-02-12 2017-10-10 Semiconductor Components Industries, Llc Dynamic auto focus zones for auto focus pixel systems
KR102272254B1 (ko) * 2015-02-13 2021-07-06 삼성전자주식회사 위상 검출 픽셀을 이용하여 깊이 맵을 생성하기 위한 영상 생성 장치
US12445736B2 (en) 2015-05-01 2025-10-14 Duelight Llc Systems and methods for generating a digital image
US9838590B2 (en) * 2016-03-16 2017-12-05 Omnivision Technologies, Inc. Phase-detection auto-focus pixel array and associated imaging system
CN112653838B (zh) 2016-08-31 2022-08-30 佳能株式会社 显示控制设备及其控制方法和存储介质
CN114449163A (zh) 2016-09-01 2022-05-06 迪尤莱特公司 基于焦点目标信息调整焦点的装置和方法
KR102818146B1 (ko) * 2016-11-29 2025-06-10 삼성전자 주식회사 전자 장치 및 전자 장치의 자동 초점 방법
JP7619263B2 (ja) * 2019-07-12 2025-01-22 ソニーグループ株式会社 撮像装置、撮像方法、プログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006084999A (ja) * 2004-09-17 2006-03-30 Fujinon Corp Afエリア操作システム
JP2011221284A (ja) * 2010-04-09 2011-11-04 Panasonic Corp 撮像装置

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2592985B2 (ja) * 1990-09-25 1997-03-19 キヤノン株式会社 撮像装置
JPH11136568A (ja) * 1997-10-31 1999-05-21 Fuji Photo Film Co Ltd タッチパネル操作式カメラ
US20030193600A1 (en) * 2002-03-28 2003-10-16 Minolta Co., Ltd Image capturing apparatus
US7593054B2 (en) * 2002-08-07 2009-09-22 Panasonic Corporation Focusing apparatus
JP4095370B2 (ja) * 2002-08-09 2008-06-04 キヤノン株式会社 画像処理装置及び再生装置
JP2004112034A (ja) * 2002-09-13 2004-04-08 Canon Inc 撮像装置
JP4040406B2 (ja) * 2002-09-20 2008-01-30 キヤノン株式会社 カメラシステム、カメラおよびレンズ装置
JP4532865B2 (ja) * 2003-09-09 2010-08-25 キヤノン株式会社 撮像装置および撮像装置のフォーカス制御方法
JP2005221602A (ja) * 2004-02-04 2005-08-18 Konica Minolta Photo Imaging Inc 撮像装置
JP4374574B2 (ja) * 2004-03-30 2009-12-02 富士フイルム株式会社 マニュアルフォーカス調整装置及び合焦アシスト・プログラム
JP4929630B2 (ja) * 2005-07-06 2012-05-09 ソニー株式会社 撮像装置、制御方法、およびプログラム
JP4712661B2 (ja) * 2006-09-22 2011-06-29 オリンパスイメージング株式会社 撮像装置
JP5553472B2 (ja) * 2007-07-10 2014-07-16 キヤノン株式会社 焦点調節装置、撮像装置、及びその制御方法
WO2009028139A1 (ja) * 2007-08-29 2009-03-05 Panasonic Corporation 撮像装置
JP2009069255A (ja) * 2007-09-11 2009-04-02 Sony Corp 撮像装置および合焦制御方法
JP2009229927A (ja) * 2008-03-24 2009-10-08 Olympus Corp オートフォーカス調節装置及び撮像装置
US8237807B2 (en) * 2008-07-24 2012-08-07 Apple Inc. Image capturing device with touch screen for adjusting camera settings
WO2010050200A1 (ja) * 2008-10-30 2010-05-06 パナソニック株式会社 カメラシステム
JP5415899B2 (ja) * 2008-10-30 2014-02-12 パナソニック株式会社 撮像装置
JP5202270B2 (ja) * 2008-12-12 2013-06-05 キヤノン株式会社 撮像装置
JP2011070178A (ja) * 2009-08-28 2011-04-07 Panasonic Corp レンズ鏡筒および撮像装置
JP4868075B2 (ja) * 2009-10-09 2012-02-01 株式会社ニコン 撮像装置
JP5177184B2 (ja) * 2010-07-30 2013-04-03 株式会社ニコン 焦点調節装置および撮像装置
US8525923B2 (en) * 2010-08-30 2013-09-03 Samsung Electronics Co., Ltd. Focusing method and apparatus, and recording medium for recording the method
KR101817650B1 (ko) * 2010-09-08 2018-01-11 삼성전자주식회사 초점 조절 장치
JP5848561B2 (ja) * 2011-09-20 2016-01-27 キヤノン株式会社 撮像装置及びその制御方法、プログラム、並びに記憶媒体
EP2667232A1 (en) * 2012-05-21 2013-11-27 Canon Kabushiki Kaisha Autofocus apparatus

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006084999A (ja) * 2004-09-17 2006-03-30 Fujinon Corp Afエリア操作システム
JP2011221284A (ja) * 2010-04-09 2011-11-04 Panasonic Corp 撮像装置

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014069228A1 (ja) * 2012-11-05 2014-05-08 富士フイルム株式会社 画像処理装置、撮像装置、画像処理方法及びプログラム
US9386228B2 (en) 2012-11-05 2016-07-05 Fujifilm Corporation Image processing device, imaging device, image processing method, and non-transitory computer-readable medium
WO2014157270A1 (ja) * 2013-03-29 2014-10-02 富士フイルム株式会社 画像処理装置、撮像装置、プログラム及び画像処理方法
US9456129B2 (en) 2013-03-29 2016-09-27 Fujifilm Corporation Image processing device, imaging device, program, and image processing method
JPWO2014157270A1 (ja) * 2013-03-29 2017-02-16 富士フイルム株式会社 画像処理装置、撮像装置、プログラム及び画像処理方法
JP2016157093A (ja) * 2015-02-26 2016-09-01 キヤノン株式会社 撮像装置及びその駆動方法
US9641742B2 (en) 2015-02-26 2017-05-02 Canon Kabushiki Kaisha Imaging device and method of driving imaging device
JP2017015871A (ja) * 2015-06-30 2017-01-19 キヤノン株式会社 フォーカス制御装置、撮像装置、フォーカス制御方法、プログラム、および記憶媒体
US11962888B2 (en) 2021-09-17 2024-04-16 Panasonic Intellectual Property Management Co., Ltd. Imaging apparatus with focus operation display information

Also Published As

Publication number Publication date
US20120212661A1 (en) 2012-08-23
CN102645818A (zh) 2012-08-22

Similar Documents

Publication Publication Date Title
JP2012173531A (ja) 撮像装置、およびフォーカス制御方法、並びにプログラム
JP6006024B2 (ja) 撮像装置、撮像方法およびプログラム
JP6457776B2 (ja) 撮像装置および撮像装置の制御方法
US20130155276A1 (en) Image capturing apparatus, and control method and program therefor
US9380200B2 (en) Image pickup apparatus and control method in which object searching based on an image depends on pixel combining on the image
JP4907740B2 (ja) 撮像装置
JP2013150210A (ja) 撮影装置
JP2011053379A (ja) 撮像装置及びその制御方法
JP7195790B2 (ja) 撮像装置及びその制御方法
JP6525809B2 (ja) 焦点検出装置及びその制御方法
JP6431429B2 (ja) 撮像装置およびその制御方法、プログラム、ならびに記憶媒体
JP5403111B2 (ja) 画像追尾装置
JP5409483B2 (ja) 撮像装置
JP2013210572A (ja) 撮像装置および撮像装置の制御プログラム
JP2008085737A (ja) 電子カメラ
JP2013113857A (ja) 撮像装置及びその制御方法
US20130242159A1 (en) Imaging device and display process method
KR20120068696A (ko) 촬상 장치 및 촬상 방법
JP2007133301A (ja) オートフォーカスカメラ
JP5069076B2 (ja) 撮像装置および連続撮像方法
JP2007225897A (ja) 合焦位置決定装置及び方法
JP3923056B2 (ja) カメラ付き携帯電話
JP2007279333A (ja) 合焦位置決定装置及び方法
JP2009025507A (ja) 撮像装置
JP2012027367A (ja) 焦点検出装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140115

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140115

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20141121

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141202

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141222

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150120

A045 Written measure of dismissal of application [lapsed due to lack of payment]

Free format text: JAPANESE INTERMEDIATE CODE: A045

Effective date: 20150526