JP2013236298A - 撮像装置 - Google Patents

Abstract

【課題】マルチ動画撮影において、全画角とＲＯＩとの両方を高いフレームレートで撮影することが可能な撮像装置を提供すること。
【解決手段】ＲＯＩ画像撮影モード設定部１０６１ａによって画角内でＲＯＩが設定される。ＲＯＩの設定に応じて、撮像素子制御部１０３は、撮像素子１０２における全画角に対応した画像信号の読み出し行とＲＯＩの画像信号の読み出し行とが設定される。全画角の画像信号とＲＯＩの画像信号とは同一行が読み出し行とならないように設定され、撮像素子制御部１０３により、全画角の画像信号とＲＯＩの画像信号とは同一の水平ライン期間内で読み出される。全画角の画像とＲＯＩの画像とは、信号処理部１０４において合成される。
【選択図】図１

Description

本発明は、動画撮影中に画角の全体の画像と一部の領域の画像とを同時に撮影することが可能な撮像装置に関する。

デジタルスチルカメラのような撮像装置は、近年、静止画撮影だけでなく、動画撮影も可能である。このような動画撮影機能を有する撮像装置の中には、画角の全体（全画角）の動画像とその動画像のうちの注目被写体を含む領域（ＲＯＩ；Region Of Interest）を切り出した動画像とを同時に撮影可能なものがある。このような同時撮影機能は、マルチ動画撮影機能等と呼ばれている。

このようなマルチ動画撮影に関する提案として、例えば特許文献１は、ＲＯＩの信号を高速に読み出す手法を提案している。具体的には、特許文献１は、ＲＯＩからの信号の読み出しを独立して実行できるように撮像素子を構成しておき、ＲＯＩからの信号を読み出す際には、他の領域から信号を読み出さないようにすることで高速化を図る手法を提案している。この他、特許文献１は、ＲＯＩ以外の領域のフレームレートをＲＯＩのフレームレートに対して落とすことによってＲＯＩからの信号の読み出しの高速化を図ることも提案している。

特開２００９−３０２９４６号公報

ここで、特許文献１の手法において、ＲＯＩ以外からの信号を読み出さないようにすると、全画角の画像を取得することができなくなる。一方、ＲＯＩ以外の領域のフレームレートを落とす場合、ＲＯＩの信号と全画角の信号との両方を取得できるが、ＲＯＩと全画角との両方を高フレームレートで再生することが困難である。

本発明は、前記の事情に鑑みてなされたもので、マルチ動画撮影において、全画角とＲＯＩとの両方を高いフレームレートで撮影することが可能な撮像装置を提供することを目的とする。

前記の目的を達成するために、本発明の一態様の撮像装置は、画角内の被写体を撮像して前記被写体に係る画像信号を得る撮像素子と、前記画角内において注目領域を設定する注目領域設定部と、前記画角の全範囲に対応した画像信号を読み出す第１の行群と前記注目領域に対応した画像信号を読み出す第２の行群とを前記撮像素子に対して設定し、前記撮像素子における前記第１の行群と前記第２の行群とからそれぞれ画像信号を読み出す制御を行う撮像素子制御部と、前記第１の行群から読み出した前記画角の全範囲に対応した画像信号に前記第２の行群から読み出した前記注目領域に対応した画像信号を合成する信号処理部と、を具備し、前記撮像素子制御部は、前記第１の行群と前記第２の行群とを異ならせることを特徴とする。

本発明によれば、マルチ動画撮影において、全画角とＲＯＩとの両方を高いフレームレートで撮影することが可能な撮像装置を提供することを目的とする。

本発明の一実施形態に係る撮像装置の概略の構成を示すブロック図である。 本発明の一実施形態における撮像素子及び撮像素子制御部の構成の一例を示す図である。 撮像素子の信号読み出し動作における各制御信号のタイミングを示すタイミングチャートである。 Ｂ画像高フレームレートモードの場合の信号読み出し動作について示す図である。 Ｂ画像高解像度の場合の信号読み出し動作について示す図である。 全画素読み出しモードの場合の信号読み出し動作について示す図である。 フィールド読み出しモードの場合の信号読み出し動作について示す図である。 読み出しモードの使い分けの例を示すフローチャートである。 ＲＯＩの自動設定の例について示す図である。 注目被写体の動き量とＢ画像のフレームレートとの関係を示す図である。

以下、図面を参照して本発明の実施形態を説明する。
図１は、本発明の一実施形態に係る撮像装置の概略の構成を示すブロック図である。図１に示す撮像装置は、光学系１０１と、撮像素子１０２と、撮像素子制御部１０３と、信号処理部１０４と、撮像装置制御部１０５と、撮影モード設定部１０６と、表示部１０７と、記録部１０８と、を有している。

光学系１０１は、図示しない被写体の像（被写体像）を撮像素子１０２に結像させる。この光学系１０１は、フォーカスレンズやズームレンズといった複数のレンズを有している。また、光学系１０１内に絞りを設けても良い。

撮像素子１０２は、光学系１０１を介して結像された被写体像を、その光量に応じた電気信号（画像信号）に変換する。撮像素子１０２は、画素が２次元状に配置された撮像面を有している。ここで、本実施形態における撮像素子１０２は、撮像面上の特定の注目領域（ＲＯＩ）に対応した画素からの画像信号を独立して読み出すことが可能に構成されている。なお、撮像素子１０２の詳細な構成については後で詳しく説明する。

撮像素子制御部１０３は、撮像素子１０２の信号蓄積制御及び信号読出制御をするための各種の制御信号を、撮像素子１０２に入力する。この撮像素子制御部１０３は、ＲＯＩ画像読出制御部１０３１を有している。ＲＯＩ画像読出制御部１０３１は、撮像素子１０２のＲＯＩに対応した画素から画像信号を独立して読み出すための制御信号を、撮像素子１０２に入力する。

信号処理部１０４は、撮像素子１０２から出力された画像信号に対して各種の信号処理を施す。信号処理部１０４は、マルチ画像信号処理部１０４１と、メモリ１０４２と、を有している。
マルチ画像信号処理部１０４１は、Ａ画像信号処理部１０４１ａと、Ｂ画像信号処理部１０４１ｂと、を有している。
Ａ画像信号処理部１０４１ａは、撮像素子１０２の全画角に対応した画素からの画像信号（Ａ画像という）に対して信号処理を施す。この信号処理は、例えば相関二重サンプリング（ＣＤＳ）や自動ゲイン調整（ＡＧＣ）といったアナログ信号処理、アナログの画像信号をデジタルの画像信号に変換するデジタル変換処理、及びホワイトバランス補正、デモザイク、カラーマトリクス演算及び階調補正といった画像の表示や記録をするために必要となる各種のデジタル信号処理が含まれる。
Ｂ画像信号処理部１０４１ｂは、撮像素子１０２のＲＯＩに対応した画素からの画像信号（Ｂ画像という）に対して信号処理を施す。この信号処理は、Ａ画像信号処理部１０４１ａと同一で良い。また、Ａ画像信号処理部１０４１ａとＢ画像信号処理部１０４１ｂとで信号処理のパラメータを異ならせても良い。
ここで、本実施形態においては、Ａ画像信号処理部１０４１ａの処理によって得られた全画角の画像データに、Ｂ画像信号処理部１０４１ｂの処理によって得られたＲＯＩの画像データを合成し、両者を合成した画像を表示部１０７に表示することが可能である。このような合成は、例えばＡ画像信号処理部１０４１ａにて行う。
また、Ｂ画像信号処理部１０４１ｂにおいて、ＡＥ（自動露出制御）のための評価値の算出及びＡＦ（自動合焦制御）ための評価値の算出を行うようにしても良い。
メモリ１０４２は、例えばＳＤＲＡＭ（Synchronous Dynamic RAM）であって、Ａ画像信号処理部１０４１ａとＢ画像信号処理部１０４１ｂの処理によって得られた画像データ等の各種のデータを一時的に記憶する。

撮像装置制御部１０５は、図１に示す撮像装置の動作を制御する。このために、撮像装置制御部１０５は、ＲＯＩ画像信号処理/撮像制御設定部１０５１を有している。ＲＯＩ画像信号処理/撮像制御設定部１０５１は、撮影モード設定部１０６での設定に応じて撮像素子制御部１０３と信号処理部１０４の動作を制御する。

撮影モード設定部１０６は、ユーザが手動で、撮像装置の撮影モードを設定するための操作部を有している。撮影モード設定部１０６の構成は特に限定されるものではない。例えばボタンであっても良いし、また表示部１０７に表示されたメニュー画面上でユーザが各種の設定を行うＧＵＩ（Graphical User Interface）であっても良い。
また、撮影モード設定部１０６は、ＲＯＩ画像撮影モード選択部１０６１ａを備えたマルチ画像設定部１０６１を有している。ＲＯＩ画像撮影モード選択部１０６１ａは、例えば、ユーザが手動によってＲＯＩ（注目領域）を設定するための操作部と、ユーザが手動によって動画記録時のＲＯＩの画像のフレームレートを設定するための操作部と、ユーザが手動によって動画撮影時の動作モードを設定するための操作部と、を有している。本実施形態における撮像装置は、動作モードの１つとしてマルチ動画撮影モードを有している。動作モードがマルチ動画撮影モードに設定された場合に、全画角の動画像とＲＯＩの動画像とを記録する制御が行われる。
なお、この撮影モード設定部１０６は、本実施形態の注目領域設定部として機能する。

表示部１０７は、信号処理部１０４における処理によって得られた画像データに対応した画像を表示する。前述したように、表示部１０７は、全画角の画像にＲＯＩの画像を重ねて得られた合成画像も表示可能である。なお、表示部１０７は、例えば液晶ディスプレイであるが、液晶ディスプレイに限るものではない。

記録部１０８は、信号処理部１０４における処理によって得られた画像データを所定の形式の画像ファイルとして記録する。Ａ画像信号処理部１０４１ａとＢ画像信号処理部１０４１ｂとの処理によってそれぞれ画像データが得られた場合には、これらの画像データを１つの画像ファイルとして記録部１０８に記録しても良いし、別個の画像ファイルとして記録部１０８に記録しても良い。

図２は、本実施形態における撮像素子１０２及び撮像素子制御部１０３の構成の一例を示す図である。ここで、図２の撮像素子１０２は、ＣＭＯＳ方式による構成例である。しかしながら、本実施形態における撮像素子１０２は、ＣＣＤ方式で構成されても良い。

撮像素子１０２は、撮像面２０１を有している。撮像面２０１には、光電変換素子（例えばフォトダイオード）を有する画素Ｐ１１、Ｐ１２、…、Ｐｎ４が二次元状に配置されている。そして、図２に示す画素のうち、同一行に配置された画素は、共通の水平読出し制御信号線φＶｙ（ｙ＝１、２、…、ｎ）に接続されている。水平読出し制御信号線φＶｙは、垂直走査回路２０２ａ及び２０２ｂに接続されている。また、図２に示す画素のうち、同一列に配置された画素は、共通の垂直信号線Ｈｘ（ｘ＝１、２、３、４）に接続されている。
それぞれの画素は、光学系１０１を介して入射した被写体からの光の量に応じた画像信号を蓄積する。そして、水平信号φＶｙがハイレベルとなった画素は、それまでに蓄積されていた画像信号を、水平走査回路Ａ２０４ａ又は水平走査回路Ｂ２０４ｂに出力する。
ここで、図２は、ｎ行４列で画素が配置されているが、画素の行数及び列数は任意である。

垂直走査回路Ａ２０２ａは、画素の行数に対応したｎ個のシフトレジスタのような垂直読出し制御部で構成されている。また、垂直走査回路Ａ２０２ａは、垂直走査制御信号線φＶＳＴＡ及びφＶＲＳＴＡに接続されている。信号線φＶＳＴＡ及びφＶＲＳＴＡは、垂直走査制御回路Ａ２０３ａに接続されている。垂直走査回路Ａ２０２ａは、信号φＶＳＴＡがハイレベルとなった垂直読出し制御部から、対応する行の画素信号を読み出すように水平読出し制御信号φＶｙのパルス状態（ハイまたはローレベル）を制御する。また、垂直走査回路Ａ２０２ａは、信号φＶＲＳＴＡがハイレベルとなったときに、垂直読出し制御部の状態をリセットする。

垂直走査回路Ｂ２０２ｂは、画素の行数に対応したｎ個のシフトレジスタのような垂直読出し制御部で構成されている。また、垂直走査回路Ｂ２０２ｂは、垂直走査制御信号線φＶＳＴＢ及びφＶＲＳＴＢに接続されている。信号線φＶＳＴＢ及びφＶＲＳＴＢは、垂直走査制御回路Ｂ２０３ｂに接続されている。垂直走査回路Ｂ２０２ｂは、信号φＶＳＴＢがハイレベルとなった垂直読出し制御部から、対応する行の画素信号を読み出すように水平読出し制御信号φＶｙのパルス状態（ハイまたはローレベル）を制御する。また、垂直走査回路Ｂ２０２ｂは、信号φＶＲＳＴＢがハイレベルとなったときに、垂直読出し制御部の状態をリセットする。

垂直走査制御回路Ａ２０３ａは、撮像素子制御部１０３に設けられるものであって、垂直走査制御信号線φＶＳＴＡ及びφＶＲＳＴＡのそれぞれを介して、垂直走査制御信号φＶＳＴＡ及び信号φＶＲＳＴＡを垂直走査回路２０２ａに入力する。

垂直走査制御回路Ｂ２０３ｂは、撮像素子制御部１０３のＲＯＩ画像読出制御部１０３１に設けられるものであって、垂直走査制御信号線φＶＳＴＢ及びφＶＲＳＴＢを介して、垂直走査制御信号φＶＳＴＢ及びφＶＲＳＴＢを垂直走査回路２０２ｂに入力する。

水平走査回路Ａ２０４ａは、画素の列数に対応した数（図２の例では４個）のシフトレジスタのような水平読出し制御部で構成されている。また、水平走査回路２０４ａは、水平走査制御信号線φＨＳＴＡ及びφＳＨＡに接続されている。信号線φＨＳＴＡ及びφＳＨＡは、水平走査制御回路Ａ２０５ａに接続されている。水平走査回路Ａ２０４ａは、信号φＳＨＡがハイレベルとなったときに、画素から入力された画像信号を保持（サンプルホールド）する。そして、水平走査回路Ａ２０４ａは、信号φＨＳＴＡがハイレベルとなった水平読出し制御部から、対応する列で保持していた画像信号を順次出力する。

水平走査回路Ｂ２０４ｂは、画素の行数に対応した数（図２の例では４個）のシフトレジスタのような水平読出し制御部で構成されている。また、水平走査回路２０４ｂは、水平走査制御信号線φＨＳＴＢ及びφＳＨＢに接続されている。信号線φＨＳＴＢ及びφＳＴＢは、水平走査制御回路Ｂ２０５ｂに接続されている。水平走査回路Ｂ２０４ｂは、信号φＳＨＢがハイレベルとなったときに、画素から入力された画像信号を保持（サンプルホールド）する。そして、水平走査回路Ｂ２０４ｂは、信号φＨＳＴＢがハイレベルとなった水平読出し制御部から、対応する列で保持していた画像信号を順次出力する。

水平走査制御回路Ａ２０５ａは、撮像素子制御部１０３に設けられるものであって、水平走査制御信号線φＨＳＴＡ及び信号線φＳＨＡのそれぞれを介して、水平走査制御信号φＨＳＴＡ及び信号φＳＨＡを水平走査回路２０４ａに入力する。

水平走査制御回路Ｂ２０５ｂは、撮像素子制御部１０３に設けられるものであって、水平走査制御信号線φＨＳＴＢ及び信号線φＳＨＢのそれぞれを介して、水平走査制御信号φＨＳＴＢ及び信号φＳＨＢを水平走査回路２０４ｂに入力する。

このように、本実施形態における撮像素子１０２は、垂直走査回路と水平走査回路とをそれぞれ複数有し、それぞれの走査回路から画像信号を読み出し可能である。

以下、本実施形態に係る撮像装置における、撮像素子１０２からの信号読み出し動作について説明する。図３は、撮像素子１０２の信号読み出し動作における各制御信号のタイミングを示すタイミングチャートであり、説明を簡単にするため画素の行数を４（ｎ＝４）とした例である。また、図３は、水平走査回路Ａ２０４ａから１行目と２行目の画素から画像信号を読み出し、水平走査回路Ｂ２０４ｂから３行目と４行目の画素から画像信号を読み出す例を示している。なお、図３における出力Ａは、水平走査回路Ａ２０４ａからの出力であることを示し、図３における出力Ｂは、水平走査回路Ｂ２０４ｂからの出力であることを示している。また、Ｐの添え字は、画素の位置と対応しており、また、Ｐの下に付記されている数字は、フレームの番号を示している。

垂直走査制御回路Ａ２０３ａが垂直走査制御信号φＶＲＳＴＡをハイレベルに変化させ、垂直走査制御回路Ｂ２０３ｂが垂直走査制御信号φＶＲＳＴＢをハイレベルに変化させると、垂直走査制御回路Ａ２０３ａ及びＢ２０３ｂの状態がリセットされる。

図３の例において、垂直走査制御回路Ａ２０３ａは、最初の水平ブランキング期間中に、垂直走査回路Ａ２０２ａの１行目の垂直読出し制御部に対応した垂直走査制御信号φＶＳＴＡをハイレベルとする。

垂直走査制御信号φＶＳＴＡがハイレベルとなったことを受けて、垂直走査回路Ａ２０２ａは、水平読出し制御信号φＶ１をハイレベルとする。また、このとき水平走査制御回路Ａ２０５ａは、水平走査制御信号φＳＨＡをハイレベルとする。これにより、画素Ｐ１１からＰ１４に蓄積されていた画像信号が水平走査回路２０４ａにおいて保持される。

一方、垂直走査制御回路Ｂ２０３ｂは、最初の水平ブランキング期間中に、垂直走査回路Ｂ２０２ａの３行目の垂直読出し制御部に対応した垂直走査制御信号φＶＳＴＢをハイレベルとする。

垂直走査制御信号φＶＳＴＢがハイレベルとなったことを受けて、垂直走査回路Ｂ２０２ｂは、水平読出し制御信号φＶ１と異なるタイミングで（図３の例では１パルス遅れで）水平読出し制御信号φＶ３をハイレベルとする。また、このとき水平走査制御回路Ｂ２０５ｂは、水平走査制御信号φＳＨＢをハイレベルとする。これにより、画素Ｐ３１からＰ３４に蓄積されていた画像信号が水平走査回路２０４ｂにおいて保持される。

図３に示すように、本実施形態においては、異なる行の水平読出し制御信号φＶｙが同タイミングでハイレベルとならないように制御する。異なる行の水平読出し制御信号φＶｙが同タイミングでハイレベルとならないように制御することにより、同一の水平ライン期間Ｈ内で複数の行の画素からの画像信号を、水平走査回路Ａ２０４ａと水平走査回路Ｂ２０４ｂとに振り分けることが可能となる。

水平走査回路Ａ２０４ａと水平走査回路Ｂ２０４ｂとにそれぞれ画像信号が保持された後、水平走査制御回路Ａ２０５ａは、水平走査制御信号φＨＳＴＡをハイレベルとする。また、水平走査制御回路Ｂ２０５ｂは、水平走査制御信号φＨＳＴＢをハイレベルとする。これにより、水平走査回路Ａ２０４ａに保持されていた１行目の画素からの画像信号が出力される。また、水平走査回路Ｂ２０４ｂに保持されていた３行目の画素からの画像信号が出力される。

図３の例において、垂直走査制御回路Ａ２０３ａは、次の水平ブランキング期間中に、垂直走査回路Ａ２０２ａは、水平読出し制御信号φＶ２をハイレベルとする。また、このとき水平走査制御回路Ａ２０５ａは、水平走査制御信号φＳＨＡをハイレベルとする。これにより、画素Ｐ２１からＰ２４に蓄積されていた画像信号が水平走査回路２０４ａにおいて保持される。

一方、垂直走査制御回路Ｂ２０３ｂは、水平読出し制御信号φＶ２と異なるタイミングで（図３の例では１パルス遅れで）水平読出し制御信号φＶ４をハイレベルとする。また、このとき水平走査制御回路Ｂ２０５ｂは、水平走査制御信号φＳＨＢをハイレベルとする。これにより、画素Ｐ４１からＰ４４に蓄積されていた画像信号が水平走査回路２０４ｂにおいて保持される。

水平走査回路Ａ２０４ａと水平走査回路Ｂ２０４ｂとにそれぞれ画像信号が保持された後、水平走査制御回路Ａ２０５ａは、水平走査制御信号φＨＳＴＡをハイレベルとする。また、水平走査制御回路Ｂ２０５ｂは、水平走査制御信号φＨＳＴＢをハイレベルとする。これにより、水平走査回路Ａ２０４ａに保持されていた２行目の画素からの画像信号が出力される。また、水平走査回路Ｂ２０４ｂに保持されていた４行目の画素からの画像信号が出力される。このようにして１フレーム期間の信号読み出し動作が終了する。

図３に示す１フレーム期間においては、水平走査回路Ａ２０４ａと水平走査回路Ｂ２０４ｂと両方から画像信号を出力させているが、本実施形態においては何れか一方から画像信号を出力させるようにすることもできる。図３に示す２フレーム目以後は、水平走査回路２０４ｂからの信号の出力タイミングを１水平ライン期間分だけ遅らせている。このような制御は、上記一連の走査制御を１水平ライン期間だけ遅らせることによって行うことができる。

本実施形態における撮像素子１０２は、図３で示したような読み出し動作を適宜組み合わせることによって種々の信号読み出しを行うことが可能である。

図４は、撮像素子１０２の全画角の画像信号（Ａ画像）に対してＲＯＩの画像信号（Ｂ画像）を高フレームレートで読み出すモード（以下、Ｂ画像高フレームレートモードという）の場合の信号読み出し動作について示す図である。図４（ａ）は、画素の行数が３６（ｎ＝３６）であって、領域３０１（８行目〜２４行目に含まれる領域）がＲＯＩに指定されている例を示す。

図４（ａ）に示すように、Ｂ画像高フレームレートモードにおいては、Ａ画像とＢ画像の両方を間引き読み出しする。図４（ａ）は、Ｂ画像高フレームレートモードにおける読み出しラインの例を示している。Ｂ画像高フレームレートモードにおいては、Ｂ画像を、奇数フレームと偶数フレームとに分けるフィールド読み出しすることによってフレームレートを向上させる。

Ｂ画像高フレームレートモードにおいては、Ａ画像とＢ画像とで同一の行からの画像信号の読み出しが行われないようにＡ画像の読み出し行（第１の行群）とＢ画像の読み出し行（第２の行群）とを設定する。例えば１、４、７、１０、…、１＋３ｋ（ｋ＝０、１、…、１１）の行の画像信号が画像Ａであるとすると、画像Ｂは、領域３０１に含まれて且つ１、４、７、１０、…、１＋３ｋ（ｋ＝０、１、…、１１）の行以外の行の画像信号とする。例えば、画像Ｂは、８、９、１１、１２、１４、１５、１７、１８、２０、２１、２３、２４行の画像信号とする。したがって、奇数フレームにおいては、８、１１、１４、…、８＋３ｌ（ｌ＝０、１、…、５）の行から画像信号を読み出し、偶数フレームにおいては、９、１２、１５、…、９＋３ｌ（ｌ＝０、１、…、５）の行から画像信号を読み出す。図４（ａ）の実線が、Ａ画像として読み出しをする行であり、図４（ａ）の破線が奇数フレームにおいてＢ画像として読み出しをする行であり、図４（ａ）の一点鎖線が偶数フレームにおいてＢ画像として読み出しをする行である。

図４（ｂ）に示すように、Ａ画像とＢ画像との画像信号の蓄積は、同タイミングで開始する。画像信号の蓄積は、１行目と８行目、４行目と１１行目、…、１６行目と２３行目、１９行目と９行目、２２行目と１２行目、…、３４行目と２４行目の順で行う。また、Ｂ画像高フレームレートモードにおいては、Ｂ画像の蓄積時間をＡ画像の蓄積時間よりも短く（例えば半分）とする。なお、撮像素子１０２の信号蓄積の制御方式がローリングシャッタ方式でない場合には、このような行単位での蓄積時間の制御は不要である。

前述のように、信号蓄積を行うと、図４（ｂ）に示すように、まず、８行目の画素の信号蓄積が完了する。このとき、垂直走査制御回路Ｂ２０５ｂは、水平読出し制御信号φＶ８をハイレベルとする。その後、図３で示した動作を経て、８行目の画素に対応した画像信号が水平走査回路Ｂ２０４ｂから出力される。

以後、水平ライン期間毎に、垂直走査制御回路Ｂ２０５ｂは、ハイレベルとする水平読出し制御信号φＶｙを３行ずつずらす。そして、２１行目の画素に対応した画像信号が水平走査回路Ｂ２０４ｂから出力されると、Ｂ画像の１フレーム分の読み出しが完了する。

続いて、１行目の画素の信号蓄積と９行目の画素の信号蓄積（ただし、９行目の画素の蓄積時間は１行目の画素の蓄積時間の半分である）とが完了する。このとき、垂直走査制御回路Ａ２０５ａは、水平読出し制御信号φＶ１をハイレベルとする。また、垂直走査制御回路Ｂ２０５ｂは、水平読出し制御信号φＶ１がハイレベルとなるのに遅れて、水平読出し制御信号φＶ９をハイレベルとする。その後、図３で示した動作を経て、１行目の画素に対応した画像信号が水平走査回路Ａ２０４ａから出力される。また、９行目の画素に対応した画像信号が水平走査回路Ｂ２０４ｂから出力される。

以後、水平ライン期間毎に、垂直走査制御回路Ａ２０５ａは、ハイレベルとする水平読出し制御信号φＶｙを３行ずつずらす。同様に、垂直走査制御回路Ｂ２０５ｂは、ハイレベルとする水平読出し制御信号φＶｙを３行ずつずらす。そして、３４行目の画素に対応した画像信号が水平走査回路Ａ２０４ａから出力されると、Ａ画像の１フレーム分の読み出しが完了する。Ｂ画像についてはＡ画像よりも蓄積時間が短いので、２フレーム分の読み出しが完了している。

図４（ｂ）に示すＢ画像高フレームレートモードにおいては、Ａ画像のフレームレートを落とさずに、Ｂ画像のフレームレートを向上させることが可能である。

図５は、撮像素子１０２の全画角の画像信号（Ａ画像）に対してＲＯＩの画像信号（Ｂ画像）を高解像度で読み出すモード（以下、Ｂ画像高解像度モードという）の場合の信号読み出し動作について示す図である。図５（ａ）も、図４（ａ）と同様、画素の行数が３６（ｎ＝３６）であって、領域３０１（８行目〜２４行目に含まれる領域）がＲＯＩに指定されている例を示す。

図５（ａ）に示すように、Ｂ画像高解像度モードにおいても、Ａ画像とＢ画像の両方を間引き読み出しする。図５（ａ）は、Ｂ画像高解像度モードにおける読み出しラインの例を示している。

Ｂ画像高解像度モードにおいても、Ａ画像とＢ画像とで同一の行からの画像信号の読み出しが行われないようにＡ画像の読み出し行（第１の行群）とＢ画像の読み出し行（第２の行群）とを設定する。例えば、１、４、７、１０、…、１＋３ｋ（ｋ＝０、１、…、１１）の行の画像信号が画像Ａであるとすると、画像Ｂは、領域３０１に含まれて且つ１、４、７、１０、…、１＋３ｋ（ｋ＝０、１、…、１１）の行以外の画像信号とする。例えば、画像Ｂは、８、９、１１、１２、１４、１５、１７、１８、２０、２１、２３、２４行の画像信号とする。Ｂ画像高解像度モードにおける画像信号の読み出しは、Ｂ画像高フレームレートモードと同一である。

図５（ｂ）に示すように、Ａ画像とＢ画像との信号蓄積は、同タイミングで開始する。信号蓄積は、１行目と８行目、４行目と１１行目、…、１６行目と２３行目、１９行目と９行目、２２行目と１２行目、…、３４行目と２４行目の順で行う。Ｂ画像高フレームレートモードにおいてはＢ画像の蓄積時間をＡ画像の蓄積時間の半分としたが、Ｂ画像高解像度モードにおいてはＢ画像の蓄積時間をＡ画像の蓄積時間と同じにする。なお、撮像素子１０２の信号蓄積の制御方式がローリングシャッタ方式でない場合には、このような行単位での蓄積時間の制御は不要である。

前述のように、信号蓄積を行うと、図５（ｂ）に示すように、まず、１行目の画素の蓄積と８行目の画素の信号蓄積が完了する。このとき、垂直走査制御回路Ａ２０５ａは、水平読出し制御信号φＶ１をハイレベルとする。また、垂直走査制御回路Ｂ２０５ｂは、水平読出し制御信号φＶ１がハイレベルとなるのに遅れて、水平読出し制御信号φＶ８をハイレベルとする。その後、図３で示した動作を経て、１行目の画素に対応した画像信号が水平走査回路Ａ２０４ａから出力される。また、８行目の画素に対応した画像信号が水平走査回路Ｂ２０４ｂから出力される。

以後、水平ライン期間毎に、垂直走査制御回路Ａ２０５ａは、ハイレベルとする水平読出し制御信号φＶｙを３行ずつずらす。同様に、垂直走査制御回路Ｂ２０５ｂは、ハイレベルとする水平読出し制御信号φＶｙを３行ずつずらす。そして、３４行目の画素に対応した画像信号が水平走査回路Ａ２０４ａから出力されると、Ａ画像の１フレーム分の読み出しが完了する。Ａ画像とＢ画像とは蓄積時間が同じであるが、Ｂ画像のほうの行数が少ないので、Ｂ画像のほうが先に読み出しが完了する。

図５（ｂ）に示すＢ画像高解像度モードにおいては、図５（ａ）に示すように、Ａ画像の１フレーム分の読み出しの完了時に、蓄積時間が同一であって異なる行の画像信号からなる３種類の画像が得られる。これらの３種類の画像を合成することにより、７行〜２５行の画像信号を画像Ｂとして用いることが可能である。これによって、Ｂ画像の解像度を向上させることが可能である。

図６は、撮像素子１０２の全画角の画像信号（Ａ画像）を間引かずに読み出すモード（以下、全画素読み出しモードという）の場合の信号読み出し動作について示す図である。全画素読み出しモードの場合、垂直走査制御回路Ａ２０３ａは、水平期間毎に、水平読出し制御信号φＶｙをφＶ１からφＶ３６まで順次ハイレベルとする。一方、垂直走査制御回路Ｂ２０３ｂは、動作を停止させる。

図６の例では、全画角の画像信号を読み出すことが可能である。ここでは、垂直走査制御回路Ａ２０３ａを動作させる例を説明したが、垂直走査制御回路Ｂ２０３ｂを動作させるようにしても良い。

図７は、撮像素子１０２の全画角の画像信号（Ａ画像）を間引いて読み出し、読み出したＡ画像からＲＯＩの画像信号（Ｂ画像）を取得するモード（以下、フィールド読み出しモードという）の場合の信号読み出し動作について示す図である。フィールド読み出しモードの場合、垂直走査制御回路Ａ２０３ａは、水平読出し制御信号φＶｙを３行毎に順次ハイレベルとし、フレーム（フィールド）毎にハイレベルとする水平読出し制御信号φＶｙをずらす。図７の実線が、フィールド１として読み出しをする行であり、図７の破線がフィールド２として読み出しをする行であり、図７の一点鎖線がフィールド３として読み出しをする行である。

フィールド読み出しモードにおいては、撮像素子１０２から出力されたＡ画像をＢ画像信号処理部１０４１ｂにも入力し、この入力されたＡ画像からＢ画像を切り出す。これにより、全画角の画像（Ａ画像）とＲＯＩの画像（Ｂ画像）とを取得できる。

以上、本実施形態においては、図４〜図７で示した４つの読み出しモードを撮像装置の状況に応じて使い分ける。図８は、読み出しモードの使い分けの例を示すフローチャートである。図８は、動画撮影時の例を示している。

図８において、撮像装置制御部１０５は、撮像装置の動作モードがマルチ動画撮影モードであるか否かを判定する（Ｓ１０１）。前述したように、マルチ動画撮影モードへの設定は、ＲＯＩ画像撮影モード選択部１０６１ａをユーザが操作することによって行われる。

Ｓ１０１において、動作モードがマルチ動画撮影モードであると判定した場合に、撮像装置制御部１０５は、ＲＯＩの設定を行う（Ｓ１０２）。ＲＯＩの設定は、ＲＯＩ画像撮影モード選択部１０６１ａをユーザが操作することによって行われるようにしても良いし、自動設定するようにしても良い。ＲＯＩの自動設定は、例えば図９に示すようにして画角内におけるＡＦエリアを検出してＲＯＩとする手法が考えられる。この際のＲＯＩのサイズは、固定サイズとしても良いし、ユーザが変更できるようにしても良い。ＡＦエリアは、例えば画角内の最もコントラストの高いエリアとする。また、画角内の顔エリアを検出してＲＯＩとする等、各種の手法によってＲＯＩを自動設定して良い。

ＲＯＩ設定の後、撮像装置制御部１０５は、Ｂ画像を高フレームレート化するか否かを判定する（Ｓ１０３）。マルチ動画撮影モードの設定がＢ画像高フレームレートモード又はＢ画像高解像度モードに設定されている場合には、Ｂ画像を高フレーム化すると判定する。このマルチ動画撮影モードの設定も、ＲＯＩ画像撮影モード選択部１０６１ａをユーザが操作することによって行われる。

Ｓ１０３において、Ｂ画像を高フレームレート化する、即ちマルチ動画撮影モードの設定がＢ画像高フレームレートモード又はＢ画像高解像度モードに設定されている場合に、撮像装置制御部１０５は、Ｂ画像のフレームレートを設定する（Ｓ１０４）。Ｂ画像のフレームレートは、ＲＯＩ内の注目被写体の動き量に応じて設定する。図１０は、注目被写体の動き量とＢ画像のフレームレートとの関係を示している。図１０は、注目被写体の動き量が大きくなるほど、Ｂ画像のフレームレートを上げる例を示している。これにより、動きのある注目被写体の画像を捉えやすくなる。なお、注目被写体の動き量は図１の信号処理部１０４に含まれる図示しない注目被写体動き検出部で検出される。

ここで、図１０は、注目被写体の動き量Ａ、Ｂ、Ｃ（Ａ＜Ｂ、Ｃ）に対してフレームレートを３段階（ａ＜ｂ＜ｃ）に変化させる例を示している。しかしながら、フレームレートは必ずしも３段階に変化させる必要はなく、例えば動き量に対して線形にフレームレートを変化させるようにしても良い。また、Ｂ画像のフレームレートを手動で設定できるようにしても良い。

Ｂ画像のフレームレートを設定した後、撮像装置制御部１０５は、Ｂ画像を高解像化するか否かを判定する（Ｓ１０５）。マルチ動画撮影モードの設定がＢ画像高解像度モードに設定されている場合には、Ｂ画像を高解像度化すると判定する。

Ｓ１０５において、ＲＯＩの画像を高解像度化する、即ちマルチ動画撮影モードの設定がＢ画像高解像度モードに設定されている場合に、撮像装置制御部１０５は、Ｂ画像高解像度モードの制御を行う（Ｓ１０６）。

Ｂ画像高解像度モードにおいて、撮像装置制御部１０５は、Ａ画像の開始行のアドレス情報、Ａ画像の終了行のアドレス情報、及びＡ画像のフレームレートの情報と、Ｂ画像の開始行のアドレス情報及び終了行のアドレス情報とＢ画像のフレームレートの情報を撮像素子制御部１０３に入力する。

撮像素子制御部１０３は、Ａ画像の開始行のアドレス情報に従って垂直走査制御信号φＶＳＴＡをハイレベルとする垂直読出し制御部を設定するとともに、Ａ画像の終了行のアドレス情報に従って垂直走査制御信号φＶＲＳＴＡをハイレベルとするタイミングを設定する。また、撮像素子制御部１０３は、Ａ画像のフレームレートに従って間引き数を設定する。

また、ＲＯＩ画像読出制御部１０３１は、Ｂ画像の開始行のアドレス情報に従って垂直走査制御信号φＶＳＴＢをハイレベルとする垂直読出し制御部を設定するとともに、Ｂ画像の終了行のアドレス情報に従って垂直走査制御信号φＶＲＳＴＢをハイレベルとするタイミングを設定する。また、ＲＯＩ画像読出制御部１０３１は、Ｂ画像のフレームレートに従って間引き数を設定する。

以上の設定の後、撮像素子制御部１０３は、図５で示したようにして、撮像素子１０２における信号蓄積及び信号読み出しを制御する。

撮像素子１０２における信号読み出しの後、Ａ画像信号処理部１０４１ａにおいてＡ画像に対する信号処理が行われるとともに、Ｂ画像信号処理部１０４１ｂにおいてＢ画像に対する信号処理が行われる。その後、Ａ画像とＢ画像が合成され、合成により得られた合成画像が表示部１０７に表示されたり、記録部１０８に記録されたりする（Ｓ１０７）。

Ｓ１０１において、動作モードがマルチ動画撮影モードでないと判定した場合に、撮像装置制御部１０５は、全画素読み出しモードの制御を行う（Ｓ１０８）。

全画素読み出しモードにおいて、撮像装置制御部１０５は、Ａ画像の開始行のアドレス情報、Ａ画像の終了行のアドレス情報、及びＡ画像のフレームレートの情報を撮像素子制御部１０３に入力する。撮像素子制御部１０３は、これらの情報に従って撮像素子１０２の全画素から画像信号を読み出す。

Ｓ１０３において、Ｂ画像を高フレームレート化しないと判定した場合に、撮像装置制御部１０５は、フィールド読み出しモードの制御を行う（Ｓ１０９）。

フィールド読み出しモードにおいて、撮像装置制御部１０５は、Ａ画像の開始行のアドレス情報、Ａ画像の終了行のアドレス情報、及びＡ画像のフレームレートの情報を撮像素子制御部１０３に入力する。撮像素子制御部１０３は、これらの情報に従って撮像素子１０２の画素から画像信号を間引いて読み出す。ここで、フィールド読み出しモードにおいては、Ａ画像をＢ画像信号処理部１０４１ｂにも入力し、Ｂ画像の切り出しをする。

Ｓ１０５において、ＲＯＩの画像を高フレームレート化しない、即ちマルチ動画撮影モードの設定がＢ画像高フレームレートモードに設定されている場合に、撮像装置制御部１０５は、Ｂ画像高フレームレートモードの制御を行う（Ｓ１１０）。

Ｂ画像高フレームレートモードにおいても、撮像装置制御部１０５は、Ａ画像の開始行のアドレス情報、Ａ画像の終了行のアドレス情報、及びＡ画像のフレームレートの情報と、Ｂ画像の開始行のアドレス情報及び終了行のアドレス情報とＢ画像のフレームレートの情報を撮像素子制御部１０３に入力する。

撮像素子制御部１０３は、Ａ画像の開始行のアドレス情報に従って垂直走査制御信号φＶＳＴＡをハイレベルとする垂直読出し制御部を設定するとともに、Ａ画像の終了行のアドレス情報に従って垂直走査制御信号φＶＲＳＴＡをハイレベルとするタイミングを設定する。また、撮像素子制御部１０３は、Ａ画像のフレームレートに従って間引き数を設定する。

また、ＲＯＩ画像読出制御部１０３１は、Ｂ画像の開始行のアドレス情報に従ってスタート信号φＶＳＴＢをハイレベルとする水平信号出力部を設定するとともに、Ｂ画像の終了行のアドレス情報に従って垂直走査制御信号φＶＲＳＴＢをハイレベルとするタイミングを設定する。また、ＲＯＩ画像読出制御部１０３１は、Ｂ画像のフレームレートに従って間引き数を設定する。

以上の設定の後、撮像素子制御部１０３は、図４で示したようにして撮像素子１０２における信号蓄積及び信号読み出しを制御する。前述したように、Ｂ画像高フレームレートモードにおいては、Ｂ画像の信号蓄積時間を、Ａ画像の信号蓄積時間の半分とする。

以上説明したように、本実施形態においては、全画角の画像信号とＲＯＩの画像信号とで読み出し行に重複が生じないようにし、また、全画角の画像信号とＲＯＩの画像信号とで水平読出し制御信号φＶｙの入力タイミングをずらすことにより、全画角の画像信号の撮像のフレームレートを維持したまま、ＲＯＩの画像信号の撮像のフレームレートを上げることが可能である。

このような全画角とＲＯＩとでフレームレートの異なる画像を再生することにより、例えば、ＲＯＩを高フレームレート読出しした場合には、全画角の画像に対してＲＯＩの画像をスローモーションで再生することが可能である。また、このときＲＯＩの画像のフレームレートの設定により、ＲＯＩの画像のスローモーション再生の際のモーションスピードを変更することも可能である。

また、本実施形態においては、ＲＯＩの画像に対する蓄積時間を制御することによって、ＲＯＩの画像の高フレームレート化を図ったり、ＲＯＩの画像の高解像度化を図ったりすることが可能である。

さらに、本実施形態における撮像素子１０２は、複数の読み出しモードで全画角の画像とＲＯＩの画像の読み出しが可能である、読み出しモードの使い分けを可能とすることでユーザに対する使い勝手の向上を図ることが可能である。

以上実施形態に基づいて本発明を説明したが、本発明は前述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。例えば、前述の実施形態では、全画角の画像と１つのＲＯＩの画像とを撮影する例を示している。しかしながら、ＲＯＩは、２つ以上設定されても良い。全画角の画像と、それぞれのＲＯＩの画像とで同一の行の画像信号を読み出さないように画像信号の読み出し行を制御することにより、図４、図５で示したのと同様の読み出しを２つ以上のＲＯＩが設定された場合であっても行うことができる。

さらに、前記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、前述したような課題を解決でき、前述したような効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。

１０１…光学系、１０２…撮像素子、１０３…撮像素子制御部、１０４…信号処理部、１０５…撮像装置制御部、１０６…撮影モード設定部、１０７…表示部、１０８…記録部、１０３１…ＲＯＩ画像読出制御部、１０４１…マルチ画像信号処理部、１０４１ａ…Ａ画像信号処理部、１０４１ｂ…Ｂ画像信号処理部、１０４２…メモリ、１０５１…ＲＯＩ画像信号処理/撮像制御設定部、１０６１…マルチ画像設定部、１０６１ａ…Ｂ画像撮影モード選択部

Claims (5)

1. 画角内の被写体を撮像して前記被写体に係る画像信号を得る撮像素子と、
   前記画角内において注目領域を設定する注目領域設定部と、
   前記画角の全範囲に対応した画像信号を読み出す第１の行群と前記注目領域に対応した画像信号を読み出す第２の行群とを前記撮像素子に対して設定し、前記撮像素子における前記第１の行群と前記第２の行群とからそれぞれ画像信号を読み出す制御を行う撮像素子制御部と、
   前記第１の行群から読み出した前記画角の全範囲に対応した画像信号に前記第２の行群から読み出した前記注目領域に対応した画像信号を合成する信号処理部と、
   を具備し、
   前記撮像素子制御部は、前記第１の行群と前記第２の行群とを異ならせることを特徴とする撮像装置。
2. 前記撮像素子制御部は、さらに、前記第２の行群における前記撮像素子の画像信号の蓄積時間を前記第１の行群における前記撮像素子の画像信号の蓄積時間よりも短くすることを特徴とする請求項１に記載の撮像装置。
3. 前記撮像素子は、
   前記被写体に係る画像信号を蓄積する画素と、
   前記画素に蓄積された画像信号を読み出す第１の読み出し部と、
   前記第１の読み出し部で読み出された画像信号を前記信号処理部に出力する第２の読み出し部と、
   を有し、
   前記撮像素子制御部は、前記第１の行群に対応した画素からの画像信号を第１の読み出し部によって読み出すタイミングと前記第２の行群に対応した画素からの画像信号を第１の読み出し部によって読み出すタイミングとをずらすことを特徴とする請求項１又は２に記載の撮像装置。
4. 前記撮像素子制御部は、注目領域の中の被写体の動き量に応じて、前記第２の読み出し行の間引き数を設定することを特徴とする請求項１乃至３の何れか１項に記載の撮像装置。
5. 前記注目領域設定部は、前記注目領域を自動設定することを特徴とする請求項１乃至４の何れか１項に記載の撮像装置。

Images