JP2005123749A - 撮像装置 - Google Patents

Abstract

【課題】 専用の処理シーケンスを用いることなく高画質な記録画像が得られる撮像装置を提供する。
【解決手段】 本露光動作の期間にライブビュー画像を表示する構成としたことによりＲＡＷデータが欠落した画素ラインにＲＡＷデータを補間または置換する。矢印Ａに示す画素ラインについて、左側の画素には矢印Ｃに示す２列上側に位置する記録画像用の画素ラインにおける左側のＧ（緑）の画素のＲＡＷデータを補間し、右側の画素には同じ画素ラインにおける右側のＢ（青）の画素のＲＡＷデータを補間する。矢印Ｂに示す画素ラインについて、左側の画素には矢印Ｄに示す２列上側に位置する画素ラインにおける左側のＲ（赤）の画素のＲＡＷデータを補間し、右側の画素には同じ画素ラインにおける右側のＧ（緑）の画素のＲＡＷデータを補間する。
【選択図】 図４

Description

本発明は、記録用の画素信号を生成するための露光動作中に被写体の画像を表示する機能を備えた撮像装置に関する。

従来、液晶表示器等の表示器を備えるデジタルカメラにおいて、露光中の被写体を表示器で確認できるようにする技術として、例えば特許文献１に記載の技術がある。

特許文献１には、撮像素子の画素配列面を、水平方向の２ラインごとに２つのフィールドに分割するとともに、一方のフィールドの画素列から得られる画像データを記録用として用い、他方のフィールドの画素列から得られる画像データを液晶表示器等への表示用として用いる技術が開示されている。
特開２００２−１３５６２６号公報

しかしながら、前記特許文献１の技術においては、撮像素子の画素数の略半分の画素から画像信号を読み出すこととなるから、高画素化された撮像素子を用いて被写体を撮像しても、この撮像素子の画素数に相応しい画質の画像を得ることは困難であり、高画素化された撮像素子の性能を記録画像の画質の点に十分に活かしているとは言い難い。

そこで、表示用として用いたことにより欠落する他方のフィールドの画像データを、一般的なデジタルカメラで行われる通常の画像処理に加えて別途専用の処理シーケンスにより補間するようにすると、撮像素子の画素数に相応しい画質の画像を得ることはできるが、上記のような専用の処理シーケンスを設けると、デジタルカメラのコストアップ等を招来することとなる。

本発明は、上記事情に鑑みてなされたもので、専用の処理シーケンスを用いることなく高画質な記録画像が得られる撮像装置を提供することを目的とする。

請求項１に記載の発明は、それぞれ異なる色を受光する複数種類の画素を備え、各画素を一方向に配列してなる画素ラインが前記一方向と交差する交差方向に複数配置してなる撮像素子と、所定の記録部に記録する記録用画素信号を生成するための露光動作の開始を前記撮像素子に指示するための入力操作部と、前記入力操作部により前記露光開始指示が行われると、前記撮像素子に露光動作を行わせるとともに、前記交差方向に並んで構成される複数の画素ラインのうち、一部の画素ラインに位置する複数の画素から所定の時間間隔でＲＡＷデータを出力させる撮像制御部と、前記露光開始指示後の所定のタイミングで、前記複数の画素以外の他の画素からＲＡＷデータを取得し、前記他の画素のＲＡＷデータに基づき前記複数の画素に対応するＲＡＷデータを補間する処理を含む画像処理を行う画像処理部と、前記画像処理部により生成された前記補間後のＲＡＷデータからＲＧＢ画像を生成する第１画像生成部と、前記第１画像生成部により生成されたＲＧＢ画像を前記所定の記録部に記録させる記録制御部とを備えることを特徴とする撮像装置である。なお、ＲＡＷデータとは、デジタル画像処理が行われる前の画像データ群をいう。

請求項２に記載の発明は、請求項１に記載の撮像装置において、前記画像処理部は、前記複数の画素に対応するＲＡＷデータとして、前記複数の画素の近傍に位置する画素のＲＡＷデータを用いて前記補間を行うことを特徴とするものである。

請求項３に記載の発明は、請求項２に記載の撮像装置において、前記撮像素子は、前記複数種類の画素がベイヤー配列してなるものであり、前記画像処理部は、一頂点で互いに接する４つの画素をブロックとし、前記複数の画素を含むブロックに属する各画素に対し、該ブロックに隣接するブロックに属する画素のＲＡＷデータを用いて代替のＲＡＷデータを補間または置換することを特徴とするものである。

請求項４に記載の発明は、請求項１ないし３のいずれかに記載の撮像装置において、前記複数の画素から得られるＲＡＷデータを所定の画素データに変換し、この画素データに基づくＲＧＢ画像を生成する第２画像生成部と、前記第２画像生成部により生成されたＲＧＢ画像を表示する画像表示部とを備えることを特徴とするものである。

請求項５に記載の発明は、請求項４に記載の撮像装置において、前記撮像素子は、前記複数種類の画素がベイヤー配列してなるものであり、前記第２画像生成部は、前記撮像素子に備えられる画素の直交する２の配列方向にそれぞれ（２ｎ＋１）列ごとに設定された所定の画素ラインの交点上に位置する画素から得られるＲＡＷデータに基づいて前記ＲＧＢ画像を生成することを特徴とするものである。（ｎは１以上の整数）

請求項６に記載の発明は、請求項１ないし５のいずれかに記載の撮像装置において、前記入力操作部は、さらに、前記所定の記録部に記録する画像を得るための前記撮像素子による露光動作の露光時間を指示する機能を有しており、前記画像生成部は、前記入力操作部により指示される露光時間が前記所定の時間より長いときに前記画像を生成することを特徴とするものである。

請求項１に記載の発明によれば、入力操作部により露光開始指示が行われると、前記撮像素子に露光動作を行わせるとともに、前記交差方向に並んで構成される複数の画素ラインのうち、一部の画素ラインに位置する複数の画素から所定の時間間隔でＲＡＷデータを出力させ、前記露光開始指示後の所定のタイミングで、前記複数の画素以外の他の画素からＲＡＷデータを取得し、前記他の画素のＲＡＷデータに基づき前記複数の画素に対応するＲＡＷデータを補間するようにしたので、前述したような専用の処理シーケンスを用いることなく高画質な記録画像（所定の記録部に記録するＲＧＢ画像）を得ることができる。

請求項２に記載の発明によれば、前記複数の画素に対応するＲＡＷデータとして、前記複数の画素の近傍に位置する画素のＲＡＷデータを用いて前記補間を行うようにしたので、できるだけ被写体像に忠実な画像を生成することができる。

請求項３に記載の発明によれば、撮像素子は、前記複数種類の画素がベイヤー配列してなるものであり、一頂点で互いに接する４つの画素をブロックとし、前記複数の画素を含むブロックに属する各画素に対し、該ブロックに隣接するブロックに属する画素のＲＡＷデータを用いて代替のＲＡＷデータを補間または置換するようにしたので、できるだけ被写体像に忠実な画像を生成することができる。

請求項４に記載の発明によれば、前記複数の画素から得られるＲＡＷデータを所定の画素データに変換して、この画素データに基づくＲＧＢ画像を生成し、この生成されたＲＧＢ画像を表示するようにしたので、前記記録用画素信号を生成するための露光動作を行いながら画像表示部に被写体像を表示することができる。

請求項５に記載の発明によれば、撮像素子は、前記複数種類の画素がベイヤー配列してなるものであり、撮像素子に備えられる画素の直交する２の配列方向にそれぞれ（２ｎ＋１）列ごとに設定された所定の画素ラインの交点上に位置する画素から得られるＲＡＷデータに基づいてＲＧＢ画像を生成するようにしたので、そのＲＡＷデータの配列もベイヤー配列となる。これにより、該ＲＡＷデータに基づいて生成する画像の歪みや偽色の無い又は少ない綺麗なＲＧＢ画像を生成することができる。

請求項６に記載の発明によれば、入力操作部は記録用画素信号を生成するための撮像素子による露光動作の露光時間を指示する機能を有し、入力操作部により指示される露光時間が前記所定の時間より長いときに前記画像を生成するようにしたので、入力操作部により指示される露光時間が前記所定の時間より長いときに、前記複数の画素以外の他の画素からＲＡＷデータに基づくＲＧＢ画像の所定の記録部への記録や、複数の画素から得られるＲＡＷデータに基づくＲＧＢ画像の画像表示部への表示を行うことができる。

本発明に係る撮像装置の実施形態について説明する。

図１は、撮像装置１の正面図、図２は、撮像装置１の背面図である。

図１、図２に示すように、撮像装置１は、電源ボタン２と、光学系３と、ＬＣＤ（Liquid Crystal Display）４と、光学ファインダー５と、内蔵フラッシュ６と、モード設定スイッチ７と、４連スイッチ８と、シャッターボタン９と、長秒モニタリングスイッチ１０とを備える。

電源ボタン２は、撮像装置１の電源のオンオフを切り替えるものである。

光学系３は、ズームレンズや図略のメカニカルシャッター等を備えてなり、ＣＣＤ（Charge Coupled Device）等の撮像素子１１（図３参照）の撮像面に、被写体の光学像を結像するものである。

ＬＣＤ４は、ライブビュー画像及び後述するメモリカードｍ（図３参照）に記録する画像（記録画像）の表示や、メモリカードｍに記録された画像の再生表示等を行うものである。

ライブビュー画像は、被写体の画像を記録するまでの期間、一定の周期（１／３０秒）でＬＣＤ４に切換表示される撮像素子１１で撮像された画像をいい、このライブビュー画像により、被写体の状態が略リアルタイムでＬＣＤ４に表示され、撮影者は被写体の状態をＬＣＤ４で確認することができる。

光学ファインダー５は、被写体が撮影される範囲を光学的に観察できるようにするものである。

内蔵フラッシュ６は、撮像素子１１への露光量が不足している場合等に、該被写体に照明光を照射するものである。

モード設定スイッチ７は、被写体像の撮影を行なう「撮影モード」と、メモリカードｍに記録された撮影画像をＬＣＤ４に再生表示する「再生モード」と、各種機能の設定を行うための「メニューモード」との間でモードの切換設定を行うためのスイッチである。モード設定スイッチ７は、上下にスライドする３接点のスライドスイッチからなり、下にセットすると撮像装置１は撮影モードに設定され、中央にセットすると再生モードに設定され、上にセットするとメニューモードに設定される。

４連スイッチ８は、詳細には説明しないが、ズームレンズの光軸方向への移動や、露出補正、あるいはＬＣＤ４に再生する記録画像のコマ送り等を行うためのスイッチである。また、本実施形態の撮像装置１は、撮影モードの種類として、プログラムＡＥモード、絞り優先ＡＥモード、シャッター速度優先ＡＥモード、マニュアルモード及びバルブ撮影モードが備えられており、モード設定スイッチ７によりメニューモードが設定された状態で４連スイッチ８が操作されることにより、これらのモードを切り換えることができる。

プログラムＡＥモードは、予め設定されたＡＥ（Auto Exposure）プログラムにしたがって絞り値とシャッタースピードとの組合せを自動的に設定するモードであり、絞り優先ＡＥモードは、撮影者により予め設定された絞り値でシャッタースピードを設定して撮像を行うモードであり、シャッター速度優先ＡＥモードは、撮影者により予め設定されたシャッタースピードで絞り値を設定して撮像を行うモードであり、マニュアルモードは、撮影者により予め設定されたシャッタースピードと絞り値とで撮像を行うモードである。

また、バルブ撮影モードは、図略のメカニカルシャッターを開閉するタイミングを撮影者がシャッターボタン９で指示するバルブ撮影を行うモードであり、シャッターボタン９が完全に押し切られる（以下、この操作を全押し操作という）ことで電子シャッターにより記録用の露光動作が開始され、シャッターボタン９の全押しが解除されることでメカニカルシャッターが閉じてその露光動作が終了される。したがって、このバルブ撮影モードでは、撮像装置１に比較的長時間（例えば１０秒など）露光させて被写体を撮影することができる。

シャッターボタン９は、２段階（半押し及び全押し）で押圧操作されるボタンであり、露出制御のタイミングを指示するためのものである。前記各撮影モードにおいて、シャッターボタン９が操作されていない状態では、１／３０（秒）毎に被写体の光学像が取り込まれ、ＬＣＤ４へのライブビュー画像の表示が行われる。また、撮像装置１は、前述のプログラムＡＥモード、絞り優先ＡＥモード、シャッター速度優先ＡＥモード及びマニュアルモードでは、シャッターボタン９が半押しされることで、ライブビュー画像の表示に加えてシャッタースピードや絞り値等の設定が行われる撮像待機状態に設定され、全押し操作されることで、メモリカードｍに記録する被写体の光学像が決定される。なお、バルブ撮影モードにおけるシャッターボタン９の機能は前述の通りである。

ここで、本実施形態の撮像装置１は、前述したいずれかの撮影モードの設定時であって後述の長秒モニタリングモードに設定された場合に、記録用の画素信号を生成するための露光動作（以下、本露光動作という）の開始がシャッターボタン９により指示されるまでの期間だけでなく、本露光動作の期間中にも、被写体の状態（より正確には、メモリカードｍに記録される画像の状態）をライブビュー画像としてリアルタイムでＬＣＤ４に表示するようにしているところに特徴を有している。

本露光動作の期間（記録用の画素信号の生成期間）は、プログラムＡＥモード及び絞り優先ＡＥモードでは、シャッターボタン９の全押し操作後であって、撮像装置１で算出されたシャッタースピードに相当するシャッター開放期間に相当し、シャッター速度優先ＡＥモードでは、シャッターボタン９の全押し操作後であって、予め撮影者により設定されたシャッタースピードに相当するシャッター開放期間に相当し、マニュアルモードでは、シャッターボタン９の全押し操作後、撮影者により予め設定された時間（露光時間）が経過するまでの期間に相当し、バルブ撮影モードではシャッターボタン９の全押し状態が継続している期間に略相当する。

長秒モニタリングスイッチ１０は、前述したいずれかの撮影モードの設定時において、本露光動作の期間が予め設定されたライブビュー画像の表示周期（例えば１／３０秒）より著しく長いときに、その本露光動作期間にもライブビュー画像をＬＣＤ４に表示するモード（長秒モニタリングモード）に設定するためのものであり、押圧する毎に、長秒モニタリングモードの設定／非設定が交互に切り換えられる。なお、この長秒モニタリングモードは、特にバルブ撮影モードが設定されている場合に有効なものであるため、以下の説明においては、撮像装置１がバルブ撮影モードに設定されている場合について説明することとする。

図３は、撮像装置１のシステムを示すブロック構成図である。同図において、図１，図２に示した部材と同一部材には同一の番号を付している。

撮像装置１は、光学系３と、ＬＣＤ４と、撮像素子１１と、タイミングジェネレータ１２と、信号処理部１３、Ａ／Ｄ変換部１４と、画像メモリ１５と、ＶＲＡＭ（Video Random Access Memory）１６と、操作部１７と、制御部１８とを備えて構成されている。

光学系３は、図１に示す光学系３に相当するものであり、前述したようにメカニカルシャッターを備える。

撮像素子１１は、例えばフォトダイオード等で構成される複数の光電変換素子がマトリックス状に２次元配列され、各光電変換素子の受光面に、例えばそれぞれ分光特性の異なるＲ（赤），Ｇ（緑），Ｂ（青）のカラーフィルタが１：２：１の比率で配設されてなるベイヤー配列のＣＣＤカラーエリアセンサである。以下、光電変換素子にカラーフィルタが配設されたものを撮像素子１１の画素という。撮像素子１１は、光学系３により結像された被写体の光像をＲ（赤），Ｇ（緑），Ｂ（青）各色成分のアナログの電気信号（画像信号）に変換し、Ｒ，Ｇ，Ｂ各色の画像信号として出力する。

撮像素子１１は、詳細には説明しないが、フォトダイオード等からなる受光部、垂直転送部、及び水平転送部等を備えてなるインターライン型の撮像素子であり、プログレッシブ転送方式により各画素の電荷が取り出される。すなわち、各受光部で蓄積された電荷は、垂直同期信号により垂直転送部に転送され、各垂直転送部に転送された電荷は、水平同期信号により水平転送路に近い画素から順に該水平転送路に転送されることにより画素信号として取り出される。このような撮像素子１１における各画素の出力信号の読出し（水平同期、垂直同期）等の撮像動作や、撮像素子１１による露光動作の開始及び終了のタイミングは、後述のタイミングジェネレータ１２等により制御される。

本実施形態においては、撮像装置１が、長秒モニタリングスイッチ１０により長秒モニタリングモードの設定時と非設定時とで、記録画像の生成方法が異なる。

すなわち、長秒モニタリングモードの非設定時には、例えばバルブ撮影モードの設定時においてシャッターボタン９の全押し操作の開始により本露光動作の開始（記録用の画素信号の生成開始）の指示が行われると、撮像素子１１の略全ての画素が、シャッターボタン９の全押し操作が解除されるまでの期間、画素信号が取り出されることなく露光動作を継続して行う。そのため、ＬＣＤ４には何も表示されない。その後、シャッターボタン９の全押し操作が解除されると、画素信号が取り出されることなく露光動作を継続して電荷を蓄積していたそれらの画素による本露光動作が終了しこれらの画素から画素信号が取り出され、その取り出された画素信号を用いて記録画像が生成される。

一方、長秒モニタリングモードの設定時には、撮像素子１１の複数の画素は、ライブビュー画像の表示用の画素（以下、ＬＶ表示用画素という）とメモリカードｍへの記録用の画素（以下、記録用画素という）とに予め分けて利用される。

具体的には、撮像素子１１の画素数とＬＣＤ４の表示画素数との比に応じて、ＬＣＤ４の縦方向（図２の矢印Ａ方向）に対応する撮像素子１１における垂直方向に並ぶ複数の画素ラインのうち一部の画素ラインに位置する画素がＬＶ表示用として用いられ、その他の画素ラインに位置する画素が記録画像用として用いられる。例えば、撮像素子１１の垂直方向における画素数が２８８０（個）、ＬＣＤ４の垂直方向における表示画素数が２４０（個）の場合には、図４に示すように、１２列の画素ライン毎に１列の画素ラインをライブビュー画像用として用いる。なお、図４では、撮像素子１１の横２列の画素ラインのみを図示したものである。

そして、シャッターボタン９の全押し操作の開始により本露光動作の開始（記録用の画素信号の生成開始）の指示が行われると、ＬＶ表示用画素及び記録用画素による露光動作が行われる。

また、本露光動作の期間、ＬＶ表示用画素から所定の時間間隔で画素信号が取り出され、その取り出された画素信号を用いて順次ライブビュー画像が生成される。これにより、ＬＣＤ４に一定の時間間隔でライブビュー画像が表示される。また、これと並行して、記録用画素は、画素信号が取り出されることなく露光動作を継続して行う。その後、シャッターボタン９の全押し操作の解除により記録用画素による本露光動作が終了し該記録用画素から画素信号が取り出されると、その取り出された画素信号を用いて記録画像が生成される。この記録画像の生成方法については後述する。

タイミングジェネレータ１２は、制御部１８から送信される基準クロックＣＬＫ０に基づいて、撮像素子１１の駆動制御信号、例えば積分開始／終了（露出開始／終了）のタイミング信号、各画素の受光信号の読出制御信号（水平同期信号，垂直同期信号等）等のクロック信号を生成し、撮像素子１１に出力する。

信号処理部１３は、撮像素子１１から出力されるアナログの画素信号に所定のアナログ信号処理を施すものである。信号処理部１３は、ＣＤＳ（相関二重サンプリング）回路とＡＧＣ（オートゲインコントロール）回路とを有し、ＣＤＳ回路により画素信号のノイズの低減を行い、ＡＧＣ回路により画素信号のレベル調整を行う。

Ａ／Ｄ変換部１４は、信号処理部１３により出力されたアナログのＲ，Ｇ，Ｂの画素信号を、複数のビットからなるデジタルの画素信号にそれぞれ変換するものである。

画像メモリ１５は、Ａ／Ｄ変換部１４から出力される画素信号を一時的に格納するとともに、この画像信号に対して制御部１８により後述の処理を行うための作業領域として用いられるメモリである。

ＶＲＡＭ１６は、ＬＣＤ４に再生表示される画像の画素信号のバッファメモリであり、ＬＣＤ４の画素数に対応した画素信号の記録容量を有する。

操作部１７は、シャッターボタン９のレリーズ操作を検出するスイッチ、モード設定スイッチ７、４連スイッチ８及び長秒モニタリングスイッチ１０等を含むものである。

制御部１８は、例えば制御プログラムを記憶するＲＯＭや一時的にデータを記憶するＲＡＭからなる記憶部（後述する第１、第２画像記憶部３０，３１を含む）が内蔵されたマイクロコンピュータからなり、上述した各部材の駆動を関連付けて制御するものである。

ここで、本露光動作中にもライブビュー画像をＬＣＤ４に表示する意義等について説明する。

長秒モニタリングモードの設定時において露光時間が長い（例えばバルブ撮影モードでシャッターボタン９が比較的長時間全押しされた等）ときに、シャッターボタン９の全押し操作開始以降に行われる撮像素子１１の露光動作によって得られる全ての画素信号を、メモリカードｍへの記録用として用いるように構成した場合、ライブビュー画像表示用として用いることのできる画素信号が無いため、シャッターボタン９の全押し中において、メモリカードｍに記録される画像の状態をライブビュー画像としてＬＣＤ４に表示することはできない。

また、本露光動作の期間に、前述のライブビュー画像をＬＣＤ４に表示する構成を備えた場合であっても、各時点における被写体の状態を示した画像をライブビュー画像として表示する構成では、次のような不具合が生じる。

図５は、シャッターボタン９の全押し操作が開始されてから１２秒間にわたって連続的に打ち上げられた３発の花火について、その１２秒間の期間における各時点でＬＣＤ４に表示されるライブビュー画像を示したものであり、この図５においては、各時点で、その１／３０秒前に撮像された被写体の状態がライブビュー画像として表示されている。

このようなライブビュー画像の表示方法では、この１２秒間のうちいずれかのタイミングで本露光動作の終了を指示しようとする場合に、その指示タイミングまでの花火の軌跡がＬＣＤ４に表示されないから、撮影者は、花火の状態を直接視認することで、例えば花火の状態が最も鮮やかになる等の所望の状態となるタイミングを予測し、その予測タイミングで撮像する被写体像を決定することとなる。

しかし、この場合、撮像装置１の一連の撮像動作が完了するまで、どのような画像が得られたのかが不明であり、また、メモリカードｍに記録された画像が所望の画像と大きく異なる場合がある。

以上の点に鑑みて、本実施形態では、撮像装置１に前述したような長秒モニタリングモードを備え、この長秒モニタリングモードの設定時には、シャッターボタン９の全押し操作が行われるまでの期間、すなわち本露光動作の開始が指示されるまでの期間に加えて、本露光動作の露光時間がライブビュー画像の表示周期（例えば１／３０秒）より著しく大きいとき、この本露光動作の期間（全押し状態が継続している期間に略相当）にもメモリカードｍに記録される画像の状態をライブビュー画像としてＬＣＤ４にリアルタイムで表示するようにしている。

そして、このような構成を実現するため、前述したように、撮像素子１１の複数の画素をＬＶ表示用画素と記録用画素とに分け、本露光動作が終了し画素信号が取り出されるまでの期間は、ＬＶ表示用画素で生成される画素信号を一定の周期（例えば１／１０秒）で読み出し、この読み出した画素信号を用いて順次ライブビュー画像を生成しＬＣＤ４に表示する。

また、本実施形態では、メモリカードｍに記録される画像の状態をＬＣＤ４に表示させるため、図６に示すように、長秒モニタリングモードの設定時において、記録用画素による本露光動作の期間、前回の周期で生成されたライブビュー画像（正確には後述の加算画像）と今回の周期で得られる画像とを加算することで、今回のライブビュー画像を生成することにより、各時点で撮像される画像を重畳したライブビュー画像を表示する。

例えば、図６に示すように、シャッターボタン９の全押し操作の開始から１２秒後には、その１２秒間の期間に時間差をもって打ち上げられた３発の花火があたかも同時に開いたかのように画像が重畳されたライブビュー画像が生成され、そのライブビュー画像がＬＣＤ４に表示される。

そして、撮像装置１は、シャッターボタン９の全押し操作の解除により記録用画素による本露光動作の終了が指示されると、記録用画素から出力される画素信号を用いて記録画像を生成する。その際、ＬＶ表示用画素からはライブビュー画像の表示のために画素信号が取り出されており、このままでは、このＬＶ表示用画素に対応する部分で画像が欠落するので、本実施形態の撮像装置１は、後述するように、この欠落した部分を記録用画素から得られる画素信号を用いて補間するようにしている。

以上のような構成を実現すべく、図３に示すように、制御部１８は、機能的に、第１撮像制御部１９、第１記録制御部２０、加算処理部２１、アスペクト補正処理部２２、第２撮像制御部２３、第２記録制御部２４、ＲＡＷ補間部２５、第１画像処理部２６、第２画像処理部２７、表示制御部２８、画像圧縮部２９、第１画像記憶部３０及び第２画像記憶部３１を備えている。

第１撮像制御部１９は、長秒モニタリングモードの設定時において、バルブ撮影モードに設定されてからシャッターボタン９により本露光動作の終了が指示されるまでの期間において、ＬＣＤ４の縦方向（図２の矢印Ａ方向）に対応する画素の配列方向において、所定の間隔を介して並ぶ複数の画素ラインをＬＶ表示用の画素ラインとして選定し、このＬＶ表示用画素に露光動作を行わせつつ該ＬＶ表示用画素から所定の周期（例えば１／３０秒）で画素信号を取り出す一方、記録用画素から画素信号を取り出さず露光動作を行わせるように、タイミングジェネレータ１２から撮像素子１１に出力されるクロック信号を制御するものである。

例えば、図４（ａ）は、撮像素子１１における垂直方向の複数の画素ラインのうち、１２列の画素ライン毎に１列の画素ラインがＬＶ表示用の画素ラインとして設定され、図４（ｂ）は、他の画素ラインは記録画像用の画素ラインとして設定されたものを示したものであり、第１撮像制御部１９は、シャッターボタン９により本露光動作の終了が指示されるまでの期間、ＬＶ表示用の画素ラインに位置する画素から所定の周期（例えば１／３０秒）で画素信号を取り出す一方、記録画像用の画素ラインからは画素信号を取り出さないで、露光動作を継続させる。

図７は、長秒モニタリングモードの設定時において、シャッターボタン９の全押し操作の開始から１２秒間にわたって連続的に打ち上げられた３発の花火について、前記開始タイミングから１秒経過した時点、４秒経過した時点、８秒経過した時点及び１２秒経過した時点を一例として、各時点においてＬＶ表示用画素から得られる画像（ａ）と、後述する加算処理後のデータを用いて生成される画像（ｂ）と、アスペクト補正後のデータを用いて生成される画像（ｃ）と、記録用画素から得られるＲＡＷデータを用いて生成される画像（ｄ）と、メモリカードｍに記録する記録画像（ｅ）とを示したものである。

本実施形態においては、シャッターボタン９の全押し操作の開始による本露光動作の開始後、例えば１秒経過した時点で記録用画素からＲＡＷデータを読み出したものと仮定した場合に得られる画像は図７（ｄ−１）に示すような画像となり、この図７（ｄ−１）における黒線Ｐは、本露光動作中にライブビュー画像を表示すべくＬＶ表示用画素の画素信号が用いられることにより欠落した部分である。

なお、第１撮像制御部１９は、長秒モニタリングモードの非設定時において、シャッターボタン９により本露光動作の開始が指示されるまでの期間は、上記と同様、ＬＶ表示用画素から所定の周期（例えば１／３０秒）で画素信号を取り出し、シャッターボタン９により本露光動作の開始が指示されると、撮像素子１１の略全ての画素により記録用の画素信号を生成するため、どの画素からも画素信号は取り出されない。したがって、本露光動作の期間は、ＬＣＤ４に何も表示されない。

第１記録制御部２０は、長秒モニタリングモードの設定時に、本露光動作の開始から終了までの期間において、ＬＶ表示用画素からＡ／Ｄ変換部１４等の処理を経て出力されるＲＡＷデータ（図７（ｄ）に示す黒線Ｐの部分に対応する画素信号）を、一時的に第１画像記憶部３０に記録するものである。第１画像記憶部３０に記録される、図７（ａ）に示すように、この黒線Ｐの部分に対応するＬＶ表示用画素から得られるＲＡＷデータは、図７（ａ）に示すように、該ＲＡＷデータから生成される画像を上下方向に隣接させた状態に対応する形で第１画像記憶部３０に記録される。

加算処理部２１は、長秒モニタリングモードの設定時に、本露光動作の開始後における第２番目の周期以降、第１画像記憶部３０にＲＡＷデータが記録されるたびに、それらのＲＡＷデータを順次加算処理し、この加算処理したデータを第１画像記憶部３０に記録するものである。

図７に示すように、本露光動作の開始後、例えば１秒経過した時点では、加算処理部２１は、その時点においてＬＶ表示用画素から出力されるＲＡＷデータからなる画像（ａ−１）と、その時点より１周期（例えば１／３０秒）前において加算処理されたＲＡＷデータからなる加算画像とを加算してなる加算画像（ｂ−１）を生成する。同様に、本露光動作の開始後、例えば４秒経過した時点、８秒経過した時点、１２秒経過した時点においても、加算処理部２１は、各時点でＬＶ表示用画素から出力されるＲＡＷデータからなる画像（ａ−２），（ａ−３），（ａ−４）と、その時点より１周期（例えば１／３０秒）前において加算処理されたＲＡＷデータからなる加算画像とを加算してなる加算画像（ｂ−２），（ｂ−３），（ｂ−４）を生成する。

このように、今回の周期で得られた画素信号からなる画像をＰｎ（ｎ＝１，２，…，ｋ−１，ｋ）と表すものとすると、ＬＶ表示用画素による露光動作及びこの露光動作により得られるＲＡＷデータの読み出しをｎ回繰り返して加算されたデータＧｎは、Ｇｎ＝Ｐ１＋Ｐ２＋…＋Ｐｎとなる。

アスペクト補正処理部２２は、図７（ｃ）に示すように、加算処理部２１により生成された加算画像をＬＣＤ４に表示する際に、この加算処理後のデータの画素数をＬＣＤ４のアスペクトに対応するように補正し、そのアスペクト補正後のデータを第２画像記憶部３１に記録するものである。これにより、長秒モニタリングモードの設定時において、本露光動作の期間（シャッターボタン９の全押し動作が行われている期間）、各時点における被写体の画像を重畳させたライブビュー画像（動体の軌跡が全て表示された画像）をＬＣＤ４に表示することができる。

第２撮像制御部２３は、本露光動作の終了が指示されたとき、長秒モニタリングモードの設定時では、記録用画素から画素信号を出力させるべくタイミングジェネレータ１２から撮像素子１１に出力されるクロック信号を制御し、長秒モニタリングモードの非設定時では、略全ての画素から画素信号を出力させるべくタイミングジェネレータ１２から撮像素子１１に出力されるクロック信号を制御するものである。

第２記録制御部２４は、第２撮像制御部２３による制御によりＡ／Ｄ変換部１４等を介して得られたＲＡＷデータを、一時的に第２画像記憶部３１に記録するものである。

ＲＡＷ補間部２５は、第２記録制御部２４により第２画像記憶部３１に記録されたＲＡＷデータを用いてＲＡＷ補間処理を行うものである。すなわち、例えば、ＲＡＷ補間部２５は、本露光動作がその開始から１２秒経過した時点で終了したものとすると、ＲＡＷ補間部２５は、ＬＶ表示のために欠落したＲＡＷデータ（図７（ｄ−４）に示す黒線部分Ｐの欠落した画像に対応するＲＡＷデータ）を、その時点で記録用画素からＡ／Ｄ変換部１４等の処理を経て得られるＲＡＷデータを用いて補間する。このＲＡＷ補間処理の詳細な内容については後述する。

第１画像処理部２６は、アスペクト補正処理部２２から出力されるアスペクト補正画像、長秒モニタリングモードの設定時にはＲＡＷ補間部２５から出力されるＲＡＷ補間後のＲＡＷデータ、及び長秒モニタリングモードの非設定時には第２画像記憶部３１に記録された略全てのＲＡＷデータから各画素の画素データ（以下、ＲＧＢ画素データという）を算出するものである。すなわち、第１画像処理部２６は、各画素について、例えば当該画素が左上隅に位置するような隣接する４つの画素（Ｇの画素が２つ、Ｒ，Ｂの画素がそれぞれ１つずつ）を選定し、この４つの画素のＲＡＷデータからＲＧＢ画像を生成する。

第２画像処理部２７は、第１画像処理部２６による処理後のＲＧＢ画像に対し、黒レベルを基準の黒レベルに補正する黒レベル補正、光源に応じた白の基準に基づいて、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の各色成分のデジタル信号のレベル変換を行うホワイトバランスの調整、Ｒ（赤），Ｇ（緑），Ｂ（青）の各色のデジタル信号のγ特性を補正するγ補正を行うものである。

表示制御部２８は、第２画像処理部２７から出力される画像をＬＣＤ４に表示させるべく、その画像の画素データをＶＲＡＭ１６に転送するものである。これにより、長秒モニタリングモードの非設定時には、本露光動作が開始されるまでの期間、また、長秒モニタリングモードの設定時には、本露光動作が開始されるまでの期間に加えて本露光動作期間中にも、ＬＣＤ４に被写体の状態（長秒モニタリングモードではメモリカードｍに記録される画像の状態）をライブビュー画像としてリアルタイムで表示することができる。

画像圧縮部２９は、第２画像処理部２７により上記各種の処理が施された記録画像の画素データに、２次元ＤＣＴ(Discrete Cosine Transform)変換、ハフマン符号化等のＪＰＥＧ（Joint Picture Experts Group）方式による所定の圧縮処理を施して圧縮画像データを生成し、この圧縮画像データに、撮影画像に関する情報（圧縮率等の情報）を付加した画像ファイルをメモリカードｍに記録するものである。

メモリカードｍには、画像データが時系列的に配列して記録され、各コマ毎に、ＪＰＥＧ方式により圧縮された圧縮画像が、撮影画像に関するインデックス情報（コマ番号、露出値、シャッタースピード、圧縮率、撮影日、撮影時のフラッシュのオンオフのデータ、シーン情報等の情報）とともに記録される。

次に、本実施形態の撮像装置１の特徴部分である長秒モニタリングモードの設定時における撮像処理を、図８に示すタイムチャートを用いて説明する。

図８に示すように、長秒モニタリングモードの設定時においては、時刻Ｔ＝Ｔ１でシャッターボタン９の全押し操作が行われるまで、ＬＶ表示用画素の画素信号によりライブビュー画像が生成され、表示制御部２８は、このライブビュー画像をＬＣＤ４に表示させる。なお、ここでは、撮像装置１がバルブ撮影モードに設定されていることを前提としているため、メカニカルシャッターは、シャッターボタン９の全押し操作が解除されるまで開放状態が継続され、ＬＶ表示用画素及び記録用画素はその解除時点まで継続して露光動作を行う。

そして、時刻Ｔ＝Ｔ１でシャッターボタン９の全押し操作が開始されると、第１撮像制御部１９は、その全押し開始タイミングより所定時間遅延した時刻Ｔ＝Ｔ２から、ＬＶ表示用画素に１／１０秒の周期で画素信号を出力させる一方、記録用画素からは画素信号を出力させることなく露光動作を継続して行わせる。

そして、第１記録制御部２０は、第１画像記憶部３０の記憶領域をクリアにした後、１／１０秒の周期でＬＶ表示用画素から読み出した画素信号を第１画像記憶部３０に記憶させる。この取得した画素信号がシャッターボタン９の全押し開始以降の第１回目の周期で得られたものである場合には、加算処理部２１による加算処理を実行せず、アスペクト補正処理部２２及び第２画像処理部２７は、アスペクト補正処理等の各種処理を施す。一方、前記読み出した画素信号が第２回目以降の周期で得られたものである場合には、加算処理部２１は、各時点でＬＶ表示用画素から出力され第１画像記憶部３０に記録された画像と、その時点より１周期前において生成された加算画像とを加算する加算処理を行った後、アスペクト補正処理部２２及び第２画像処理部２７は、アスペクト補正処理等の各種処理を施す。

そして、アスペクト補正処理等の処理が終了すると、表示制御部２８は、この処理後の画像をＬＣＤ４に表示させ、シャッターボタン９の全押し操作が解除されるまで前述の処理が繰り返し行われる。これにより、ＬＣＤ４には、各時点で撮像された画像が重畳されたライブビュー画像が表示される。

図８においては、ライブビュー画像の表示周期は、１／３０秒とされているため、ＬＶ表示用画素から次の周期で画素信号を取得するまでの間（１／１０秒間）、各周期で得られた画素信号により構成される画像が、それぞれ３回ずつＬＣＤ４に表示されることを示している。例えば、シャッターボタン９の全押し操作が開始されてから、第１回目の周期、すなわち「蓄積１」の期間でＬＶ表示用画素から得られた画素信号「出力１」が、「画像１」として３回ＬＣＤ４に表示される。また、第２回目以降の周期、例えば第２回目の周期である「蓄積２」の期間でＬＶ表示用画素から得られた画素信号「出力２」が、この画素信号により構成される「画像２」と前述の「画像１」とが加算され、この加算画像「画像１＋２」が３回ＬＣＤ４に表示される。また、図８においては、シャッターボタン９の全押し操作中におけるＬＶ表示用画素の画素信号の読み出し動作（垂直転送路への電荷の転送等）が５０回にわたって周期的に行われたことを示す。

そして、時刻Ｔ＝Ｔ３でシャッターボタン９の全押し操作が解除されると、メカニカルシャッターが閉じられその解除タイミングより所定時間遅延した時刻Ｔ＝Ｔ４で、シャッターボタン９の全押し操作の開始以降、露光動作を継続して行っていた記録用画素による露光動作が終了され、第２撮像制御部２３は、時刻Ｔ＝Ｔ２から時刻Ｔ＝Ｔ４までの「蓄積α」の期間、画素信号が読み出されることなく継続して行われた記録用画素による露光動作によって生成された画素信号「出力α」をその記録用画素に出力させ、第２記録制御部２０は、この画素信号「出力α」を第２画像記憶部３１に記憶させる。

その後、第２画像処理部２７は、第２画像記憶部３１に記憶された画素信号「出力α」に対し黒レベル補正等の処理を施した後、画像圧縮部２９は、圧縮処理を施してこの圧縮後の画像をメモリカードｍに記録する。なお、表示制御部２８は、シャッターボタン９の全押し操作が解除される直前に生成された加算画像「１＋…＋４９」に対してアスペクト補正処理等の各種処理を施された画像を所定時間ＬＣＤ４に表示させる。

次に、本実施形態の特徴部分である、前述のＲＡＷ補間部２５によるＲＡＷ補間処理について、図４を用いて説明する。

図４（ａ）は、撮像素子１１の全ての画素からＡ／Ｄ変換部１４等を介して出力されるＲＡＷデータの配列を示し、同図（ｂ）は、本露光動作の期間において、ＬＶ表示用及び記録画像用として用いられる画素を示し、同図（ｃ）は、本露光動作の期間にライブビュー画像を表示するように構成したことにより欠落したＲＡＷデータの補間方法を示すものである。

図４（ｂ）に示すように、記録画像用の画素から得られるＲＡＷデータにより構成される画像は、ＬＶ表示用の画素ライン分だけＲＡＷデータが垂直方向に所定間隔で欠落したものとなり、前述したように、本実施形態では、記録画像用の画素から得られるＲＡＷデータを用いて、この欠落した画素データを補間するようにしている。

その際、ＲＡＷデータの状態で補間処理を行うとともに、補間後の各ＲＡＷデータの配列をベイヤー配列とすれば、補間処理を行って長秒モニタリングモードの非設定時と同じサイズの画像を得る場合に、第２画像処理部２７以降の処理を長秒モニタリングモードの非設定時と共通化することができる。このことから、図４（ｃ）に示すように、例えば矢印Ａに示す画素ラインについて、左側の画素にはＧ（緑）の画素信号を、右側の画素にはＢ（青）のＲＡＷデータを補間し、また、例えば矢印Ｂに示す画素ラインについて、左側の画素にはＲ（赤）のＲＡＷデータを、右側の画素にはＧ（緑）のＲＡＷデータを補間するのが好ましい。

そこで、本実施形態では、欠落している画素のＲＡＷデータを、当該画素の画素ラインと同種の画素ラインに位置する画素のＲＡＷデータを用いて補間し、補間後のＲＡＷデータの配列がベイヤー配列となるようにしている。

また、被写体の形状が崩れるなど不自然な画像が生成されないように、補間先の画素に最も近接する同種のＲＡＷデータを用いて補間するようにしている。

具体的に、本実施形態では、矢印Ａに示す画素ラインについて、左側の画素には、矢印Ｃに示すように、欠落している画素の配列と同じであって、欠落している画素ラインに最も近い画素ライン（図４では２列上側に位置する画素ライン）における左側のＧ（緑）の画素のＲＡＷデータを補間し、右側の画素には、矢印Ｃに示すように、その画素ライン（２列上側に位置する画素ライン）における右側のＢ（青）の画素のＲＡＷデータを補間する。また、矢印Ｂに示す画素ラインについて、左側の画素には、矢印Ｄに示すように、欠落している画素の配列と同じであって、欠落している画素ラインに最も近い画素ライン（２列上側に位置する画素ライン）における左側のＲ（赤）の画素のＲＡＷデータを補間し、右側の画素には、その画素ライン（２列上側に位置する画素ライン）における右側のＧ（緑）の画素のＲＡＷデータを補間するようにしている。

これにより、第２画像処理部２７以降の処理を長秒モニタリングモードの非設定時と共通化することができるとともに、被写体の画像に歪みや偽色等の発生を防止または抑制することができる。

また、シャッターボタン９により本露光動作の開始が指示されるまでの期間においては、ＬＶ表示用の画素から得られるＲＡＷデータを用いてライブビュー画像を生成するようにしたので、長秒モニタリングモードの設定時において本露光動作の期間、ライブビュー画像を確実にリアルタイムでＬＣＤ４に表示することができる。

そして、ライブビュー画像を構成する各ＲＡＷデータの配列及び補間後のＲＡＷデータの配列がベイヤー配列となるようにそれぞれＲＡＷデータを選定し、第２画像処理部２７による画像処理等の処理が施される前のＲＡＷデータの状態で前述の補間処理を行うようにしたから、第２画像処理部２７以降の処理を長秒モニタリングモードの非設定時と共通化することができ、第２画像処理部２７による画像処理が施された後の画素データを用いて欠落部位への画素データの補間を行う構成に比して補間処理が複雑しない。

なお、本発明は、上記実施形態に限らず、次の実施形態（１）〜（１１）も採用可能である。

（１）上記実施形態においては、欠落している画素のＲＡＷデータを、当該画素の２列上側に位置する画素ラインの画素のＲＡＷデータを用いて補間するようにしたが、これに限らず、処理対象の画素ラインの２列下側に位置する画素ラインの画素のＲＡＷデータを用いて補間するようにしてもよいし、あるいは次のように補間処理を行うようにしてもよい。

図９〜図１１は、欠落している画像の補間処理方法の変形例を説明するための図である。

図９に示すように、上記実施形態（図４）と同様に画素が欠落したものとすると、矢印Ａに示す画素ラインについて、左側の画素には、矢印Ｃ，Ｅに示すように、２列上側及び２列下側に位置する各画素ラインのうち、左側に位置するＧ（緑）の各画素のＲＡＷデータの平均値を算出して、この平均値を当該画素のＲＡＷデータとして補間し、右側の画素には、矢印Ｃ，Ｅに示すように、２列上側及び２列下側に位置する各画素ラインのうち、右側に位置するＢ（青）の各画素のＲＡＷデータの平均値を算出して、この平均値を当該画素のＲＡＷデータとして補間する。

また、矢印Ｂに示す画素ラインについて、左側の画素には、矢印Ｄ，Ｆに示すように、２列上側及び２列下側に位置する各画素ラインのうち、左側に位置するＲ（赤）の各画素のＲＡＷデータの平均値を算出して、この平均値を当該画素のＲＡＷデータとして補間し、右側の画素には、矢印Ｄ，Ｆに示すように、２列上側及び２列下側に位置する各画素ラインのうち、右側に位置するＧ（緑）の各画素のＲＡＷデータの平均値を算出して、この平均値を当該画素のＲＡＷデータとして補間する。

これによっても、第２画像処理部２７以降の処理を長秒モニタリングモードの非設定時と共通化することができるとともに、上記実施形態よりさらに被写体の画像に歪みや偽色等の発生を防止または抑制することができる。

図１０（ａ）においては、斜線で示すように、隣接する４つの画素を１つのブロックとし、ブロック単位で処理を行うものである。

図１０（ａ）に示すように、欠落している画素ライン（矢印Ａ，Ｂで示す画素ライン）の画素を含むブロックＢＲ１，ＢＲ２に属する画素のＲＡＷデータを、該ブロックＢＲ１，ＢＲ２に隣接するブロックＢＲ３，ＢＲ４の画素のＲＡＷデータを用いて設定する。

具体的には、矢印Ａに示す画素ラインについて、左側の画素には、ブロックＢＲ１と上側で隣接するブロックＢＲ３の左上部に位置するＧ（緑）のＲＡＷデータを、右側の画素には、ブロックＢＲ３の右上部に位置するＢ（青）のＲＡＷデータを補間する。また、矢印Ｇに示す画素ラインについて、左側のＲ（赤）の画素のＲＡＷデータを、ブロックＢＲ３の左下部に位置するＲ（赤）のＲＡＷデータに置換し、右側のＧ（緑）の画素のＲＡＷデータを、ブロックＢＲ３の右下部に位置するＧ（緑）のＲＡＷデータに置換する。

同様に、矢印Ｂに示す画素ラインについて、左側の画素には、ブロックＢＲ２と上側で隣接するブロックＢＲ４の左上部に位置するＲ（赤）のＲＡＷデータを、右側の画素には、ブロックＢＲ４の右上部に位置するＧ（緑）のＲＡＷデータを補間する。また、矢印Ｈに示す画素ラインについて、左側のＧ（緑）の画素のＲＡＷデータを、ブロックＢＲ４の左下部に位置するＧ（緑）のＲＡＷデータに置換し、右側のＢ（青）の画素のＲＡＷデータを、ブロックＢＲ４の右下部に位置するＢ（青）のＲＡＷデータに置換する。

このように、欠落した画素に、近傍に位置する同色の画素のＲＡＷデータを補間または置換するだけでよいから、比較的簡単な処理で自然な記録画像を得ることができる。また、この場合は、ブロック単位で補間するため、画素ライン単位で補間する場合に比して、直線等の画像の再現において優れている。

なお、図１０（ａ）においては、処理対象の画素ラインとその下の画素ラインとでブロックを構成し、このブロックに属する画素のＲＡＷデータを、該ブロックの上側に隣接するブロックに属する画素のＲＡＷデータで補間または置換するようにしたが、これに限られない。

例えば、図１０（ｂ）に示すように、処理対象の画素ラインとその上の画素ラインとでブロックＢＲ５，ＢＲ７を構成し、このブロックＢＲ５，ＢＲ７に属する画素のＲＡＷデータを、該ブロックＢＲ５，ＢＲ７の上側に隣接するブロックＢＲ６，ＢＲ８に属する画素のＲＡＷデータで補間または置換してもよい。あるいは、図１０（ｃ）に示すように、処理対象の画素ラインとその下の画素ラインとでブロックＢＲ９，ＢＲ１１を構成し、このブロックＢＲ７，ＢＲ１１に属する画素のＲＡＷデータを、該ブロックＢＲ７，ＢＲ１１の下側に隣接するブロックＢＲ１０，ＢＲ１２に属する画素のＲＡＷデータで補間または置換するようにしてもよい。

図１１においては、斜線で示すように、隣接する４つの画素を１つのブロックとし、ブロック単位で処理を行う点は図１０と同様であるが、処理対象の画素ラインとその上の画素ライン又はその下の画素ラインとでブロックを構成し、このブロックに属する画素のＲＡＷデータを、該ブロックの両側に隣接するブロックに属する画素の平均のＲＡＷデータで補間または置換するものである。

図１１（ａ）に示すように、矢印Ａについては、その下側の矢印Ｉで示す画素ラインとで１つのブロックＢＲ１３を構成している。そして、矢印Ａに示す画素ラインについて、左側の画素には、ブロックＢＲ１３と上側及び下側で隣接するブロックＢＲ１４及びＢＲ１５のそれぞれ左上部に位置する各Ｇ（緑）の画素の平均のＲＡＷデータを補間し、右側の画素には、ブロックＢＲ１４及びＢＲ１５のそれぞれ右上部に位置する各Ｂ（青）の画素の平均のＲＡＷデータを補間する。

また、矢印Ｉに示す画素ラインについて、左側のＲ（赤）の画素のＲＡＷデータを、ブロックＢＲ１４及びＢＲ１５のそれぞれ左下部に位置するＲ（赤）のＲＡＷデータに置換し、右側のＧ（緑）の画素のＲＡＷデータを、ブロックＢＲ１４及びＢＲ１５のそれぞれ右下部に位置するＧ（緑）のＲＡＷデータに置換する。

また、図１１（ｂ）に示すように、矢印Ｂについては、その上側の矢印Ｊで示す画素ラインとで１つのブロックＢＲ１６を構成している。そして、矢印Ｂに示す画素ラインについて、左側の画素には、ブロックＢＲ１６と上側及び下側で隣接するブロックＢＲ１７及びＢＲ１８のそれぞれ左上部に位置する各Ｇ（緑）の画素の平均のＲＡＷデータを補間し、右側の画素には、ブロックＢＲ１７及びＢＲ１８のそれぞれ右上部に位置する各Ｂ（青）の画素の平均のＲＡＷデータを補間する。

また、矢印Ｊに示す画素ラインについて、左側のＧ（緑）の画素のＲＡＷデータを、ブロックＢＲ１７及びＢＲ１８のそれぞれ左下部に位置するＧ（緑）のＲＡＷデータに置換し、右側のＢ（青）の画素のＲＡＷデータを、ブロックＢＲ１７及びＢＲ１８のそれぞれ右下部に位置するＢ（青）のＲＡＷデータに置換する。

この場合においても、欠落した画素に、近傍に位置する同色の画素の平均のＲＡＷデータを補間または置換するだけでよいから、比較的簡単な処理で自然な記録画像を得ることができる。

（２）上記実施形態では、ライブビュー画像を生成するに際し、列単位でＬＶ表示用画素を選定するようにしたが、これに限らず、図１２に示すように、垂直方向及び水平方向に所定の間隔を介して離間した画素（白黒反転表示した画素）を選定してもよい。

その際、ＬＶ表示用の画素として選定される画素の配列がベイヤー配列となるように、垂直方向及び水平方向に（２ｎ＋１）（ｎは１以上の整数）ごとに、ＬＶ表示用の画素を選定すればよい。

例えば、図１２においては、ｎ＝２として垂直方向及び水平方向に５列ごとにＬＶ表示用画素を選定している（ＬＶ表示用画素を黒塗りで示している）。つまり、図１２において、上から垂直方向下側及び左から水平方向右側にそれぞれ番号を付したとき、垂直方向に上から４列目、９列目及び１４列目で、且つ水平方向に左から２列目及び７列目に位置する画素のＲＡＷデータを用いてライブビュー画像を生成している。

図１３は、このように構成した場合であって長秒モニタリングモードの設定時に、シャッターボタンの全押し操作が開始されてから１２秒間にわたって連続的に打ち上げられた３発の花火について、１秒経過した時点、４秒経過した時点、８秒経過した時点及び１２秒経過した時点を一例として、各時点において、ＬＶ表示用画素のＲＡＷデータを用いて生成される画像（ａ）と、加算処理後のＲＡＷデータを用いて生成される画像（ｂ）と、記録用画素のＲＡＷデータを用いて生成される画像（ｃ）と、メモリカードｍに記録する記録画像（ｄ）を示した図である。

図１３（ｂ）に示すように、シャッターボタン９の全押し操作後、仮に例えば１秒経過した時点において記録画像用の画素から読み出したＲＡＷデータから得られる画像は、図１３（ｃ）に示すような画像となり、ＬＶ表示用の画素から出力されるＲＡＷデータは、この図１３（ｃ）において黒点Ｐ’の部分に対応するものとなり、仮にこのＲＡＷデータにより画像を生成すると、図１３（ａ）に示すものとなる。

そして、このようにＬＶ表示用の画素を選定した場合に、本露光動作が終了すると、最近接の同色画素のＲＡＷデータを用いて補間すればよい。図１２において、例えば矢印Ｐに示すＧ（緑）の画素については、斜線で示す周囲に位置する４つのＧ（緑）の画素から得られるＲＡＷデータの平均値を、その画素のＲＡＷデータとすればよい。

なお、図１２では、垂直方向及び水平方向の両方向について５列ごとにライブビュー画像用の画素を選定するものを示したが、これに限られず、７列ごとや１１列ごとにＬＶ表示用画素を選定してもよく、また、例えば垂直方向には５列ごとに、水平方向には７列ごとにＬＶ表示用画素を選定するというように、各方向でライブビュー画像表示用の画素として選定する画素ラインの間隔が異なってもよい。

（３）上記実施形態では、被写体の画像を表示するものとしてＬＣＤ４を備え、ＬＣＤ４にライブビュー画像等を表示するようにしたが、これに限らず、光学ファインダー５の代わりに電子ビューファインダーが備えられている場合には、電子ビューファインダーにもライブビュー画像を表示するようにしてもよい。

（４）上記実施形態では、１２列毎に１つの画素ラインに位置する画素をライブビュー画像用として用いるようにしたが、この割合に限らず、垂直方向における、撮像素子１１の画素数とＬＣＤ４の表示画素数との比に応じて、例えば６列毎に１つの割合で、あるいは１６列に１つの割合等に設定することができる。

（５）上記実施形態では、ＬＶ表示用画素の配列がベイヤー配列となるように、図４（ｂ）に示すように、垂直方向に交互に異種の画素ラインをＬＶ表示用して選定したが、特に高画素化された撮像素子を用いた場合には、図１４に示すように、各周期において、垂直方向に同種の画素ラインが所定数連続するようにライブビュー画像の画素ラインを選定し、これらの画素ラインに位置する画素からＲＡＷデータを読み出し、この連続する同色画素のＲＡＷデータを加算して１のＲＡＷデータとしてライブビュー画像や記録画像を生成するようにすると、画素の縮小化による露光量の不足を補うことができる。

（６）上記実施形態においては、撮像装置１がバルブ撮影モードの設定時であって長秒モニタリングモードに設定されたときの利点について説明したが、マニュアルモードを始めとする他の撮影モードの設定時であって長秒モニタリングモードに設定された場合においても、前述のように撮像素子１１の複数の画素をＬＶ表示用と記録用とに分け、本露光動作中には、ＬＶ表示用の画素から画素信号を読み出してライブビュー画像を表示するとともに、本露光動作が終了すると記録用画素から画素信号を得て記録画像を生成するようにしてもよい。

（７）上記実施形態では、撮像素子を駆動するための駆動制御信号の生成の容易さの点から、プログレッシブ転送方式の撮像素子を採用したが、インターレース転送方式の撮像素子を採用した撮像装置にも本発明を適用可能である。

（８）上記実施形態では、画像を記録する手段として、メモリカードｍを採用したが、これに限られず、当該撮像装置１が、例えばコンピュータなど記憶容量を有する機器と、通信ケーブル、あるいは通信ネットワークを介して通信可能に構成されている場合には、そのコンピュータ等の機器に画像を記録するようにしてもよい。

（９）本発明は、図１５に示すように、八角形状の画素が市松格子状に配設された所謂ハニカムＣＣＤにも採用可能である。

すなわち、図１５に示すように、隣接するＲＧＢの画素の列を１の画素ライン（例えばＲ１，Ｒ２）とみなした上で、上記実施形態と同様に、ＬＶ表示用として使用する画素ラインを選定するようにしてもよい。あるいは、Ｒ，Ｂの画素の列を１の画素ライン、Ｇの画素の列を１の画素ラインとみなし、上記実施形態と同様に、ＬＶ表示用として使用する画素ラインを選定するようにしてもよい。この場合、画像の歪みや偽色の少ない綺麗なライブビュー画像を得るため、ＬＶ表示用として取り出した画素信号の配列について、Ｒ，Ｂの画素ラインとＧの画素ラインとから垂直方向（図２１の縦方向）に交互に画素信号を取り出すようにするのが好ましい。

（１０）前記実施形態においては、撮像素子１１として、各光電変換素子の受光面に原色フィルター（Ｒ（赤），Ｇ（緑），Ｂ（青）のカラーフィルタ）を配設したＣＣＤを採用したが、これに限られず、補色フィルター（Ｃ（シアン）、Ｍ（マゼンタ）、Ｙ（イエロー））を配設したＣＣＤを採用してもよい。

（１１）前記実施形態のように、撮像素子１１の複数の画素を前述のようにＬＶ表示用の画素と記録用の画素とに分けて使用する技術を利用して、各撮影モードの設定時においてさらに次のようなレリーズタイムラグ短縮モードを備えることができる。

図１６（ａ）〜（ｇ）は、レリーズタイムラグ短縮モードの設定時における撮像素子１１の各動作を示すタイミングチャートであり、図１６（ａ）は、撮像素子１１による転送路（垂直転送路及び水平転送路）のクリーニング動作を示し、図１６（ｂ）は、ＬＶ表示用画素による露光動作を示し、図１６（ｃ）は、撮像素子１１に印加される垂直同期信号（ＶＤ）の出力動作を示し、図１６（ｄ）は、ＬＶ表示用画素の露光動作により生成される画素信号の読み出し動作を示し、図１６（ｅ）は、ライブビュー画像の表示動作を示し、図１６（ｆ）は、撮影者による本露光動作の終了指示操作を示し、図１６（ｇ）は、その指示操作により行われるレリーズタイムラグ短縮モードの記録動作を示す。また、図１６（ｈ）は、レリーズタイムラグ短縮モードの非設定時における記録動作とそのモードの設定時における記録動作との相違点を説明すべく、レリーズタイムラグ短縮モードの非設定時における記録動作を示すタイムチャートである。

図１６に示すように、レリーズタイムラグ短縮モードの設定時において、シャッターボタン９により本露光動作の開始指示が行われるまでの期間、前述の転送路に残留している電荷が図略のオーバーフロードレインに掃き捨てるクリーニング動作が例えば１／３０秒の周期で行われ、各クリーニング動作が終了するごとに、ＬＶ表示用画素及び記録用画素による露光動作が行われる。そして、撮像素子１１に垂直同期信号が印加されると、ＬＶ表示用画素による露光動作によって生成された画素信号の読み出しが行われる。読み出された画素信号から生成される画像の表示は、次の周期における画素信号の読み出し動作とほぼ並行して行われる。なお、本露光動作の開始指示が行われるまでの期間、記録用画素から読み出された画素信号については破棄される。

そして、ＬＶ表示用画素及び記録用画素からの画素信号の読み出し中にシャッターボタン９による本露光動作の開始指示が行われると、記録用画素による露光動作を継続して行い、撮像装置１は、所定の露光条件が満たされた時点でシャッターを閉じることにより、記録用画素による露光動作を終了する。

一方、レリーズタイムラグ短縮モードの非設定時においては、ＬＶ表示用画素及び記録用画素からの画素信号の読み出し中にシャッターボタン９による本露光動作の開始指示が行われると、撮像装置１は、転送路のクリーニング（その読み出していた画素信号の除去）を行った後、略全ての画素による露光動作を開始し、例えばシャッターボタン９の半押し中に算出されたシャッタースピードでメカニカルシャッターを閉じることで、その露光動作を終了する。

このように、レリーズタイムラグ短縮モードの設定時においては、レリーズタイムラグ短縮モードの非設定時のように全ての画素を用いて記録画像を生成するのではなく、撮像素子１１の一部の画素（記録用画素）を用いて記録画像を生成するから、その記録画像のサイズは、レリーズタイムラグ短縮モードの非設定時に得られる記録画像に比して小さくなる（上下方向（縦方向）に約半分）。

しかし、本露光動作の開始指示が行われた時点で記録用画素で蓄積されている電荷を、本露光動作により生成される画素信号の一部とすることができる。換言すれば、本露光動作が、本露光動作の開始指示が行われるタイミングよりも以前からすでに行われているとみなすことができる。これにより、レリーズタイムラグ短縮モードの非設定時に比して、本露光動作の開始指示が行われたタイミングにより近いタイミングでメカニカルシャッターを閉じる（本露光動作を終了する）ことができる（Ｔ２＜Ｔ１）。これにより、撮影者が望む被写体像に近い画像を記録画像として生成することができる。

以上、説明した撮像装置１は、以下の付記１〜９に示す発明を主に含む。

［付記１］ それぞれ異なる色を受光する複数種類の画素を備え、各画素を一方向に配列してなる画素ラインが前記一方向と交差する交差方向に複数配置してなる撮像素子と、所定の記録部に記録する記録用画素信号を生成するための露光動作の開始を前記撮像素子に指示するための入力操作部と、前記入力操作部により前記露光開始指示が行われると、前記撮像素子に露光動作を行わせるとともに、前記交差方向に並んで構成される複数の画素ラインのうち、一部の画素ラインに位置する複数の画素から所定の時間間隔でＲＡＷデータを出力させる撮像制御部と、前記露光開始指示後の所定のタイミングで、前記複数の画素以外の他の画素からＲＡＷデータを取得し、前記他の画素のＲＡＷデータに基づき前記複数の画素に対応するＲＡＷデータを補間する画像処理部と、前記画像処理部により生成された前記補間後のＲＡＷデータからＲＧＢ画像を生成する第１画像生成部と、前記第１画像生成部により生成されたＲＧＢ画像を前記所定の記録部に記録させる記録制御部とを備えることを特徴とする撮像装置。

［付記２］ 前記画像処理部は、前記複数の画素に対応するＲＡＷデータとして、前記複数の画素の近傍に位置する画素のＲＡＷデータを用いて前記補間を行うことを特徴とする付記１に記載の撮像装置。

［付記３］ 前記撮像素子は、前記複数種類の画素がベイヤー配列してなるものであり、前記画像処理部は、一頂点で互いに接する４つの画素をブロックとし、前記複数の画素を含むブロックに属する各画素に対し、該ブロックに隣接するブロックに属する画素のＲＡＷデータを用いて代替のＲＡＷデータを補間または置換することを特徴とする付記２に記載の撮像装置。

［付記４］ 前記複数の画素から得られるＲＡＷデータを所定の画素データに変換し、この画素データに基づくＲＧＢ画像を生成する第２画像生成部と、前記第２画像生成部により生成されたＲＧＢ画像を表示する画像表示部とを備えることを特徴とする付記１ないし３のいずれかに記載の撮像装置。

［付記５］ 前記撮像素子は、前記複数種類の画素がベイヤー配列してなるものであり、前記第２画像生成部は、前記撮像素子に備えられる画素の直交する２の配列方向にそれぞれ（２ｎ＋１）列ごとに設定された所定の画素ラインの交点上に位置する画素から得られるＲＡＷデータに基づいて前記ＲＧＢ画像を生成することを特徴とする付記４に記載の撮像装置。（ｎは１以上の整数）

［付記６］ 前記入力操作部は、さらに、前記所定の記録部に記録する画像を得るための前記撮像素子による露光動作の露光時間を指示する機能を有しており、前記画像生成部は、前記入力操作部により指示される露光時間が前記所定の時間より長いときに前記画像を生成することを特徴とする付記１ないし５のいずれかに記載の撮像装置。

［付記７］ 前記第２画像生成部は、前記所定の時間毎に前記複数の画素から得られるＲＡＷデータを順次加算して前記ＲＧＢ画像を生成し、前記画像表示部は、このＲＧＢ画像を表示することを特徴とする付記４ないし６のいずれかに記載の撮像装置。この発明によれば、前記所定の時間毎に前記撮像素子から得られる前記複数の画素のＲＡＷデータを順次加算して前記ＲＧＢ画像を生成し、前記画像表示部は、このＲＧＢ画像を表示するようにしたので、記録用画素信号を生成するための露光動作の期間、被写体の状態が重畳して画像表示部に表示される。これにより、撮影者は、画像表示部に表示される画像を視認することで、所定の記録部に記録される画像を確認することができる。

［付記８］ 前記撮像制御部は、前記入力操作部により前記露光開始指示が行われるまで、前記複数の画素に所定の時間間隔で画素信号を出力させ、前記露光開始指示が行われると、前記複数の画素により行われている露光動作を画素信号を出力させることなく継続して行わせた後、所定のタイミングで前記複数の画素に画素信号を記録用画素信号として出力させる第１の撮影モードと、前記露光開始指示が行われると、前記撮像素子の略全ての画素に記録用画素信号の生成を開始させ、所定のタイミングでそれらの画素に画素信号を記録用画素信号として出力させる第２の撮影モードとを備えることを特徴とする付記３または４に記載の撮像装置。この発明によれば、第２の撮影モードでは、第１の撮影モードで画像表示部への表示用として用いられる画素信号も含めて画像を生成する分、第１の撮影モードに比して大きく綺麗な記録画像を得ることができる。また、第１の撮影モードにおいては、前記複数の画素により行われている露光動作を画素信号の出力を行うことなく継続して行わせるから、記録用画素信号を生成するための露光動作の終了指示タイミング（入力操作部で被写体像を決定する操作が行われるタイミング）に近いタイミングで露光動作を終了することができる。これにより、撮影者が望む被写体像に近い画像を得ることができる。

［付記９］ 前記画像表示部に表示する画像の画素信号を出力する前記一部の画素ラインは、前記交差方向に異種の画素ラインが交互に隣接するものであることを特徴とする付記１ないし８のいずれかに記載の撮像装置。この発明によれば、画像表示部に表示する画像の画素信号を出力する前記一部の画素ラインは、前記交差方向に異種の画素ラインが交互に隣接するものであるから、画像の歪みや偽色の少ない比較的綺麗な画像を画像表示部に表示することができる。

本発明に係る撮像装置の正面図である。 本発明に係る撮像装置の背面図である。 撮像装置のシステムを示すブロック構成図である。 （ａ）は、撮像素子の全ての画素から出力されるＲＡＷデータの配列を示し、（ｂ）は、バルブ撮影モードにおいて、シャッターボタンの全押し中において、ライブビュー画像用及び記録画像用として用いられる画素を示し、（ｃ）は、露光中にライブビュー画像を表示するように構成したことにより欠落したＲＡＷデータの補間方法を示す図である。 従来のライブビュー画像の一例を示す図である。 本発明に係る撮像装置において表示されるライブビュー画像の一例を示す図である。 シャッターボタンの全押し操作が開始されてから１２秒間にわたって連続的に打ち上げられた３発の花火について、各時点における、記録用画素の画素信号を用いて生成される画像と、加算処理後のＲＡＷデータを用いて生成される画像と、アスペクト補正後のＲＡＷデータを用いて生成される画像と、ライブビュー画像用の画素から出力される画素信号により得られる画像と、メモリカードに記録する記録画像を示した図である。 本発明に係る撮像装置の長秒モニタリングモードにおける撮像処理を示すタイムチャートである。 欠落したＲＡＷデータの他の補間方法を示す図である。 同じく欠落したＲＡＷデータの他の補間方法を示す図である。 同じく欠落したＲＡＷデータの他の補間方法を示す図である。 ライブビュー画像用の画素の他の選定方法を示す図である。 図１２の選定方法を採用した場合に、長秒モニタリングモードの設定時において、本露光動作が開始されてから１２秒間にわたって連続的に打ち上げられた３発の花火について、１秒経過した時点、４秒経過した時点、８秒経過した時点及び１２秒経過した時点を一例として、各時点において、記録用画素の画素信号を用いて生成される画像と、加算処理後のＲＡＷデータを用いて生成される画像と、アスペクト補正後のＲＡＷデータを用いて生成される画像と、記録用画素の画素信号を用いて生成される画像と、メモリカードに記録する記録画像を示した図である。 ライブビュー画像用の画素の他の選定方法を示す図である。 撮像素子の変形例を示す図である。 レリーズタイムラグ短縮モード設定時及び非設定時における露光動作を示すタイムチャートである。

符号の説明

１ 撮像装置
４ ＬＣＤ表示部
７ シャッターボタン
１０ 長秒モニタリングスイッチ
１１ 撮像素子
１８ 制御部
１９ 第１撮像制御部
２０ 第１記録制御部
２１ 加算処理部
２２ アスペクト補正処理部
２３ 第２撮像制御部
２４ 第２記録制御部
２５ ＲＡＷ補間部
２６ 第１画像処理部
２７ 第２画像処理部
２８ 表示制御部
２９ 画像圧縮部
３０ 第１画像記憶部
３１ 第２画像記憶部

Claims (6)

1. それぞれ異なる色を受光する複数種類の画素を備え、各画素を一方向に配列してなる画素ラインが前記一方向と交差する交差方向に複数配置してなる撮像素子と、
   所定の記録部に記録する記録用画素信号を生成するための露光動作の開始を前記撮像素子に指示するための入力操作部と、
   前記入力操作部により前記露光開始指示が行われると、前記撮像素子に露光動作を行わせるとともに、前記交差方向に並んで構成される複数の画素ラインのうち、一部の画素ラインに位置する複数の画素から所定の時間間隔でＲＡＷデータを出力させる撮像制御部と、
   前記露光開始指示後の所定のタイミングで、前記複数の画素以外の他の画素からＲＡＷデータを取得し、前記他の画素のＲＡＷデータに基づき前記複数の画素に対応するＲＡＷデータを補間する画像処理部と、
   前記画像処理部により生成された前記補間後のＲＡＷデータからＲＧＢ画像を生成する第１画像生成部と、
   前記第１画像生成部により生成されたＲＧＢ画像を前記所定の記録部に記録させる記録制御部と
   を備えることを特徴とする撮像装置。
2. 前記画像処理部は、前記複数の画素に対応するＲＡＷデータとして、前記複数の画素の近傍に位置する画素のＲＡＷデータを用いて前記補間を行うことを特徴とする請求項１に記載の撮像装置。
3. 前記撮像素子は、前記複数種類の画素がベイヤー配列してなるものであり、前記画像処理部は、一頂点で互いに接する４つの画素をブロックとし、前記複数の画素を含むブロックに属する各画素に対し、該ブロックに隣接するブロックに属する画素のＲＡＷデータを用いて代替のＲＡＷデータを補間または置換することを特徴とする請求項２に記載の撮像装置。
4. 前記複数の画素から得られるＲＡＷデータを所定の画素データに変換し、この画素データに基づくＲＧＢ画像を生成する第２画像生成部と、前記第２画像生成部により生成されたＲＧＢ画像を表示する画像表示部とを備えることを特徴とする請求項１ないし３のいずれかに記載の撮像装置。
5. 前記撮像素子は、前記複数種類の画素がベイヤー配列してなるものであり、前記第２画像生成部は、前記撮像素子に備えられる画素の直交する２の配列方向にそれぞれ（２ｎ＋１）列ごとに設定された所定の画素ラインの交点上に位置する画素から得られるＲＡＷデータに基づいて前記ＲＧＢ画像を生成することを特徴とする請求項４に記載の撮像装置。（ｎは１以上の整数）
6. 前記入力操作部は、さらに、前記所定の記録部に記録する画像を得るための前記撮像素子による露光動作の露光時間を指示する機能を有しており、前記画像生成部は、前記入力操作部により指示される露光時間が前記所定の時間より長いときに前記画像を生成することを特徴とする請求項１ないし５のいずれかに記載の撮像装置。

Images