JP2006325073A - 画像入力装置 - Google Patents

Abstract

【課題】 間引き画像を用いて相対的に高解像度の静止画像を再現可能とする。
【解決手段】 撮影モード設定時、タイミング制御部９の駆動信号によりイメージセンサ４から間引き読み出しを順次行なう。読み出された画像を、第１〜第４フレームを単位にメモリ７に一時的に記憶する。各フレームの間引き画像をメモリ７から読み出し、スルー画像として順次表示装置１１に表示する。第１〜第４フレームの各々において、間引き率２／４とし、間引きを開始する画素の行方向、列方向オフセット値を、それぞれ（０，０）、（０，２）、（２，０）、（２，２）とする。操作手段１０においてレリーズ操作が行われると、第１〜第４フレームの画像を合成し、間引きのない高解像度の画像を生成する。
【選択図】 図１

Description

本発明は、間引き処理を行なって撮像素子から読み出しを行なうことが可能な画像入力装置に関する。

例えばデジタルスチルカメラなどの画像入力装置では、一般に撮影アングルをモニタするためのスルー画像がＬＣＤなどの画像表示装置に常時表示可能であり、静止画像は、スルー画像をモニタしながら、ユーザがレリーズ操作を行なうことにより取得される。

静止画像は、高解像度の画像であることが通常求められるのに対し、モニタ用のスルー画像は、カメラに搭載されるＬＣＤの大きさの制限（画素数の制限）や、リアルタイムで画像を表示するための処理時間の制約から、一般に低解像度の画像が用いられる。したがって、スルー画像の撮影時には、間引き処理を施した画像データが撮像素子から読み出される（特許文献１参照）。
特開２００２−３２０２３５号公報

しかし、モニタ用のスルー画像を撮影しているときには、間引き処理された画素データが撮像素子から読み出されており、静止画像用の撮像動作（間引き処理のない読み出し）は、レリーズ操作が行なわれた後に開始される。したがって、モニタ時の画像と静止画が実際に撮影されるときの画像とでは時間差があり、撮影者が撮影を意図した瞬間の静止画像は一般に得ることはできない。

本発明は、間引き画像を用いて相対的に高解像度の静止画像を再現可能な画像入力装置を提供することを目的としている。

本発明の画像入力装置は、撮像素子と、撮像素子から複数のフレームにおいて順次異なる画素を対象とする間引き読み出しを行なう画像データ読み出し手段と、複数のフレームにおいて得られる間引き画像を一時的に保持するメモリと、複数のフレームにおいて得られる間引き画像を合成して各フレームの間引き画像よりも画素数の多い合成画像を生成する合成画像生成手段とを備えたことを特徴としている。

また、複数のフレームにおいて得られる各画像は、例えば順次スルー画像として表示され、合成画像生成手段は、レリーズボタンが操作されたときに作動される。

複数のフレームにおける間引き率が、例えば間引き情報として保持され、各フレームの間引き読み出しは、この間引き率に基づいて行なわれる。また、複数のフレームにおける間引きのオフセット値が、例えば各々間引き情報として保持され、各フレームの間引き読み出しが、このオフセット値に基づいて行なわれる。

また、合成画像の画素数は、例えば撮像素子の有効画素数に相当する。

以上のように、本発明によれば、間引き画像を用いて相対的に高解像度の静止画像を再現可能な画像入力装置を提供できる。

以下、本発明の実施の形態を、図面を参照して説明する。
図１は、本発明の一実施形態である画像入力装置の電気的な構成を示すブロック図であり、本実施形態において画像入力装置は、例えばデジタルスチルカメラである。

本実施形態のデジタルスチルカメラは、レンズ（レンズ系）１、シャッタ３、イメージセンサ（撮像素子）４を有し、被写体像は、レンズ１を介してイメージセンサ４の撮像面上に形成され、その露光はシャッタ駆動機構２により開閉動作が制御されるシャッタ３により制御される。なお、シャッタ３の代わりにイメージセンサ自身の電子シャッタ動作を用いてもよい。

イメージセンサ４の駆動はタイミング制御部９からの駆動信号により制御され、タイミング制御部９は、システム制御部８により制御される。イメージセンサ４において電気信号に変換された被写体像は、例えばアナログ画像信号として読み出され、ＡＤコンバータ（ＡＤＣ）５を介してデジタル画像信号に変換される。

デジタル画像信号は、その後デジタル信号処理部６に入力され、デジタル信号処理部６に入力されたデジタル画像信号は、所定の画像信号処理が施された後、画像データとしてメモリ７に一時的に保存される。

メモリ７に保存された画像データは、システム制御部８を介してＬＣＤなどの表示装置１１に表示可能であるとともに、メモリカードなどの外部記憶装置１２に記録可能であり、通信手段１３を介して、パーソナルコンピュータ、プリンタ、ＴＶモニタなどの外部装置に転送可能である。

システム制御部８はデジタルスチルカメラ全体の制御を行なうもので、シャッタ駆動機構２や、ＡＤ変換器５、デジタル信号処理部６などにも接続されており、これら各部の制御も行なう。また、システム制御部８は、操作手段（入力手段）１０に接続されており、ユーザは操作手段１０を操作することにより、システム制御部８に信号指令を送り、デジタルスチルカメラの動作や、各種モードの設定、各種パレメータの設定などに用いることができる。

本実施形態では、イメージセンサ４として例えばベイヤー配列のＣＭＯＳ回路を採用しているがＣＣＤ等であってもよいことは無論である。図２は、本実施形態で使用されるイメージセンサ４の構成を模式的に示す図である。

ＣＭＯＳ型であるイメージセンサ４の各画素は、従来周知のように行選択回路３Ａと列選択回路３Ｂに接続されており、行選択回路３Ａおよび列選択回路３Ｂは、タイミング制御部９に接続されている。すなわち、イメージセンサ４からの画像データの読み出しは、タイミング制御部９からの駆動パルスに基づいて、ｍ行ｎ列の各画素に対する出力のオン／オフが制御されることにより行なわれる。

図２には、行方向および列方向への間引き率が２／４、オフセットが２画素の場合、すなわち縦横４画素毎に２画素の間引きが行なわれ、間引き開始位置が左下の画素から水平右方向、垂直上方向にそれぞれ２画素分オフセットされた場合が例示されている。なお、図２において、間引かれない画素はハッチングが施されて示され、間引かれる画素は白抜きで示されている。

間引き読み出しに用いられる間引き情報は、行間引き情報、列間引き情報としてタイミング制御部９に保持され、例えば行方向、列方向に対する間引き率とオフセット値として保持される。また、行間引き情報及び列間引き情報は、ユーザによる間引きモードの設定、あるいは予め設定された値に基づいてシステム制御部８からタイミング制御部９のレジスタ等の記憶部１４に送出され記憶される。

本実施形態では、図３〜図６に示されるように、フレーム毎に異なる画素が間引きされる。例えば本実施形態では、間引き率は行方向、列方向ともに２／４なので、図３〜図６に示されるように、間引きのパターンは４つのパターンに分けられ、４つのフレーム毎に、それぞれ異なった画素に対する間引きが行われる。

すなわち、第１〜第４フレームにおける間引きは、ＲＧＢの画素を含む４×４画素（合計１６画素）を単位として、左下の４画素が読み出される第１フレーム（図３参照）、右下の４画素が読み出される第２フレーム（図４参照）、左上の４画素が読み出される第３フレーム（図５参照）、右上の４画素が読み出される第４フレーム（図６参照）により順次読み出される。

このとき、上述したように第１〜第４フレームでは、行方向、列方向の間引き率は２／４である。また、第１フレームでは行方向、列方向ともにオフセットは０画素であり、第２フレームでは、行方向のオフセットは２画素、列方向のオフセットは０画素である。第３フレームでは、行方向のオフセットは０画素、列方向のオフセットは２画素であり、第４フレームでは、行方向、列方向ともにオフセットは２画素である。これらの行間引き、列間引き情報は、システム制御部８によりタイミング制御部９の記憶部１４に設定される。

第１〜第４フレーム毎に読み出された間引き画像は、デジタル信号処理部６を介して、各々メモリ７に一時的に保持され、例えば表示装置１１にスルー画像として順次表示される。この間にレリーズボタン（操作手段１０の１つ）が操作されると、図３〜図６に示された第１〜第４フレームの画像が合成されて、図７に示されるように、間引きのされていない１つの画像が生成される。

すなわち、デジタル信号処理部６の記憶部１６には、記憶部１４と同様に行間引き情報および列間引き情報が記憶されており、これらの情報に基づいてデジタル信号処理部６のデータ合成部１５においてメモリ７に記憶された間引き画像（第１〜第４フレーム）が合成されて間引きのないイメージセンサ４の画素数に相当する１つの高精細画像が再現される。

次ぎに図８のフローチャートを参照して本実施形態における撮像動作について説明する。

例えばデジタルスチルカメラが撮影モードに設定されると、ステップＳ１０１においてタイミング制御部９における各レジスタの設定が行なわれる。すなわち、フレーム周期、水平期間、露光時間、センサタイミング等の設定が行なわれる。

次ぎに、ステップＳ１０２において、記憶部１４、１６の行方向および列方向間引き情報、すなわち行方向、列方向の間引き率およびオフセット値が設定される。本実施形態では、行方向、列方向の間引き率が２／４に設定され、オフセット値が行方向、列方向ともに初期値として０画素が設定される。

ステップＳ１０３では、設定された各値に基づいてシャッタ駆動機構２およびイメージセンサ４が制御され、イメージセンサ４における撮像動作が開始される。すなわち、ステップＳ１０４において、最初は第１フレームの間引き画像が読み込まれる（図３）。

ステップＳ１０５では、レリーズボタンが操作されたか否かが判定され、操作されていない場合には、ステップＳ１０６において、現在のフレームが第１フレームであるか否かが判定される。ステップＳ１０６において現在のフレームが第１フレームであると判定されると、ステップＳ１０７において、行方向オフセット値が０画素に、列方向オフセット値が２画素に設定され、ステップＳ１０４に戻り第２フレームの読み込みが開始される（図４）。

一方ステップＳ１０６において、現在のフレームが第１フレームでないと判定されると、ステップＳ１０８において、現在のフレームが第２フレームであるか否かが判定される。ステップＳ１０８において現在のフレームが第２フレームであると判定されると、ステップＳ１０９において、行方向オフセット値が２画素に、列方向オフセット値が０画素に各々設定される。そしてステップＳ１０４に戻り第３フレームの読み込みが開始される（図５）。

また、ステップＳ１０８において、現在のフレームが第２フレームでないと判定されると、ステップＳ１１０において、現在のフレームが第３フレームであるか否かが判定される。ステップＳ１１０において現在のフレームが第３フレームであると判定されると、ステップＳ１１１において、行方向オフセット値が２画素に、列方向オフセット値が２画素に各々設定され、その後ステップＳ１０４に戻り第４フレームの読み込みが開始される（図６）。

また更に、ステップＳ１１０にいて現在のフレームが第３フレームでないと判定されると、ステップＳ１１２において行方向および列方向のオフセット値がともに０画素に設定され、ステップＳ１０４に戻り第１フレームの読み込みが再び開始される（図３）。以下、レリーズボタンが押されるまで同様の処理が繰り返され、メモリ７の第１〜第４フレームに対応した領域には、新たに読み込まれた間引き画像が格納され、順次表示装置１１にスルー画像として表示される。

一方、ステップＳ１０５において、レリーズボタンが操作されたと判定された場合には、処理はステップＳ１１３に進み、最新の連続する第１〜第４フレームの間引き画像を合成して間引きのない画像（図７）が生成される。合成された間引きのない画像は、その後表示装置１１に表示されるとともに、例えば外部記憶装置１２などに記録される。なお、各フレーム画像の取得は、人間の動作に比べ極めて短い時間に行なわれるので、ユーザがレリーズボタンを押す時点では、第１〜第４フレームの各画像は既に取得されている。

以上のように、本実施形態によれば、従来の間引き処理のように、固定された画素が間引き対象となるのではなく、各フレームにおいて異なる画素を間引き対象としているため、複数のフレームの間引き画像を合成することにより、相対的に高精度の画像を生成することが可能となる。これにより、実質的にレリーズボタンが操作された時点における高精細の静止画像を取得することが可能となり、イメージセンサ画素数相当の解像度も維持することが可能となる。また、各フレーム画像は、間引きされているため、フレームレートを向上させることができる。

なお、本実施形態では、間引き率２／４を例に説明を行ったが、間引き率は任意であり、各間引きに対応するフレームの数も４フレームに限定されるものではない。また、本実施形態では、行方向および列方向に間引きを行ったが、一方向のみに間引きを行なう場合にも適用可能である。

また、本実施形態において合成画像はイメージセンサ画素数相当のものを例として挙げたが、例えば、一部のフレームのみを用いてフレーム画像とイメージセンサ画素数との間の中間的な解像度の画像を生成することも可能である。

また、本実施形態では、各フレームの読み取りにおいて、重複して読み出される画素は無かったが、一部の画素が重複して複数のフレームで読み出されることも可能である。

本発明が適用された一実施形態であるデジタルスチルカメラの構成を示すブロック図である。 本実施形態で使用されるＣＭＯＳ型イメージセンサの構成を模式的に示す図である。 第１フレームの間引きの状態を示す模式図である。 第２フレームの間引きの状態を示す模式図である。 第３フレームの間引きの状態を示す模式図である。 第４フレームの間引きの状態を示す模式図である。 第１〜第４フレームを合成した合成画像の模式図である。 本実施形態における撮像動作の手順を示すフローチャートである。

符号の説明

４ イメージセンサ
６ デジタル信号処理部
７ メモリ
８ システム制御部
９ タイミング制御部
１０ 操作手段
１１ 表示装置
１２ 外部記憶装置

Claims (6)

1. 撮像素子と、
   前記撮像素子から複数のフレームにおいて順次異なる画素を対象とする間引き読み出しを行なう画像データ読み出し手段と、
   前記複数のフレームにおいて得られる間引き画像を一時的に保持するメモリと、
   前記複数のフレームにおいて得られる間引き画像を合成して前記各フレームの間引き画像よりも画素数の多い合成画像を生成する合成画像生成手段と
   を備えることを特徴とする画像入力装置。
2. 前記複数のフレームにおいて得られる各画像が、順次スルー画像として表示されることを特徴とする請求項１に記載の画像入力装置。
3. 前記合成画像生成手段が、レリーズボタンが操作されたときに作動されることを特徴とする請求項１に記載の画像入力装置。
4. 前記複数のフレームにおける間引き率が、間引き情報として保持され、前記各フレームの間引き読み出しが前記間引き率に基づいて行なわれることを特徴とする請求項１に記載の画像入力装置。
5. 前記複数のフレームにおける間引きのオフセット値が、各々間引き情報として保持され、前記各フレームの間引き読み出しが前記オフセット値に基づいて行なわれることを特徴とする請求項１に記載の画像入力装置。
6. 前記合成画像の画素数が、前記撮像素子の有効画素数に相当することを特徴とする請求項１に記載の画像入力装置。
   
   

Images