JP2003169259A - 撮像装置 - Google Patents
撮像装置Info
- Publication number
- JP2003169259A JP2003169259A JP2001369453A JP2001369453A JP2003169259A JP 2003169259 A JP2003169259 A JP 2003169259A JP 2001369453 A JP2001369453 A JP 2001369453A JP 2001369453 A JP2001369453 A JP 2001369453A JP 2003169259 A JP2003169259 A JP 2003169259A
- Authority
- JP
- Japan
- Prior art keywords
- image data
- signal
- exposure
- rgb
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Landscapes
- Processing Of Color Television Signals (AREA)
- Solid State Image Pick-Up Elements (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Color Television Image Signal Generators (AREA)
Abstract
(57)【要約】
【課題】輝度分布が広範に及ぶ被写体の低輝度部分と高
輝度部分の解像度に劣化の無い撮像画像を撮影すること
が可能なＣＭＯＳイメージセンサを用いた撮像装置を提
供すること。 【解決手段】ＣＭＯＳイメージセンサを長時間露光と短
時間露光駆動して、２種類の撮像画像を取得し、一方を
一旦メモリに格納する。そして、もう一方の撮像画像を
読み出す時にメモリ内の撮像画像信号を読み出して、そ
れら２つの撮像画像信号を混合してダイナミックレンジ
の広い撮像信号を得る。
輝度部分の解像度に劣化の無い撮像画像を撮影すること
が可能なＣＭＯＳイメージセンサを用いた撮像装置を提
供すること。 【解決手段】ＣＭＯＳイメージセンサを長時間露光と短
時間露光駆動して、２種類の撮像画像を取得し、一方を
一旦メモリに格納する。そして、もう一方の撮像画像を
読み出す時にメモリ内の撮像画像信号を読み出して、そ
れら２つの撮像画像信号を混合してダイナミックレンジ
の広い撮像信号を得る。
Description
【０００１】
【発明の属する技術分野】ＣＭＯＳイメージセンサを用
いた広ダイナミックレンジの映像を記録する撮像装置に
係る。
いた広ダイナミックレンジの映像を記録する撮像装置に
係る。
【０００２】
【従来の技術】従来、光学像を電気信号に変換して記録
する撮像装置においては、動画撮像装置にはＣＣＤイメ
ージセンサが用いられることが多かった。最近では、省
電力の観点からＣＣＤイメージセンサに比べて消費電力
の少ないＣＭＯＳイメージセンサがモバイル機器等に使
用される機会が増加しつつある。これら撮像素子を用い
た撮像装置で撮影をおこなう場合には、被写体の明るさ
を撮像信号から測定して被写体の信号レベルが適切にな
るように撮像素子の露光時間の調整して撮像素子の動作
点を最適化していた。
する撮像装置においては、動画撮像装置にはＣＣＤイメ
ージセンサが用いられることが多かった。最近では、省
電力の観点からＣＣＤイメージセンサに比べて消費電力
の少ないＣＭＯＳイメージセンサがモバイル機器等に使
用される機会が増加しつつある。これら撮像素子を用い
た撮像装置で撮影をおこなう場合には、被写体の明るさ
を撮像信号から測定して被写体の信号レベルが適切にな
るように撮像素子の露光時間の調整して撮像素子の動作
点を最適化していた。
【０００３】
【発明が解決しようとする課題】撮像対象となる被写体
の明るさの分布が広範囲に及ぶとき、上記の被写体の明
るさを撮像信号から測定して被写体の信号レベルが適切
になるように撮像素子の露光時間の調整して撮像素子の
動作点を最適化する技術を用いる場合において次のよう
な問題が生ずる。例えば被写体の高輝度部分の信号レベ
ルが適切になるように露光時間を合わせると、低輝度部
分の信号がつぶれてしまうので、低輝度部分の解像度が
出なくなる。このとき撮像素子から読み出される信号も
微弱になるのでＳ／Ｎも悪化する。逆に低輝度部分の信
号レベルが適切になるように露光時間を合わせると、高
輝度部分の信号が飽和状態になりその部分の画像は白一
色の状態になり、被写体の判別がつかなくなってしま
う。そこで、輝度分布が広範に及ぶ被写体の低輝度部分
と高輝度部分の解像度に劣化の無い撮像画像を撮影する
ことが可能なＣＭＯＳイメージセンサを用いた撮像装置
を提供することを本発明の課題とする。
の明るさの分布が広範囲に及ぶとき、上記の被写体の明
るさを撮像信号から測定して被写体の信号レベルが適切
になるように撮像素子の露光時間の調整して撮像素子の
動作点を最適化する技術を用いる場合において次のよう
な問題が生ずる。例えば被写体の高輝度部分の信号レベ
ルが適切になるように露光時間を合わせると、低輝度部
分の信号がつぶれてしまうので、低輝度部分の解像度が
出なくなる。このとき撮像素子から読み出される信号も
微弱になるのでＳ／Ｎも悪化する。逆に低輝度部分の信
号レベルが適切になるように露光時間を合わせると、高
輝度部分の信号が飽和状態になりその部分の画像は白一
色の状態になり、被写体の判別がつかなくなってしま
う。そこで、輝度分布が広範に及ぶ被写体の低輝度部分
と高輝度部分の解像度に劣化の無い撮像画像を撮影する
ことが可能なＣＭＯＳイメージセンサを用いた撮像装置
を提供することを本発明の課題とする。
【０００４】
【課題を解決するための手段】上記課題を解決すため、
本発明は、光学像を電気的情報に変換するＣＭＯＳイメ
ージセンサと、ＣＭＯＳイメージセンサより読み出され
る電気的情報をサンプリングしてディジタル撮像信号に
変換するＣＤＳ・Ａ／Ｄ変換手段と、ディジタル撮像信
号を加工してＲＧＢで表現される画像データに変換する
ＲＧＢ処理手段と、ＲＧＢの画像データを記録するメモ
リ手段と、メモリ手段に格納されたＲＧＢ画像データ
と、ＲＧＢ処理手段で新たに生成されたＲＧＢ画像デー
タを合成してさらに新たなＲＧＢ画像データを生成して
該さらに新たなＲＧＢ画像データから輝度信号と色差信
号を生成するＹ／Ｃ処理・混合手段とにより、撮像装置
を構成し、撮像装置を用いて以下の処理を行う。まず、
ＣＭＯＳイメージセンサでは、短時間露光で取得した画
像データと長時間露光で取得した画像データを取り込む
処理を行う。そして、該画像データの一方をＣＭＯＳイ
メージセンサから読み出して第１の画像データとして該
フィールドメモリ手段に格納する。そして、該第１の画
像データと露光時間の異なるもう一方の画像データを該
ＣＭＯＳイメージセンサから第２の画像データとして読
み出すと同時に該フィールドメモリ手段に該第１の画像
データを読み出して、該Ｙ／Ｃ処理・混合手段で露光時
間の異なる該第１の画像データと該第２の画像データを
それぞれ或る適当な信号レベルでスライスし、段短時間
露光の画像データの高輝度側と長時間露光の画像データ
の低輝度側を繋ぎ合わせることで、高輝度部分と低輝度
部分の両方で解像度の高い広ダイナミックレンジの画像
信号が生成される。そして、生成された該広ダイナミッ
クレンジの撮像信号を該記録手段により記録する。
本発明は、光学像を電気的情報に変換するＣＭＯＳイメ
ージセンサと、ＣＭＯＳイメージセンサより読み出され
る電気的情報をサンプリングしてディジタル撮像信号に
変換するＣＤＳ・Ａ／Ｄ変換手段と、ディジタル撮像信
号を加工してＲＧＢで表現される画像データに変換する
ＲＧＢ処理手段と、ＲＧＢの画像データを記録するメモ
リ手段と、メモリ手段に格納されたＲＧＢ画像データ
と、ＲＧＢ処理手段で新たに生成されたＲＧＢ画像デー
タを合成してさらに新たなＲＧＢ画像データを生成して
該さらに新たなＲＧＢ画像データから輝度信号と色差信
号を生成するＹ／Ｃ処理・混合手段とにより、撮像装置
を構成し、撮像装置を用いて以下の処理を行う。まず、
ＣＭＯＳイメージセンサでは、短時間露光で取得した画
像データと長時間露光で取得した画像データを取り込む
処理を行う。そして、該画像データの一方をＣＭＯＳイ
メージセンサから読み出して第１の画像データとして該
フィールドメモリ手段に格納する。そして、該第１の画
像データと露光時間の異なるもう一方の画像データを該
ＣＭＯＳイメージセンサから第２の画像データとして読
み出すと同時に該フィールドメモリ手段に該第１の画像
データを読み出して、該Ｙ／Ｃ処理・混合手段で露光時
間の異なる該第１の画像データと該第２の画像データを
それぞれ或る適当な信号レベルでスライスし、段短時間
露光の画像データの高輝度側と長時間露光の画像データ
の低輝度側を繋ぎ合わせることで、高輝度部分と低輝度
部分の両方で解像度の高い広ダイナミックレンジの画像
信号が生成される。そして、生成された該広ダイナミッ
クレンジの撮像信号を該記録手段により記録する。
【０００５】なお、本発明においては、ＣＭＯＳイメー
ジセンサを用いているため、ＣＣＤとは異なる駆動によ
り露光時間の異なる信号を取得することが可能であり、
ＣＭＯＳイメージセンサの第１のフォトダイオードの読
み出しと、次の第２のフォトダイオードの読み出しとの
間に、該第１のフォトダイオードの座標からある一定量
だけオフセットした座標のフォトダイオードの読み出し
処理を行うことにより、通常の倍速の該ＣＭＯＳイメー
ジセンサの駆動により、露光時間の異なる２種類の画像
データを生成する構成とする。あるいは、ＣＭＯＳイメ
ージセンサのフォトダイオードに、独立な２つの信号読
み出し口を設け、該２つの信号読み出し口から任意のフ
ォトダイオードに対して時間がずれるように２度の読み
出し処理をおこなうことにより、長時間露光の画像デー
タと短時間露光の画像データを生成する構成とする。
ジセンサを用いているため、ＣＣＤとは異なる駆動によ
り露光時間の異なる信号を取得することが可能であり、
ＣＭＯＳイメージセンサの第１のフォトダイオードの読
み出しと、次の第２のフォトダイオードの読み出しとの
間に、該第１のフォトダイオードの座標からある一定量
だけオフセットした座標のフォトダイオードの読み出し
処理を行うことにより、通常の倍速の該ＣＭＯＳイメー
ジセンサの駆動により、露光時間の異なる２種類の画像
データを生成する構成とする。あるいは、ＣＭＯＳイメ
ージセンサのフォトダイオードに、独立な２つの信号読
み出し口を設け、該２つの信号読み出し口から任意のフ
ォトダイオードに対して時間がずれるように２度の読み
出し処理をおこなうことにより、長時間露光の画像デー
タと短時間露光の画像データを生成する構成とする。
【０００６】
【発明の実施の形態】図１は本発明における実施形態の
一例として、広ダイナミックレンジＣＭＯＳイメージセ
ンサ撮像装置の構成をブロック図で示したものである。
同図において１１は光学像を電気的情報に変換するＣＭ
ＯＳイメージセンサ、１２はタイミング発生手段、１３
はＣＭＯＳイメージセンサ１１より読み出される電気的
情報をサンプリングしてディジタル撮像信号に変換する
ＣＤＳ（ダブルサンプリング）・Ａ／Ｄ変換手段、１４
はディジタル撮像信号を加工してＲＧＢ画像データに変
換するＲＧＢ処理手段、１５はフィールドメモリ手段、
１６はフィールドメモリ１５に格納されたＲＧＢ画像デ
ータとＲＧＢ処理手段１４で新たに生成されたＲＧＢ画
像データを合成してさらに新たなＲＧＢ画像データを生
成し、新たなＲＧＢ画像データから輝度信号Ｙと色差信
号Ｃを生成するＹ／Ｃ処理混合手段、１７は輝度信号Ｙ
と色差信号Ｃを記録する画像信号記録手段、１８は輝度
信号Ｙと色差信号Ｃをモニタリング装置で可能な信号フ
ォーマットに変換する表示系信号処理手段を示してい
る。また、図２はＣＭＯＳイメージセンサ１１の構成の
一例で、２１はリードゲート駆動制御手段、２２はリセ
ットゲート駆動制御手段、２３はフォトダイオード、２
４はリードゲートスイッチ、２５はリセットゲートスイ
ッチを示している。以下、図１及び図２を用いて本実施
例の動作について説明する。
一例として、広ダイナミックレンジＣＭＯＳイメージセ
ンサ撮像装置の構成をブロック図で示したものである。
同図において１１は光学像を電気的情報に変換するＣＭ
ＯＳイメージセンサ、１２はタイミング発生手段、１３
はＣＭＯＳイメージセンサ１１より読み出される電気的
情報をサンプリングしてディジタル撮像信号に変換する
ＣＤＳ（ダブルサンプリング）・Ａ／Ｄ変換手段、１４
はディジタル撮像信号を加工してＲＧＢ画像データに変
換するＲＧＢ処理手段、１５はフィールドメモリ手段、
１６はフィールドメモリ１５に格納されたＲＧＢ画像デ
ータとＲＧＢ処理手段１４で新たに生成されたＲＧＢ画
像データを合成してさらに新たなＲＧＢ画像データを生
成し、新たなＲＧＢ画像データから輝度信号Ｙと色差信
号Ｃを生成するＹ／Ｃ処理混合手段、１７は輝度信号Ｙ
と色差信号Ｃを記録する画像信号記録手段、１８は輝度
信号Ｙと色差信号Ｃをモニタリング装置で可能な信号フ
ォーマットに変換する表示系信号処理手段を示してい
る。また、図２はＣＭＯＳイメージセンサ１１の構成の
一例で、２１はリードゲート駆動制御手段、２２はリセ
ットゲート駆動制御手段、２３はフォトダイオード、２
４はリードゲートスイッチ、２５はリセットゲートスイ
ッチを示している。以下、図１及び図２を用いて本実施
例の動作について説明する。
【０００７】まず初めに、ＣＭＯＳイメージセンサ１１
において、光学像を電気的信号に変換して撮像信号を生
成する。撮像信号は、ＣＭＯＳイメージセンサを短時間
露光して獲得したもの及び長時間露光して獲得したもの
である。ここで、ＣＭＯＳイメージセンサ１１において
光学像が電気的信号に変換され撮像信号として読み出さ
れる手順を簡単に説明しておく。光学像の電気的信号へ
の変換は、ＣＭＯＳイメージセンサ１１のｍ行×ｎ列の
グリッド上に配置されたフォトダイオード２３で行なわ
れる。グリッド上に配置されたフォトダイオード２３に
は、リードゲート駆動制御手段２１及び２２で開閉され
るリードゲートスイッチ２４とリセットゲート駆動制御
手段２１及び２２で開閉されるリセットゲートスイッチ
２５が接続されている。リードゲートスイッチ２４とリ
セットゲートスイッチ２５はリードゲート駆動制御手段
２１とリセットゲート駆動制御手段２２の２つのゲート
開閉手段によって、各々独立に開閉動作が行なわれる。
また、リードゲートスイッチの出力は行ごとに設けられ
た２段目のゲートスイッチに接続されており、該２段目
のゲートスイッチ出力は信号出力端子に接続されてい
る。
において、光学像を電気的信号に変換して撮像信号を生
成する。撮像信号は、ＣＭＯＳイメージセンサを短時間
露光して獲得したもの及び長時間露光して獲得したもの
である。ここで、ＣＭＯＳイメージセンサ１１において
光学像が電気的信号に変換され撮像信号として読み出さ
れる手順を簡単に説明しておく。光学像の電気的信号へ
の変換は、ＣＭＯＳイメージセンサ１１のｍ行×ｎ列の
グリッド上に配置されたフォトダイオード２３で行なわ
れる。グリッド上に配置されたフォトダイオード２３に
は、リードゲート駆動制御手段２１及び２２で開閉され
るリードゲートスイッチ２４とリセットゲート駆動制御
手段２１及び２２で開閉されるリセットゲートスイッチ
２５が接続されている。リードゲートスイッチ２４とリ
セットゲートスイッチ２５はリードゲート駆動制御手段
２１とリセットゲート駆動制御手段２２の２つのゲート
開閉手段によって、各々独立に開閉動作が行なわれる。
また、リードゲートスイッチの出力は行ごとに設けられ
た２段目のゲートスイッチに接続されており、該２段目
のゲートスイッチ出力は信号出力端子に接続されてい
る。
【０００８】いま、フォトダイオード２３で構成される
平面に光学像が結像されると各々のフォトダイオード２
３は光学像が持つ光エネルギーによって励起されて電荷
をチャージする。ここで、チャージされる電荷の量は各
々のフォトダイオードに照射された光エネルギーの量と
ほぼ比例するので、各々のフォトダイオードが光学像に
曝された時間、即ち露光時間が全て等しい状態となる
時、ＣＭＯＳイメージセンサに配置された各々のフォト
ダイオードにチャージされた電荷の分布は、ＣＭＯＳイ
メージセンサ上に結ばれた光学的象の輝度分布を反映し
たものとなる。この状態で、１行１列目のリードゲート
スイッチと１行目に設けられた２段目のゲートスイッチ
を開放(以降この動作をリードアクセスと表現する)する
とフォトダイオード内に蓄積された電荷は信号出力端子
を介して放電され、１行１列目のフォトダイオードに照
射された光エネルギーは電圧変化として表現される。ま
たこれとは逆に１行１列目のリセットゲートスイッチを
開放(以降この動作をリセットアクセスと表現する)する
とフォトダイオード内に蓄積された電荷は外部に排出さ
れ電荷の蓄積はリセットされる。このリードアクセスを
例えば１行１列目、１行２列目…１行ｎ列目、２行１列
目…ｉ行ｋ列目…ｍ行ｎ列目と順番にスキャニングする
ようにリードアクセスを行い、被写体の撮像信号を取得
する。またこのとき、このスキャニング動作を一定の周
期(例えば、フィールド周期)で繰り返し行うと、ある任
意のフォトダイオードに着目すれば一旦リードされてか
ら次にリードされるまでの間フォトダイオードで光エネ
ルギーによる電荷の蓄積が行なわれることとなり、スキ
ャンニングの周期はこれ即ち露光時間ということにな
る。さらに、上記のリードアクセススキャニング動作に
先行してリセットアクセススキャニング動作を行なった
場合、図５(任意のフォトダイオードにおけるリードア
クセスタイミングとリセットアクセスタイミングを示す
図)に示した露光時間の斜線部分にあたる期間にフォト
ダイオード内に蓄積された電荷が、リードゲートスイッ
チを介して排出されるので、リセットアクセスタイミン
グからリードアクセスタイミングまでの遅延時間(以降
この時間をオフセット時間と表現する)に蓄積された電
荷が信号として読み出されることになる。このオフセッ
ト時間を調整することでスキャンニング周期よりも短い
露光時間で撮影した撮像信号を取得する。さらにここ
で、図６(図５におけるリセットアクセスを１フィール
ドおきに休止する場合のリードアクセスタイミングとリ
セットアクセスタイミングを示す図)示すように、フィ
ールドＢのリードアクセスに対応したリセットアクセス
を休止すると、フィールドＡで読み出される撮像信号の
露光時間は短時間(フィールド周期以下)にフィールドＢ
で読み出される撮像信号の露光時間は長時間(フィール
ド周期以上)になる。この結果、ＣＭＯＳイメージセン
サから読み出される撮像信号は長時間露光のそれと短時
間露光のそれが１フィールドおきに切り替わり、短時間
露光の撮像信号と長時間露光の撮像信号が得られる。
平面に光学像が結像されると各々のフォトダイオード２
３は光学像が持つ光エネルギーによって励起されて電荷
をチャージする。ここで、チャージされる電荷の量は各
々のフォトダイオードに照射された光エネルギーの量と
ほぼ比例するので、各々のフォトダイオードが光学像に
曝された時間、即ち露光時間が全て等しい状態となる
時、ＣＭＯＳイメージセンサに配置された各々のフォト
ダイオードにチャージされた電荷の分布は、ＣＭＯＳイ
メージセンサ上に結ばれた光学的象の輝度分布を反映し
たものとなる。この状態で、１行１列目のリードゲート
スイッチと１行目に設けられた２段目のゲートスイッチ
を開放(以降この動作をリードアクセスと表現する)する
とフォトダイオード内に蓄積された電荷は信号出力端子
を介して放電され、１行１列目のフォトダイオードに照
射された光エネルギーは電圧変化として表現される。ま
たこれとは逆に１行１列目のリセットゲートスイッチを
開放(以降この動作をリセットアクセスと表現する)する
とフォトダイオード内に蓄積された電荷は外部に排出さ
れ電荷の蓄積はリセットされる。このリードアクセスを
例えば１行１列目、１行２列目…１行ｎ列目、２行１列
目…ｉ行ｋ列目…ｍ行ｎ列目と順番にスキャニングする
ようにリードアクセスを行い、被写体の撮像信号を取得
する。またこのとき、このスキャニング動作を一定の周
期(例えば、フィールド周期)で繰り返し行うと、ある任
意のフォトダイオードに着目すれば一旦リードされてか
ら次にリードされるまでの間フォトダイオードで光エネ
ルギーによる電荷の蓄積が行なわれることとなり、スキ
ャンニングの周期はこれ即ち露光時間ということにな
る。さらに、上記のリードアクセススキャニング動作に
先行してリセットアクセススキャニング動作を行なった
場合、図５(任意のフォトダイオードにおけるリードア
クセスタイミングとリセットアクセスタイミングを示す
図)に示した露光時間の斜線部分にあたる期間にフォト
ダイオード内に蓄積された電荷が、リードゲートスイッ
チを介して排出されるので、リセットアクセスタイミン
グからリードアクセスタイミングまでの遅延時間(以降
この時間をオフセット時間と表現する)に蓄積された電
荷が信号として読み出されることになる。このオフセッ
ト時間を調整することでスキャンニング周期よりも短い
露光時間で撮影した撮像信号を取得する。さらにここ
で、図６(図５におけるリセットアクセスを１フィール
ドおきに休止する場合のリードアクセスタイミングとリ
セットアクセスタイミングを示す図)示すように、フィ
ールドＢのリードアクセスに対応したリセットアクセス
を休止すると、フィールドＡで読み出される撮像信号の
露光時間は短時間(フィールド周期以下)にフィールドＢ
で読み出される撮像信号の露光時間は長時間(フィール
ド周期以上)になる。この結果、ＣＭＯＳイメージセン
サから読み出される撮像信号は長時間露光のそれと短時
間露光のそれが１フィールドおきに切り替わり、短時間
露光の撮像信号と長時間露光の撮像信号が得られる。
【０００９】該短時間露光の撮像信号と長時間露光の撮
像信号は、何れもＣＤＳ・Ａ／Ｄ変換手段１３において
サンプリングが行なわれた後、ディジタル撮像信号に変
換される。ディジタル撮像信号はＲＧＢ処理手段１４で
ＲＧＢ成分に分離され、ＲＧＢディジタル信号が生成さ
れる。ここでＲＧＢディジタル信号は長時間露光で撮像
したものと短時間露光で撮像したものがフィールド毎に
交互に切り替わり、その一方をフィールドメモリ手段１
５に格納する。もう一方のＲＧＢディジタル信号はＹ／
Ｃ処理混合手段１６に供給する。同時に該フィールドメ
モリ手段に前のフィールドで格納したＲＧＢディジタル
信号を読み出してこちらもＹ／Ｃ処理混合手段１６に供
給する。Ｙ／Ｃ処理混合手段１６では、これら露光時間
の異なる２つのＲＧＢ信号を或る任意の信号レベルでス
ライスし、長時間露光のＲＧＢディジタル信号の低輝度
側と短時間露光のＲＧＢディジタル信号の高輝度側をつ
なぎ合わせる。図７はその長時間露光の画像信号と短時
間露光の画像信号の結合の様子を示した図であり、い
ま、或るラインにおける被写体の輝度分布が図７のＡの
ごとき状態であったとしたとき、短時間露光の画像信号
の信号レベルの分布が図７のＢ、長時間露光の画像信号
の信号レベルの分布が図７のＣのようになったとする。
このとき、長時間露光の画像信号は被写体の高輝度部分
で飽和してしまい被写体の輝度分布を忠実に表せていな
いことが見て伺える。そこで該長時間露光の画像信号を
飽和レベルよりも少し低いレベルでスライスして、その
レベルより高い部分に相当する信号成分を短時間露光の
画像信号から切り出して、任意の係数を乗算して長時間
露光の信号に加算して、元の被写体の輝度分布を忠実に
表した画像信号を合成する。その結果図７のＤに示した
ような、長時間露光と短時間露光の混合画像信号を得
る。こうして得られたＲＧＢの信号はＹ／Ｃ処理混合手
段１６でさらに輝度信号Ｙと色差信号Ｃに変換される。
そして、該輝度信号Ｙと色差信号Ｃは画像信号記録手段
１７と表示系信号処理手段１８へ供給され、画像信号記
録手段１７では撮影した映像の記録を、表示系信号処理
手段１８ではモニタリング手段へ供給するのに適した信
号フォーマットに変換される。以上が図１に示した広ダ
イナミックレンジＣＭＯＳイメージセンサ撮像装置の動
作である。
像信号は、何れもＣＤＳ・Ａ／Ｄ変換手段１３において
サンプリングが行なわれた後、ディジタル撮像信号に変
換される。ディジタル撮像信号はＲＧＢ処理手段１４で
ＲＧＢ成分に分離され、ＲＧＢディジタル信号が生成さ
れる。ここでＲＧＢディジタル信号は長時間露光で撮像
したものと短時間露光で撮像したものがフィールド毎に
交互に切り替わり、その一方をフィールドメモリ手段１
５に格納する。もう一方のＲＧＢディジタル信号はＹ／
Ｃ処理混合手段１６に供給する。同時に該フィールドメ
モリ手段に前のフィールドで格納したＲＧＢディジタル
信号を読み出してこちらもＹ／Ｃ処理混合手段１６に供
給する。Ｙ／Ｃ処理混合手段１６では、これら露光時間
の異なる２つのＲＧＢ信号を或る任意の信号レベルでス
ライスし、長時間露光のＲＧＢディジタル信号の低輝度
側と短時間露光のＲＧＢディジタル信号の高輝度側をつ
なぎ合わせる。図７はその長時間露光の画像信号と短時
間露光の画像信号の結合の様子を示した図であり、い
ま、或るラインにおける被写体の輝度分布が図７のＡの
ごとき状態であったとしたとき、短時間露光の画像信号
の信号レベルの分布が図７のＢ、長時間露光の画像信号
の信号レベルの分布が図７のＣのようになったとする。
このとき、長時間露光の画像信号は被写体の高輝度部分
で飽和してしまい被写体の輝度分布を忠実に表せていな
いことが見て伺える。そこで該長時間露光の画像信号を
飽和レベルよりも少し低いレベルでスライスして、その
レベルより高い部分に相当する信号成分を短時間露光の
画像信号から切り出して、任意の係数を乗算して長時間
露光の信号に加算して、元の被写体の輝度分布を忠実に
表した画像信号を合成する。その結果図７のＤに示した
ような、長時間露光と短時間露光の混合画像信号を得
る。こうして得られたＲＧＢの信号はＹ／Ｃ処理混合手
段１６でさらに輝度信号Ｙと色差信号Ｃに変換される。
そして、該輝度信号Ｙと色差信号Ｃは画像信号記録手段
１７と表示系信号処理手段１８へ供給され、画像信号記
録手段１７では撮影した映像の記録を、表示系信号処理
手段１８ではモニタリング手段へ供給するのに適した信
号フォーマットに変換される。以上が図１に示した広ダ
イナミックレンジＣＭＯＳイメージセンサ撮像装置の動
作である。
【００１０】次に、図１に示した広ダイナミックレンジ
ＣＭＯＳイメージセンサ撮像装置において、ＣＭＯＳイ
メージセンサを倍速で駆動することで、長時間露光の撮
像データと短時間露光の撮像データを得る方法について
説明を行う。図８は通常読み出しを行った場合の信号の
読み出しパターンと、倍速読み出しを行った場合の信号
読み出しパターンを示したものである。図８に示すよう
に通常の倍速でＣＭＯＳイメージセンサから倍速で電荷
を読み出し、その読み出しパターンは通常の読み出しパ
ターンの間にリードアクセスする位置を通常の読み出し
位置から行方向にａ行、列方向にｂ列オフセットさせる
ようにして電荷の読み出しを行うようにすることで、図
９(倍速読み出し時のある任意のフォトダイオード着目
したリードアクセスタイミングを示す図)に示すよう
に、或る任意のフォトダイオードから露光時間の異なる
蓄積電荷が読み出されることになる。その結果、１フィ
ールドの期間に異なる露光時間を持つ２つの画像データ
を取得することが出来る。
ＣＭＯＳイメージセンサ撮像装置において、ＣＭＯＳイ
メージセンサを倍速で駆動することで、長時間露光の撮
像データと短時間露光の撮像データを得る方法について
説明を行う。図８は通常読み出しを行った場合の信号の
読み出しパターンと、倍速読み出しを行った場合の信号
読み出しパターンを示したものである。図８に示すよう
に通常の倍速でＣＭＯＳイメージセンサから倍速で電荷
を読み出し、その読み出しパターンは通常の読み出しパ
ターンの間にリードアクセスする位置を通常の読み出し
位置から行方向にａ行、列方向にｂ列オフセットさせる
ようにして電荷の読み出しを行うようにすることで、図
９(倍速読み出し時のある任意のフォトダイオード着目
したリードアクセスタイミングを示す図)に示すよう
に、或る任意のフォトダイオードから露光時間の異なる
蓄積電荷が読み出されることになる。その結果、１フィ
ールドの期間に異なる露光時間を持つ２つの画像データ
を取得することが出来る。
【００１１】図３は２線読み出し式のＣＭＯＳイメージ
センサを用いた広ダイナミックレンジ撮像装置の構成の
一例を示したものである。同図において３１は２線読み
出し式のＣＭＯＳイメージセンサ、３２はＣＤＳ・Ａ／
Ｄ手段２、３３はＲＧＢ処理手段２を示しており、その
他は図１のＣＭＯＳイメージセンサを用いた広ダイナミ
ックレンジ撮像装置の構成と同様である。また、図４は
図３の２線読み出し式のＣＭＯＳイメージセンサの構成
を示したものである。図２のＣＭＯＳイメージセンサと
の相違点はリセット用の電荷排出部を信号出力部２に変
更した点である。この変更行い、新たに設けた２２はＣ
ＤＳ・Ａ／Ｄ手段２、２３はＲＧＢ処理手段２もちいて
信号出力部２から読み出される信号をＲＧＢ信号に変換
して、信号出力部１から読み出した撮像信号から得たＲ
ＧＢ信号を繋ぐ処理を行うことで、図１の例で示した、
ＣＭＯＳイメージセンサを倍速読み出し場合と同じ効果
が得られる。
センサを用いた広ダイナミックレンジ撮像装置の構成の
一例を示したものである。同図において３１は２線読み
出し式のＣＭＯＳイメージセンサ、３２はＣＤＳ・Ａ／
Ｄ手段２、３３はＲＧＢ処理手段２を示しており、その
他は図１のＣＭＯＳイメージセンサを用いた広ダイナミ
ックレンジ撮像装置の構成と同様である。また、図４は
図３の２線読み出し式のＣＭＯＳイメージセンサの構成
を示したものである。図２のＣＭＯＳイメージセンサと
の相違点はリセット用の電荷排出部を信号出力部２に変
更した点である。この変更行い、新たに設けた２２はＣ
ＤＳ・Ａ／Ｄ手段２、２３はＲＧＢ処理手段２もちいて
信号出力部２から読み出される信号をＲＧＢ信号に変換
して、信号出力部１から読み出した撮像信号から得たＲ
ＧＢ信号を繋ぐ処理を行うことで、図１の例で示した、
ＣＭＯＳイメージセンサを倍速読み出し場合と同じ効果
が得られる。
【００１２】
【発明の効果】本発明によれば、ＣＭＯＳイメージセン
サから長時間露光と短時間露光の双方の画像データを取
得することが可能となり、それらを適当に繋ぎ合わせる
ことでＣＭＯＳイメージセンサが本来持っているダイナ
ミックレンジ以上の輝度分布を有する撮像画像を撮像す
ることが出来る。
サから長時間露光と短時間露光の双方の画像データを取
得することが可能となり、それらを適当に繋ぎ合わせる
ことでＣＭＯＳイメージセンサが本来持っているダイナ
ミックレンジ以上の輝度分布を有する撮像画像を撮像す
ることが出来る。
【図１】広ダイナミックレンジＣＭＯＳイメージセンサ
撮像装置構成の一例を示すブロック図
撮像装置構成の一例を示すブロック図
【図２】図１におけるＣＭＯＳイメージセンサの構成例
【図３】２線読み出し式のＣＭＯＳイメージセンサを用
いた広ダイナミックレンジ撮像装置の構成の一例を示す
ブロック図
いた広ダイナミックレンジ撮像装置の構成の一例を示す
ブロック図
【図４】図３の２線読み出し式のＣＭＯＳイメージセン
サの構成例
サの構成例
【図５】任意のフォトダイオードにおけるリードアクセ
スタイミングとリセットアクセスタイミングを示す図
スタイミングとリセットアクセスタイミングを示す図
【図６】図５におけるリセットアクセスを１フィールド
おきに休止する場合のリードアクセスタイミングとリセ
ットアクセスタイミングを示す図
おきに休止する場合のリードアクセスタイミングとリセ
ットアクセスタイミングを示す図
【図７】長時間露光の画像信号と短時間露光の画像信号
の結合の様子を示す図
の結合の様子を示す図
【図８】通常読み出しと倍速読み出しの読み出しパター
ンを比較する図
ンを比較する図
【図９】倍速読み出し時のある任意のフォトダイオード
着目したリードアクセスタイミングを示す図
着目したリードアクセスタイミングを示す図
１１ ＣＭＯＳイメージセンサ
１２ タイミング発生手段
１３ ＣＤＳ・Ａ／Ｄ変換手段
１４ ＲＧＢ処理手段
１５ フィールドメモリ手段
１６ Ｙ／Ｃ処理混合手段
１７ 画像信号記録手段
１８ 表示系信号処理手段
２１ リードゲート駆動制御手段
２２ リセットゲート駆動制御手段
２３ フォトダイオード
２４ リードゲートスイッチ
２４ リセットゲートスイッチ
３１ ２線読み出し式のＣＭＯＳイメージセンサ
３２ ＣＤＳ・Ａ／Ｄ手段２
３３ ＲＧＢ処理手段２
─────────────────────────────────────────────────────
フロントページの続き
(51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考）
Ｈ０４Ｎ 9/64 Ｈ０１Ｌ 27/14 Ｄ
(72)発明者 衣笠 敏郎
神奈川県横浜市戸塚区吉田町292番地 株
式会社日立製作所デジタルメディア開発本
部内
Ｆターム(参考） 4M118 AA02 AB01 BA14 CA02 DD09
DD12 FA06 GC08
5C024 AX01 CX43 CX47 GY31 GZ41
HX23 HX28 HX55
5C065 BB48 CC01 DD15 GG18 GG21
GG27 GG44
5C066 AA01 AA11 CA07 EE01 KE07
Claims (3)
- 【請求項１】光学像を電気的情報に変換するＣＭＯＳイ
メージセンサと、 該ＣＭＯＳイメージセンサより読み出される電気的情報
をサンプリングしてディジタル撮像信号に変換するＣＤ
Ｓ・Ａ／Ｄ変換手段と、 該ディジタル撮像信号を加工してＲＧＢで表現される画
像データに変換するＲＧＢ処理手段と、 該ＲＧＢ処理手段から出力されたＲＧＢ画像データを記
憶するメモリ手段と、 該メモリ手段に格納されたＲＧＢ画像データと該ＲＧＢ
処理手段で新たに生成されたＲＧＢ画像データを合成し
てさらに新たなＲＧＢ画像データを生成し、新たなＲＧ
Ｂ画像データから輝度信号と色差信号を生成するＹ／Ｃ
処理・混合手段と、を具備する撮像装置において、 該ＣＭＯＳイメージセンサは、長時間露光を行って得た
長時間露光画像データと、該ＣＭＯＳイメージセンサで
短時間露光を行って得た短時間露光画像データを生成
し、 該メモリ手段は、長時間露光あるいは短時間露光の何れ
か一方の画像データを記憶し、 該ＹＣ処理・混合手段は、該メモリ手段に記憶された画
像データとは露光時間の異なる画像データの生成タイミ
ングを合わせて、該メモリ手段に記憶された画像データ
の読み出しをおこなうことにより、該短時間露光画像デ
ータと該長時間露光画像データを合成することを特徴と
する撮像装置。 - 【請求項２】前記ＣＭＯＳイメージセンサの第１のフォ
トダイオードの読み出しと、次の第２のフォトダイオー
ドの読み出しとの間に、該第１のフォトダイオードの座
標からある一定量だけオフセットした座標のフォトダイ
オードの読み出し処理を行うことにより、通常の倍速の
該ＣＭＯＳイメージセンサの駆動により、露光時間の異
なる２種類の画像データを生成することを特徴とする請
求項１に記載の撮像装置。 - 【請求項３】前記ＣＭＯＳイメージセンサのフォトダイ
オードに、独立な２つの信号読み出し口を設け、該２つ
の信号読み出し口から任意のフォトダイオードに対して
時間がずれるように２度の読み出し処理を行うことによ
り、長時間露光の画像データと短時間露光の画像データ
を生成することを特徴とする請求項１に記載の撮像装
置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001369453A JP2003169259A (ja) | 2001-12-04 | 2001-12-04 | 撮像装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001369453A JP2003169259A (ja) | 2001-12-04 | 2001-12-04 | 撮像装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2003169259A true JP2003169259A (ja) | 2003-06-13 |
Family
ID=19178840
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001369453A Withdrawn JP2003169259A (ja) | 2001-12-04 | 2001-12-04 | 撮像装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2003169259A (ja) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006033381A (ja) * | 2004-07-15 | 2006-02-02 | Canon Inc | 撮像装置及び制御方法 |
| JP2007201985A (ja) * | 2006-01-30 | 2007-08-09 | Matsushita Electric Ind Co Ltd | 広ダイナミックレンジ撮像装置 |
| JP2008147818A (ja) * | 2006-12-07 | 2008-06-26 | Sony Corp | 固体撮像装置、固体撮像装置の駆動方法および撮像装置 |
| JP2008263547A (ja) * | 2007-04-13 | 2008-10-30 | Konica Minolta Holdings Inc | 撮像装置 |
| JP2009152669A (ja) * | 2007-12-18 | 2009-07-09 | Sony Corp | 撮像装置、撮像処理方法及び撮像制御プログラム |
| JP2009278524A (ja) * | 2008-05-16 | 2009-11-26 | Sony Corp | 画像処理装置、撮像装置、画像処理方法、およびプログラム |
| US8243179B2 (en) | 2008-05-29 | 2012-08-14 | Sharp Kabushiki Kaisha | Solid-state image capturing apparatus, driving method of a solid-state image capturing apparatus, and electronic information device |
| JP2015126043A (ja) * | 2013-12-26 | 2015-07-06 | ソニー株式会社 | 電子デバイス |
-
2001
- 2001-12-04 JP JP2001369453A patent/JP2003169259A/ja not_active Withdrawn
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006033381A (ja) * | 2004-07-15 | 2006-02-02 | Canon Inc | 撮像装置及び制御方法 |
| US7916185B2 (en) | 2006-01-30 | 2011-03-29 | Panasonic Corporation | Wide dynamic range image capturing apparatus |
| JP2007201985A (ja) * | 2006-01-30 | 2007-08-09 | Matsushita Electric Ind Co Ltd | 広ダイナミックレンジ撮像装置 |
| US8274588B2 (en) | 2006-12-07 | 2012-09-25 | Sony Corporation | Solid-state imaging device, method for driving the same, and imaging device |
| JP2008147818A (ja) * | 2006-12-07 | 2008-06-26 | Sony Corp | 固体撮像装置、固体撮像装置の駆動方法および撮像装置 |
| KR101422875B1 (ko) * | 2006-12-07 | 2014-07-23 | 소니 주식회사 | 고체 촬상 장치, 고체 촬상 장치의 구동 방법 및 촬상 장치 |
| US8964077B2 (en) | 2006-12-07 | 2015-02-24 | Sony Corporation | Solid-state imaging device, method for driving the same, and imaging device |
| JP2008263547A (ja) * | 2007-04-13 | 2008-10-30 | Konica Minolta Holdings Inc | 撮像装置 |
| JP2009152669A (ja) * | 2007-12-18 | 2009-07-09 | Sony Corp | 撮像装置、撮像処理方法及び撮像制御プログラム |
| US8154619B2 (en) | 2007-12-18 | 2012-04-10 | Sony Corporation | Imaging apparatus, imaging processing method, and imaging control program |
| JP2009278524A (ja) * | 2008-05-16 | 2009-11-26 | Sony Corp | 画像処理装置、撮像装置、画像処理方法、およびプログラム |
| US8243179B2 (en) | 2008-05-29 | 2012-08-14 | Sharp Kabushiki Kaisha | Solid-state image capturing apparatus, driving method of a solid-state image capturing apparatus, and electronic information device |
| JP2015126043A (ja) * | 2013-12-26 | 2015-07-06 | ソニー株式会社 | 電子デバイス |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4928674B2 (ja) | 広いダイナミックレンジを達成するための時間インデックス付け方法を用いた多サンプリング方法 | |
| US6903770B1 (en) | Digital camera which produces a single image based on two exposures | |
| CN104038702B (zh) | 摄像设备及其控制方法 | |
| US7023479B2 (en) | Image input apparatus having addition and subtraction processing | |
| JP4742242B2 (ja) | 撮像装置及びそのプログラム | |
| US7312821B2 (en) | Time-sliced still image generation | |
| JPH07212645A (ja) | テレビジョンカメラ | |
| JP2002514375A (ja) | 独立した集積及び読出を用いる電荷結合素子イメージ取得のための方法及び装置 | |
| JP2006311240A (ja) | 撮像装置 | |
| JP2004523184A (ja) | 画像センサにおける効率的な暗電流の減算 | |
| US7432962B2 (en) | Dynamic range broadening method for a solid-state image sensor including photosensitive cells each having a main and a subregion | |
| US20100321516A1 (en) | Digital camera apparatus and recording medium for recording computer program for such apparatus | |
| JP2003169259A (ja) | 撮像装置 | |
| JP2005072966A (ja) | 固体撮像素子及び撮像装置 | |
| US7760257B2 (en) | Image capturing apparatus, control method and program thereof, and storage medium | |
| JP2004180317A (ja) | ビデオ画像と静止画像を取り込む方法 | |
| JP3212809B2 (ja) | 固体撮像素子の駆動方法 | |
| JP2008270832A (ja) | 固体撮像素子及び撮像装置 | |
| JP2001285705A (ja) | タイミング信号発生装置およびその発生方法 | |
| JPH10173988A (ja) | 電子スチルカメラ | |
| JPH06113191A (ja) | ビデオ・カメラおよびその測光方法 | |
| JP2005303653A (ja) | 撮像装置 | |
| EP0936809A2 (en) | Image sensing apparatus and driving method thereof | |
| JPH06245151A (ja) | テレビジョンカメラ装置 | |
| JP4367831B2 (ja) | カラー撮像装置および固体撮像装置の駆動制御方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20060419 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060606 |
|
| A761 | Written withdrawal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A761 Effective date: 20060801 |