JP2007228367A

JP2007228367A - 感度補正方法および撮像装置

Info

Publication number: JP2007228367A
Application number: JP2006048425A
Authority: JP
Inventors: Hidetoshi Umeda; 英敏梅田; Kenji Odagiri; 賢次小田切
Original assignee: Kyocera Corp
Current assignee: Kyocera Corp
Priority date: 2006-02-24
Filing date: 2006-02-24
Publication date: 2007-09-06
Anticipated expiration: 2026-02-24
Also published as: JP4659641B2

Abstract

【課題】簡単な構成で精度のよいシェーディング補正を行うことができる感度補正方法および撮像装置を提供する。
【解決手段】複数の撮像素子３にて被写体を撮像する撮像手段と、被写体からの光を撮像素子３に結像させる光学ユニット２とを具備して、前記被写体からの信号を複数の撮像素子３で同時に受光した後、複数の撮像素子３に対して第１の順番で各撮像素子３の受光信号を読み込んで第１の読取データとして記憶し、次に、前記第１の順番とは逆の第２の順番で各撮像素子３の受光信号を再度読み込んで第２の読取データとして記憶した後、各撮像素子３における前記第１の読取データと前記第２の読取データとの平均値を算出して各撮像素子３の読取データとする感度補正方法を採用したカメラモジュール１である。
【選択図】図１

Description

本発明は、感度補正方法および撮像装置に関し、特に被写体からの信号を複数の撮像素子で同時に受光して前記被写体の画像を読み取る際に、読取画像からシェーディングの影響を除去する感度補正方法および撮像装置に関する。

近年、複数の撮像素子にて被写体を撮像する撮像手段と、被写体からの光を前記撮像手段に結像させる撮像光学系と、を具備する、例えば、Ｘ線ＣＴや、複写機、ファクシミリ、スキャナ、さらにデジタルカメラや監視カメラ、車載カメラ等のカメラモジュールのような撮像装置が広く開発されている。

このような撮像装置では、撮像素子にて被写体からの光の強さを検知することによって画像を読み取っているが、レンズの周辺光量低下や撮像素子の感度ばらつきによって各撮像素子の受光量が実際の信号からずれてしまい、出力される画像に画像ムラができてしまうことが知られている。そこで、この画像ムラをなくすためにシェーディング補正が行なわれる。

例えば、特許文献１では、予め白基準板を撮像して得られる白基準影像信号と黒基準板を撮像して得られる黒基準影像信号とに基づくシェーディング補正データを作成しておき、この補正データに基づいて被写体を撮像したときのデータ補正を行う方法が開示されている。また、特許文献２では、各撮像素子ごとにヒストグラム最頻度計算処理を行ってこのヒストグラム最頻度値を用いてシェーディング補正する補正方法が開示されている。さらに、特許文献３では、被写体に光源からの光を照射すると同時に、この光源からの光から補正部材を介して得たデータをシェーディングデータとして使用する補正方法が開示されている。また、特許文献４では、第１の方向（図３のＸ方向）におけるシェーディング補正係数と第１の方向とは垂直な第２の方向（図３のＹ方向）におけるシェーディング補正係数とを乗算してシェーディング補正を行うデジタルカメラについて開示されている。
特開平１０−９７６１７号公報特開平１１−６９１５４号公報特開２０００−３５８１４２号公報特開２００５−８００６２号公報

しかしながら、上述したようにシェーディングデータを別途準備してシェーディング補正を行う補正方法では、被写体からの信号を複数の撮像素子で同時に受光した後で各撮像素子の受光信号を順に読み込む読取方式に対して、シェーディング補正が完全に行えないという問題があった。

すなわち、画像ムラの要因として、上記レンズの周辺光量低下や撮像素子の感度ばらつき以外にも撮像素子に信号を読み込む際の電荷量の変動がある。例えば、ＣＭＯＳセンサ（相補型金属酸化物半導体センサ；Complementary Metal Oxide Semiconductor image sensor）を用いたグローバルシャッタ方式のように１画面分の画像を同時に読み込む方法では、撮像素子全体に対して同時に露光を行い、その後同時に露光を終了し、終了と同時に各撮像素子に蓄積された電荷を読出す方式であり、全撮像を同時に露光するので対象物の動きが早い場合でも、像は歪まないという特徴を有している。かかる方法では、撮像素子に蓄積された電荷量が読み出されるまでの間に高くなってしまい画像ムラが発生するという問題である。

これは、各撮像素子に蓄積された電荷量が読み出されるまでの間に、撮像素子を構成するフォトダイオードの下部に蓄えられた電荷が各撮像素子に併設されるピクセルメモリ内に漏れ込んでしまうことに起因する。さらに、この漏れ込む電荷量は各撮像素子に蓄積された電荷の強さに応じて変動するために、従来のような別途シェーディングデータを準備する方法では画像ムラを完全に補正することができないものであった。

なお、この撮像素子に蓄積された電荷量に応じて補正すべき電荷量が変動することは、ＣＭＯＳセンサを用いたグローバルシャッタ方式に限らず、複数の撮像素子にて１画面分の画像を同時に読み込む撮像装置において一般的に発生する現象であった。そして、いずれの場合にも精度のよいシェーディング補正方法が求められていた。

本発明は上記問題点を解消するためになされたもので、簡単な構成で精度のよいシェーディング補正を行うことができる感度補正方法及び撮像装置を提供することを目的とする。

本発明の感度補正方法は、被写体からの光を複数の撮像素子で受光することにより前記被写体の画像を読み取る際に発生するシェーディングを除去するための感度補正方法であって、前記被写体からの光を前記複数の撮像素子で同時に受光した後、前記複数の撮像素子に対して第１の順番で各撮像素子の受光信号を読み込んで第１の読取データとして記憶し、次に、前記第１の順番とは逆の第２の順番で前記各撮像素子の受光信号を再度読み込んで第２の読取データとして記憶した後、前記各撮像素子による前記第１の読取データと前記第２の読取データとの平均値を算出して各撮像素子の読取データとすることを特徴とする方法である。

また、本発明の撮像装置は、複数の撮像素子にて被写体を撮像する撮像手段と、前記被写体の像を前記撮像手段に結像させる光学系とを具備し、前記光学系を通して前記被写体からの光を前記複数の撮像素子で同時に受光する撮像装置であって、前記被写体からの光を受光した前記複数の撮像素子から第１の順番で各撮像素子の受光信号を読み込んで第１の読取データとして記憶し、次に、前記第１の順番とは逆の第２の順番で前記各撮像素子の受光信号を再度読み込んで第２の読取データとして記憶する記憶手段と、前記第１の読取データと前記第２の読取データとの平均値を求めて各撮像素子の読取データとする演算手段とを具備することを特徴とするものである。

さらに、前記撮像手段が相補型金属酸化物半導体（ＣＭＯＳ）センサである場合に特に有効である。

本発明の感度補正方法によれば、前記被写体からの信号を前記複数の撮像素子で同時に受光した後、前記複数の撮像素子に対して第１の順番で各撮像素子の受光信号を読み込んで第１の読取データとして記憶し、次に、前記第１の順番とは逆の第２の順番で各撮像素子の受光信号を再度読み込んで第２の読取データとして記憶した後、前記各撮像素子における前記第１の読取データと前記第２の読取データとの平均値を算出して各撮像素子の読取データとすることによって、撮像素子に蓄積された電荷量が読み出されるまでに漏れ込む電荷量のばらつき等を容易かつ正確に相殺することができて、簡単な構成で精度のよいシェーディング補正を行うことができる。

また、本発明の撮像装置によれば、前記被写体からの光を受光した前記複数の撮像素子から第１の順番で各撮像素子の受光信号を読み込んで第１の読取データとして記憶し、次に、前記第１の順番とは逆の第２の順番で前記各撮像素子の受光信号を再度読み込んで第２の読取データとして記憶する記憶手段と、前記第１の読取データと前記第２の読取データとの平均値を求めて各撮像素子の読取データとする演算手段とを具備して、前記簡単な構成で精度のよいシェーディング補正を行うことができることから、画像ムラがなく精度のよい画像を記憶することができ、この記憶された画像を再生した場合には画像ムラのない精度のよい画像となる。

さらに、前記撮像手段が相補型金属酸化物半導体（ＣＭＯＳ）センサである場合には、素子内に電荷が漏れ込みやすいので本発明の効果が顕著であり、かつ各素子への信号の読み込み順番を変更することができるので容易に適応することができる。

図１には、本発明の感度補正方法が適用された撮像装置の第一の実施形態である車載用のカメラモジュールの概略構成が示されている。

図１によれば、本実施形態に係るカメラモジュール１は、被写体からの光を結像させるためのレンズを含んで構成された光学ユニット２と、光学ユニット２の光軸後方に配設された撮像素子３と、各撮像素子３内部に収納され撮像素子３から出力されたアナログ信号をデジタル信号に変換するＡ／Ｄコンバータ４と、各撮像素子３の内部にそれぞれに設けられ撮像素子３で読み込んだアナログ読取データを一時的に記憶するピクセルメモリ５と、撮像素子３を駆動するセンサ駆動部７と、メインメモリ１０と、主制御部１２と、出力端子１４とを備えている。なお、図１のカメラモジュール１では、複数の撮像素子３と、各撮像素子３に併設されたピクセルメモリ５と、ピクセルメモリ５のアナログ読取データをデジタル読取データに変換するＡ／Ｄコンバータ４とはＣＭＯＳセンサ８の内部に具備されている。

なお、図１のカメラモジュール１によれば、Ａ／Ｄコンバータ４が変換したデジタル読取データはメインメモリ１０に記憶され、主制御部１２によってシェーディング補正、および所望によりγ補正やホワイトバランス補正等のデータ処理を行った後、出力端子１４に画像データとして出力される。そして、出力端子１４から車内に設置された読込画像を表示する表示部（図示せず。）にデータが送信されて画像を表示する。

本発明によれば、まず、光学ユニット２を通した被写体からの光を１画面分の全撮像素子３に同時に露光を開始して同時に露光を終了する。そして、第１の順番で各撮像素子３に被写体からの受光信号を読み込んで第１の読取データとして記憶し、次に、前記第１の順番とは逆の第２の順番で各撮像素子３に前記被写体からの受光信号を再度読み込んで第２の読取データとして記憶する。その後、各撮像素子３における前記第１の読取データと前記第２の読取データとの平均値を算出して各撮像素子３の読取データとすることが大きな特徴である。

すなわち、一画面分の全撮像素子３に同時に露光し、撮像素子３に露光を行って蓄積された電荷量が、露光終了後に順次読み出されるような撮像装置において、図２に概念図で示すように、撮像素子３の一部であるフォトダイオード１６の下部から電荷の拡散（図２中のＭ_１：経時的かつ光の受光強度に応じて変化する。）が発生したり、遮光アルミニウム板１７によって反射した光（図２中のＭ_２：受光する光の強さに応じて変化する。）が漏れ込む等の要因によって漏れ込み電荷量（図中のＭ）が発生し、本来各撮像素子３が受信した被写体からの受光信号からそれぞれが規則性なくばらついた電荷蓄積量となって画像ムラを引き起こす。

しかしながら、本発明の感度補正方法によれば、図２に示すようなフォトダイオード１６の下部からの電荷の拡散（図２中のＭ_１）および遮光アルミニウム板１７からの反射（図２中のＭ_２）の要因に対して、経時的な電荷の変動量が相殺され、かつ各撮像素子３の受光強度に応じた変動量に調整することができることから、各撮像素子３の漏れ込み電荷量を各撮像素子３の読み込み順に関係なく、かつ受信した受光量に比例した電荷蓄積量に調整できる。

したがって、漏れ込む電荷量のばらつきを容易かつ正確に相殺することができて、前記被写体の画像を複数の撮像素子で同時に受光して読み取る際に発生するシェーディングを簡単な構成で精度よく補正を行うことができる。

ここで、本実施形態におけるデータ処理方法についてより具体的に説明する。まず、図３に撮像素子３の詳細構成を模式図で示すように、複数の撮像素子３はｍ行×ｎ列に整列した状態で配置されている。そして、これら一画面分の全撮像素子３に対して同時に露光を開始しかつ同時に露光を終了して被写体からの光を各撮像素子３で受光して、各撮像素子３がそれぞれの信号として感知する。

次に、この各撮像素子３が感知した信号はそれぞれのピクセルメモリ５にアナログ信号として取得され、Ａ／Ｄコンバータ４でデジタル信号に変換しながら記憶手段としてのメインメモリ１０に記憶される。このとき、本発明によれば、各ピクセルメモリ５からメインメモリ１０に読取データが記憶される順番は、第１の順番、例えば図３に示す撮像素子３のｍ行×ｎ列の配列に対して、ａ_１、ａ_２、ａ_３．．．ａ_ｎ、ｂ_１、ｂ_２、ｂ_３．．．ｍ−１_１、ｍ−１_２．．．ｍ−１_ｎ、ｍ_１、ｍ_２、ｍ_３．．．ｍ_ｎの順番でそれぞれのピクセルメモリ５から読み込んで第１の読取データとして記憶される。

続いて、各ピクセルメモリ５の読取データを、Ａ／Ｄコンバータ４でデジタル信号に変換しながら、前記第１の順番とは逆の第２の順番で再度読み込んでメインメモリ１０に記憶する。なお、前記第１の順番とは逆の第２の順番とは、図３に示す撮像素子３に対して、上記第１の順番に対しては、ｍ_ｎ、ｍ_ｎ−１．．．ｍ_２、ｍ_１、ｍ−１_ｎ、．．．ｍ−１_２、ｍ−１_１．．．ｂ_ｎ、ｂ_ｎ−１．．．ｂ_２、ｂ_１、ａ_ｎ、ａ_ｎ−１．．．、ａ_２、ａ_１の順番である。この時点でメインメモリ１０には各撮像素子３、すなわち各ピクセルメモリ５について、第１の読取データと第２の読取データの２つのデータが記憶され、蓄積されることになる。なお、本発明によれば、各ピクセルメモリ５の読取データの読取順番は上記順番に限定されるものではなく、列方向から読み取るものであってもよく、他の順番であってもよい。

それから、各撮像素子３（ａ_１，ａ_２．．．ｍ_ｎ）のピクセルメモリ５に記憶されメインメモリ１０に送られた前記第１の読取データと前記第２の読取データとに対して、演算手段としての主制御部１２を用いて前記第１の読取データと前記第２の読取データとの平均値を算出する演算を行って各撮像素子３（ａ_１，ａ_２．．．ｍ_ｎ）の読取データとする。

なお、本発明の感度補正方法は上記データ処理のみに限定されるものではなく、例えば図１の場合には、メインメモリ１０の読取データに対して、必要に応じて、主制御部１２にて従来から公知の白基準補正等の他の感度補正方法を組み合わせて補正するものであってもよい。

さらに、撮像素子３として経時的な電荷の漏れ込みが発生するような素子を具備するＣＭＯＳセンサ８を用いた撮像装置に対して、上記感度補正方法は特に有効である。

また、本発明の撮像装置は、上述したカメラモジュールに限定されるものではなく、例えば、プロジェクタに接続されるスキャナについても好適に応用することができる。

そこで、図４に、本発明の感度補正方法が適用された撮像装置の第２の実施形態の例であるスキャナの概略構成を示す。

図４によれば、本実施形態のスキャナ２１は、原稿を載置する透明ガラス板製の原稿載置台２２と、原稿載置台２２の上部表面を覆うため開閉可能に設けられた原稿カバー２３と、原稿載置台２２に載置固定された原稿を照らすための照明ランプ２４と、レンズ３３を具備するレンズユニット３４と、照明ランプ２４を原稿に照射し原稿から反射した光を受光する複数の撮像素子２５と、各撮像素子２５の内部にそれぞれ設けられ撮像素子２５で読み込んだアナログ読取データを一時的に記憶するピクセルメモリ２６と、撮像素子２５から出力されたアナログ信号をデジタル信号に変換するＡ／Ｄコンバータ２９と、Ａ／Ｄコンバータ２９で変換したデジタル読取データを保存するための記憶手段としてのメインメモリ３０と、メインメモリ３０のデジタル読取データの読み込み順序やデータ処理を行うプログラムやパラメータなどを格納する演算手段としての主制御部３１と、撮像素子２５を駆動するセンサ駆動部２７と、ピクセルメモリ２６で記憶した読込画像をプロジェクタ等の外部装置（図示せず）に出力するための出力端子３２とを備えている。

そして、原稿載置台２２に載置固定された原稿に照明ランプ２４を照射し、原稿から反射した光は、複数の光学部材を介して、結像光学系からなるレンズ３３（図４では２枚のレンズ）で構成されるレンズユニット３４に案内される。このレンズユニット３４によって、原稿からの反射光が撮像素子２５上に結像される。また、レンズユニット３４は入射する光の光軸に沿って移動可能となっており、所望の倍率で撮像素子２５上に結像することができるようになっている。これにより、撮像素子２５によって、原稿載置台２２に載置された原稿に記録されている画像が読み取られる。撮像素子２５による読み取り結果から読取データが生成され、出力端子３２からプロジェクタ等の外部装置（図示せず）に出力される。

本実施形態においても、原稿からの光を１画面分の全撮像素子２５に同時に露光を開始して同時に露光を終了する。そして、第１の順番で各撮像素子２５の被写体からの受光信号を読み込んで第１の読取データとしてメインメモリ３０に記憶し、次に、前記第１の順番とは逆の第２の順番で各撮像素子２５の前記被写体からの受光信号を再度読み込んで第２の読取データとしてメインメモリ３０に記憶する。その後、主制御部３１によって各撮像素子２５からの前記第１の読取データと前記第２の読取データとの平均値を求めて、これを各撮像素子２５の読取データとする。

これによって、各撮像素子２５に漏れ込む電荷量のばらつきを容易かつ正確に相殺することができて、前記被写体の画像を複数の撮像素子２５で同時に受光して読み取る際に発生するシェーディングを簡単な構成で精度よく補正を行うことができる。

本発明の感度補正方法が適用された撮像装置の第１の実施形態の例である車載用のカメラモジュールの概略構成を示す概略構成図である。シェーディング発生の一要因についての原理を説明するための概念図である。撮像素子の詳細構成を示す模式図である。本発明の感度補正方法が適用された撮像装置の第２の実施形態の例であるプロジェクタ接続用のスキャナの概略構成を示す概略構成図である。

符号の説明

１カメラモジュール
２光学ユニット
３撮像素子
４Ａ／Ｄコンバータ
５ピクセルメモリ
７センサ駆動部
８ＣＭＯＳセンサ
１０メインメモリ
１２主制御部
１４出力端子
１６フォトダイオード
１７遮光アルミニウム板
２１スキャナ
２２原稿載置台
２３原稿カバー
２４照明ランプ
２５撮像素子
２６ピクセルメモリ
２７センサ駆動部
２９Ａ／Ｄコンバータ
３０メインメモリ
３１主制御部
３２出力端子
３３レンズ
３４レンズユニット

Claims

被写体からの光を複数の撮像素子で受光することにより前記被写体の画像を読み取る際に発生するシェーディングを除去するための感度補正方法であって、
前記被写体からの光を前記複数の撮像素子で同時に受光した後、前記複数の撮像素子に対して第１の順番で各撮像素子の受光信号を読み込んで第１の読取データとして記憶し、次に、前記第１の順番とは逆の第２の順番で前記各撮像素子の受光信号を再度読み込んで第２の読取データとして記憶した後、前記各撮像素子による前記第１の読取データと前記第２の読取データとの平均値を算出して各撮像素子の読取データとすることを特徴とする感度補正方法。
複数の撮像素子にて被写体を撮像する撮像手段と、前記被写体の像を前記撮像手段に結像させる光学系とを具備し、前記光学系を通して前記被写体からの光を前記複数の撮像素子で同時に受光する撮像装置であって、
前記被写体からの光を受光した前記複数の撮像素子から第１の順番で各撮像素子の受光信号を読み込んで第１の読取データとして記憶し、次に、前記第１の順番とは逆の第２の順番で前記各撮像素子の受光信号を再度読み込んで第２の読取データとして記憶する記憶手段と、
前記第１の読取データと前記第２の読取データとの平均値を求めて各撮像素子の読取データとする演算手段と
を具備することを特徴とする撮像装置。
前記撮像手段が相補型金属酸化物半導体（ＣＭＯＳ）センサであることを特徴とする請求項２記載の撮像装置。