JPH1175119A - 高解像度画素出力方法及び装置 - Google Patents

Abstract

(57)【要約】 【課題】固体撮像素子の本来の画素数で決まる解像度よ
り高い解像度情報を得る高品質の画像を得る際、そのノ
イズ低減などの処理に費やす時間を短縮する。 【解決手段】固体撮像素子を画素ピッチより小さい幅で
振動させて、複数の画像を得て、複数の画像上の元の各
画像の出力レベルを用いて高解像度の画像を構成する新
たな画素の第１の出力レベルを算出し（ステップ１）、
第１の出力レベルと既に算出されている近隣の高解像度
の画像を構成する他の画素の出力レベルとの関連度を算
出し（ステップ２）、その関連度に応じて前記第１の出
力レベルに基く画素出力レベル、または画素出力レベル
の予測値と第１の出力レベルとから得た第２の出力レベ
ルに基く画素出力レベルを設定する（ステップ３、
４）。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、被写体からの光
学情報を複数の異なる空間的位置において撮像したとき
に得られる複数の画像を統合することにより、固体撮像
素子（例えば、ＣＣＤ撮像素子等）の画素数で決まる本
来の限界解像度情報よりも高い解像度情報を持った新た
な画像を得ることができる固体撮像装置に有効な高解像
度画素出力方法及び装置に関する。この発明に係る固体
撮像装置は、例えば高品位な映像が要求される写真や絵
画などを撮像する場合に有効である。

【０００２】

【従来の技術】ＣＣＤ撮像素子等の固体撮像素子を用い
た固体撮像装置は、小型、軽量、低消費電力で動作す
る、解像度の画面一様性が良い、等の理由により、今や
撮像装置の主流となっている。

【０００３】これらの固体撮像装置の解像度は、基本的
には固体撮像素子の画素数により決まる。一方、固体撮
像素子のチップサイズは製造上の観点からある大きさに
制限されるので、画素数が増加すると１画素当たりのサ
イズは必然的に小さくなり、その分感度性能が劣化する
と言う問題がある。そこで、従来は固体撮像装置のシス
テム上の工夫により、固体撮像素子の画素数で決まる本
来の解像度よりも高い解像度の映像信号が得られる固体
撮像装置が実用化されている（例えば下記の文献、中
川、他：”漸化処理によるＣＣＤカメラの解像度の改
善”、信学論、J79-D-2,5,pp.1000-1002 May1996）。

【０００４】この文献ではＣＣＤ撮像素子を、その画素
サイズ以下の間隔で微小移動させて撮像すると言う動作
を繰り返すことにより光学サンプリング点を増加させる
ものである。ただしこのままでは画素の開口に重なりが
あるために高解像度効果が制限されるので、撮像した複
数の画像を用いて漸化処理を行い、結果として固体撮像
素子の本来の画素数で決まる解像度より高い解像度を得
る方式である。

【０００５】この従来の技術では、以下の問題点があ
る。即ち、一般に上記漸化処理では処理の途中でノイズ
が混入するとその画素以降の新たな画素の計算に影響が
出てしまうので、事前にノイズ低減を行っておく必要が
ある。例えばノイズ低減の一例として、上記微小移動を
させる際に、同じ位置で複数回撮像してそれらを加算
し、ＳＮ比を向上させ、その結果をその位置での画像と
して採用すると言う方法である。従ってこの場合は、複
数回の加算処理があるために、処理に費やす時間が必要
以上に長くかかってしまうという問題がある。

【０００６】

【発明が解決しようとする課題】上記したように、従来
の固体撮像装置においては、微小振動による漸化処理に
より高解像度化を行うが、事前にノイズ低減を行う。こ
のために例えば固体撮像素子を微小振動させる際に同じ
位置で複数回撮像し、その撮像による信号を加算し、各
画素のＳＮの向上を図っている。このために、複数回の
撮像、及び加算処理により費やす時間が必要となり、撮
像時間として長い時間が必要である。

【０００７】そこでこの発明は、固体撮像素子をその例
えば画素サイズ以下の間隔で微小振動させて被写体を撮
像するという動作を繰り返すことにより、光学サンプリ
ング点を増加させ、また撮像信号に漸化処理を施しノイ
ズ低減を行う場合、その撮像及び信号処理時間の短縮化
を得られるようにした高解像度画素出力方法及び装置を
提供することを目的とする。

【０００８】

【課題を解決するための手段】上記の目的を達成するた
めに、この発明の高解像度画素出力方法は、以下の手段
で構成される。即ち被写体からの光学情報を複数の異な
る空間的位置において撮像したときに得られる複数の画
像を統合することにより、固体撮像素子の画素数で決ま
る本来の限界解像度情報よりも高い解像度情報を持つ新
たな画像を得る固体撮像装置において、前記複数の画像
上の元の各画素の出力レベルを用いて前記高解像度の画
像を構成する新たな画素の第１の出力レベルをまず算出
する。次にその第１の出力レベルと、その画素の近隣に
存在し、既に算出されている高解像度の画像を構成する
他の画素の出力レベルとの関連度を算出する。

【０００９】そしてその関連度が所定の値より大きいと
きは、上記第１の出力レベルに基いて高解像度の画像の
画素出力レベルを設定する。逆にその関連度が所定の値
より小さいときは、前記解像度の画像中の既算出の画素
であって、前記近隣に存在している複数の画素の出力レ
ベルを用いて、関連が大きいと仮定したときに得られる
その画素の出力レベルの予測値を算出する。そして前記
画素出力レベルの予測値と前記第１の出力レベルとか
ら、高解像度の画像を構成するその画素の第２の出力レ
ベルを算出し、その第２の出力レベルに基いて高解像度
の画像の画素出力レベルを設定するものである。

【００１０】また、この発明に係る装置は、複数の画像
上の元の各画素の出力レベルを用いて前記高解像度の画
像を構成する新たな画素の第１の出力レベルを算出する
手段と、前記算出された第１の出力レベルと、その画素
の近隣に存在し、既に算出されている高解像度の画像を
構成する他の画素の出力レベルとの関連度を算出する手
段と、前記関連度が所定の値より小さいときに、前記高
解像度の画像中の既算出の画素であって、前記近隣に存
在している複数の画素の出力レベルを用いて、関連が大
きいと仮定したときに得られるその画素の出力レベルの
予測値を算出する手段と、前記画素出力レベルの予測値
と前記第１の出力レベルとから、高解像度の画像を構成
するその画素の第２の出力レベルを算出手段とを備える
ものである。

【００１１】上記の手段によると、固体撮像素子をその
画素サイズ以下の間隔で微小移動させて撮像する動作を
繰り返し、光学サンプリング点を増加させ、さらに得ら
れた複数の画像を用いて漸化処理を行い結果として固体
撮像素子の本来の画素数で決まる解像度よりも高い解像
度情報を得る際に、たとえ処理の過程でノイズが混入し
て画素出力レベルの演算結果が乱れたとしても、適応的
に画素出力レベルを補正することができるので、従来行
われていた事前のノイズ低減のために同じ位置で複数回
撮像し、同一画素間での加算処理を行うと言うような処
理及びその時間を軽減することができる。画像の内容に
よっては加算によるノイズ低減を省略することが可能で
ある。よって事前にノイズ低減処理のために費やす時間
を短縮することができ、作業効率を向上することができ
る。

【００１２】

【実施の形態】以下この発明の実施の形態を図面を参照
して説明する。図１はこの発明の一実施の形態である。
１次元のＣＣＤ固体撮像素子１２の受光面上には、撮像
レンズ１１を介して光学像が入射し結像する。パルス発
生回路１４からのパルスの一部は、ＣＣＤ駆動回路１３
にて、ＣＣＤ駆動パルスとなり、これがＣＣＤ撮像素子
１２を駆動する。これにより受光面に結像した光学像
は、電気信号に変換されて撮像出力となる。

【００１３】ここで図２にＣＣＤ撮像素子１２の概略構
成を示す。この素子は、１次元のＣＣＤ撮像素子であ
り、入射された光学像は受光素子３１にて光電変換され
る。この受光素子３１に蓄積された信号電荷は、読み出
しゲート３２を介して電荷転送用ＣＣＤ３３に送り込ま
れる。そして、転送用の２相のパルスを端子３４、３５
に加えることにより信号電荷は次々と転送されていき、
出力部３６を介して外部に取り出される。

【００１４】図１に戻って説明する。パルス発生回路１
４からのパルスの他の一部は、アクチュエータ駆動回路
２８にて圧電アクチュエータ２７用の駆動パルスとな
り、圧電アクチュエータ２７を微小変位させる。ＣＣＤ
撮像素子１２と圧電アクチュエータ２７の一端とは、圧
着されているのでこれによりＣＣＤ撮像素子１２も微小
変位することになる。

【００１５】上記のようにして得られた撮像出力信号
は、増幅器１５にて所定のレベルに増幅っされ、さらに
場合によってはノイズ低減処理が施された後、アナログ
・デジタル（以下Ａ／Ｄと記す）変換器１６にてデジタ
ル信号に変換される。このデジタル信号、つまりデジタ
ル画像データは、スイッチ１７を介して第１乃至第４の
メモリ１８乃至２１に書き込まれる。

【００１６】なおスイッチ１７及び第１乃至第４のメモ
リ１８乃至２１の制御方法については後述する。メモリ
１８乃至２１から読み出されたデータは、漸化処理回路
２２及び第５のメモリ２３にて、高解像度の画像を構成
する新たな画素の出力レベルが計算される。その後、映
像信号処理回路２４にて必要に応じてガンマ補正などが
施され出力端子２６からデジタルデータとして出力され
る。なお、制御用演算処理装置（制御用ＣＰＵ）２５
は、スイッチ回路１７、第１乃至第５のメモリ１８乃至
２１及び２３を制御している。

【００１７】ここで、電圧アクチュエータ２７によって
微小変位されたＣＣＤ撮像素子１２の相対的な位置関
係、スイッチ回路１７、第１乃至第５のメモリ１８乃至
２１及び２３、漸化処理回路２２の動作について図面を
参照して説明する。

【００１８】説明の都合上まず漸化処理による高解像度
化の原理について説明する。図３は、ＣＣＤ撮像素子１
２が微小変位したときの位置関係を示している。同図に
おいて位置１は、ＣＣＤ撮像素子１２の最初の位置であ
る。各画素からの出力信号レベルを順に、Ｐ11，Ｐ12，
Ｐ13，…，Ｐ1j，…，Ｐ1(m-1)，Ｐ1m（ｊ，ｍは正の整
数、ｊ＜ｍ）とする。これらのデータは前述したように
Ａ／Ｄ変換された後、第１のメモリ１８に書き込まれ
る。次に、電圧アクチュエータ２７を駆動することによ
り、ＣＣＤ撮像素子１２を１画素のピッチの１／４だけ
微小変位させて、位置２で光学像を取込む。

【００１９】この位置２での各画素の出力信号レベルを
順に、Ｐ21，Ｐ22，Ｐ23，…，Ｐ2j，…，Ｐ2(m-1)，Ｐ
2mとする。これらのデータは第２のメモリ１９に書き込
まれる。同様に圧電アクチュエータ２７を駆動すること
により、ＣＣＤ撮像素子１２を位置２から１画素のピッ
チの１／４だけ微小変位させて、位置３で光学像を取込
む。

【００２０】この位置３での各画素の出力信号レベルを
順に、Ｐ31，Ｐ32，Ｐ33，…，Ｐ3j，…，Ｐ3(m-1)，Ｐ
3mとする。これらのデータは第３のメモリ２０に書き込
まれる。さらに圧電アクチュエータ２７を駆動すること
により、ＣＣＤ撮像素子１２を位置３から１画素のピッ
チの１／４だけ微小変位させて、位置４で光学像を取込
む。

【００２１】この位置４での各画素の出力信号レベルを
順に、Ｐ41，Ｐ42，Ｐ43，…，Ｐ4j，…，Ｐ4(m-1)，Ｐ
4mとする。これらのデータは第４のメモリ２１に書き込
まれる。

【００２２】ここで図３に示すように光学情報をＯ1 ，
Ｏ2 ，Ｏ3 ，Ｏ4 ，…，Ｏk ，…，Ｏn-1 ，Ｏn （ｋ，
ｎは正の整数、ｋ＜ｎ）とする。この光学情報はＣＣＤ
撮像素子１２の画素数で決まる解像度よりも高解像度の
情報であるのでｍ＜ｎである。この光学情報を仮にそれ
と同じ画素数を持つＣＣＤ撮像素子で撮像したときの各
画素の出力信号レベルをａ1 ，ａ2 ，ａ3 ，ａ4 ，…，
ａk ，…，ａn-1 ，ａn （ｋ，ｎは正の整数、ｋ＜ｎ）
とすると、以下の関係が成り立つ。

【００２３】 Ｐ11＝ａ1 ＋ａ2 ＋ａ3 ＋ａ4 （１） Ｐ21＝ａ2 ＋ａ3 ＋ａ4 ＋ａ5 （２） Ｐ31＝ａ3 ＋ａ4 ＋ａ5 ＋ａ6 （３） Ｐ41＝ａ4 ＋ａ5 ＋ａ6 ＋ａ7 （４） Ｐ12＝ａ5 ＋ａ6 ＋ａ7 ＋ａ8 （５） … ここで初期値として ａ1 ＝ａ10，ａ2 ＝ａ20，ａ3 ＝
ａ30を与える。初期値の与え方として、例えばこれらの
光学情報のうちＯ1 ，Ｏ2 ，Ｏ3 に相当する光路中の位
置を遮光すればＯ1 ＝０，Ｏ2 ＝０，Ｏ3 ＝０とするこ
とができる。この時（１）乃至（５）式より、 ａ４＝Ｐ１１−（ａ１０＋ａ２０＋ａ３０） （７） ａ５＝Ｐ２１−（ａ２０＋ａ３０＋ａ４） （８） ａ６＝Ｐ３１−（ａ３０＋ａ４＋ａ５） （９） ａ７＝Ｐ４１−（ａ４＋ａ５＋ａ６） （１０） ａ８＝Ｐ１２−（ａ５＋ａ６＋ａ７） （１１） … が得られる。即ち、ａ１，ａ２，ａ３の初期値が与えら
れることにより，ａ４，ａ５，ａ６，ａ７，…が順次確
定する。

【００２４】しかしながら、実際には計算の最中でノイ
ズが混入する可能性があるので、以下の処理を行う。図
４は、図１の漸化処理回路２２での処理の流れを示した
図である。

【００２５】まずステップ１では、上記したようにノイ
ズの混入がないものと仮定して高解像度データａ(k) を
算出する。次にステップ２では、このａ(k) と、既に出
力レベルが決定している他の出力レベルとの関連度を計
算する。例えばａ(k-1) ，ａ(k-2) ，ａ(k-3) は既に決
まっているので 1/|(a(k) - a(k-1) )- {( a(k-2) - a(k-3) )+( a(k- 1)- a(k- 2))}|/2 （１２） を計算する。この（１２）式の分母は過去３画素の出力
レベルの変化量の平均値と１つ前の画素との変化量との
差の絶対値を表しており、画像データが滑らかに変化し
ている場合はこの分母の値は小さくなる。

【００２６】即ち、画像データが滑らかに変化している
場合は、この（１２）式の値は大きくなると言う特性を
持つ。そこでこの値がある所定値よりも大きいときは、
ａ(k )と近隣の出力レベルとは関連が大きいと判断し、
即ちノイズの混入はないものと判断し、ａ(k )に基いて
最終的な出力レベルを設定すると共に、ステップ１に戻
り次のａ(k+1) の計算を行う。逆に（１２）式の値があ
る所定値よりも小さいときは、ａ(k )と近隣の出力レベ
ルとは関連が小さいと判断し、即ち、近隣データとの関
連が小さいデータはノイズによって影響を受けている可
能性が相対的に高いと判断し、次のステップ３に進む。

【００２７】ステップ３では、既に算出されているデー
タから仮に関連性が大きいと仮定したときの出力レベル
の予測値ｂ(k) を求める。この予測値は、例えば b(k) =a(k-1)+{(a(k-2)-a(k-3))+(a(k-1)-a(k-2))}/2 （１３） により求める。（１３）式は、図５に示すように過去３
画素のレベルの変化量の平均値と同じ分だけ変化すると
の仮定のもとに予測値を設定している。

【００２８】次のステップ４では、ａ(k) とｂ(k) とか
らａ(k) ’を求めて、それに基いて最終的な出力レベル
を設定する。例えば次式のようにａ(k) ，ｂ(k) との重
み付け加算を行う。

【００２９】 ａ(k) ’＝ｐ×ａ(k) ＋ｑ×ｂ(k) （ｐ＋ｑ＝１） （１４） ２つの重み付け係数ｐ、ｑは、例えば以下のようにして
きめる。即ち、（１２）式で示す値がある所定値より大
きいときは、相対的に関連が大きい方であると判断し、
ｐ＞ｑと設定してよりａ(k) に近い値とする。逆に（１
２）式で示す値がある所定値より小さいときは相対的に
関連が小さいほうであると判断して、ｐ＜ｑと設定して
よりｂ(k) に近い値とする。そしてこれらの一連の処理
を繰り返すようにしている。

【００３０】以上の処理により高解像度画像としての各
画素の出力レベルは、たとえ処理の過程でノイズの混入
があったとしてもその影響を適応的に軽減することがで
き、事前のノイズ低減のために従来行われていた同じ位
置の同一画素間での加算回数を大きく減らすことができ
る。画像の内容によっては、加算によるノイズ低減を行
わないことも可能である。従って、事前のノイズ低減の
ために、従来同じ位置で同一の画素で複数回撮像した信
号を加算する加算回数を大きく低減することができる。
このことは、事前のノイズ低減処理に費やす時間を必要
以上に長くすると言う問題点を改善することである。さ
らに固体撮像素子の画素上に欠陥が有り、その部分の出
力レベルがその周辺画素と大きくずれているよな場合
は、処理の結果として周辺画素とのレベル差を低減でき
るので、その欠陥を補正する機能としても動作する。

【００３１】上記した実施の形態では、圧電アクチュエ
ータを用いてＣＣＤ撮像素子を微小変位させてそれぞれ
の位置で光学情報を取込むとして説明してきたが、これ
に限るものではない。例えばプリズムにより入射光を複
数の光路に分解し、その射出像の各々の位置に複数の固
体撮像素子を予め相互に微小変位させた関係になるよう
に配置して光学情報を取込むという手法でもよい。

【００３２】また上記した実施の形態では、説明の都合
上ＣＣＤ撮像素子の微小移動量は、１／４画素ピッチと
し、それぞれに対応した４つのメモリ１８乃至２１にデ
ータを書き込むとして説明したが、これに限るものでは
ない。微小移動量は所望の高解像度情報に応じて設定す
ればよい。そのときメモリの量に関しては増減してデー
タ数に合わせればよい。

【００３３】また上記した実施の形態では、ＣＣＤ撮像
素子１２は１次元の固体撮像素子として説明してきたが
これに限るものではない。２次元の固体撮像素子を用い
ている固体撮像装置でもこの発明は適用できるものであ
る。

【００３４】図６には、２次元の固体撮像素子を用いた
場合の処理の概念を示している。Ｐｈ、Ｐｖは、元のＣ
ＣＤ撮像素子の水平及び垂直の１画素ピッチであり、漸
化処理により16倍の高画素密度化を行っている。先の１
次元の固体撮像素子のときと同じように、水平及び垂直
方向ともに元の画素の３／４分だけ初期値をあたえるた
めに遮光している（同図の斜線部）。このとき画素４１
に着目すると、その中の右下隅の”１”と記してある部
分以外は初期値が与えられているので、”１”の部分の
出力レベルを容易に求めることができる。次に”１”の
部分の出力レベルが決まると、”２”の部分の出力レベ
ルが決まり、以下同様にして順次”3 ”、”4 ”、”5
”、…の部分の出力レベルが決定される。そしてこの
出力レベルを決定する処理の中で上記した適応的ノイズ
低減処理を行うものである。

【００３５】なおこの発明は上記した実施の形態に限定
されるものではなく、この他にもその要旨を逸脱しない
範囲（例えば固体撮像素子の構成や画素数、関連度や予
測値の定義方法など）で種々変形して実施することがで
きる。

【００３６】上記のようにこの撮像装置は、ＣＣＤ撮像
素子をその画素サイズ以下の間隔で微小移動させて撮像
するという動作を繰り返す、などの手法により光学サン
プリング点を増加させて、さらに得られた複数の画像を
用いて漸化処理を行い、結果として固体撮像素子の本来
の画素数で決まる解像度より、高い解像度情報を得る
際、処理に費やす時間が必要以上に長くかかってしまう
と言う問題点を改善することができる。

【００３７】

【発明の効果】以上説明したようにこの発明は、固体撮
像素子の本来の画素数で決まる解像度より高い解像度情
報を得る高品質の画像を得る際、そのノイズ低減などの
処理に費やす時間を短縮することができる。

【図面の簡単な説明】

【図１】この発明の固体撮像装置の一実施の形態を示す
ブロック構成図。

【図２】この発明に係るＣＣＤ撮像素子の概略構成を説
明するために示した図。

【図３】この発明に係るＣＣＤ撮像素子の微小変位時の
位置関係を説明するために示した図。

【図４】この発明の一実施の形態における高解像度の画
像の各画素の出力レベルを計算するときの動作の流れを
説明するための図。

【図５】この発明に係る予測値の算出方法の例を説明す
るために示した図。

【図６】この発明の他の実施の形態を示す図。

【符号の説明】

１１…撮像レンズ、１２…ＣＣＤ撮像素子、１３…ＣＣ
Ｄ駆動回路、１４…パルス発生回路、１５…増幅器、１
６…Ａ／Ｄ変換器、１７…スイッチ回路、１８〜２１、
２３…メモリ、２２…漸化処理回路、２４…映像信号処
理回路、２５…制御用ＣＰＵ，２７…圧電アクチュエー
タ、２８…アクチュエータ駆動回路。

Claims (2)

【特許請求の範囲】
1. 【請求項１】 被写体からの光学情報を複数の異なる空
   間位置において撮像したときに得られる複数の画像を統
   合することにより、固体撮像素子の画素数で決まる本来
   の限界解像度情報よりも高い解像度情報を持つ新たな画
   像を得る固体撮像装置において、 前記複数の画像上の元の各画像の出力レベルを用いて前
   記高解像度の画像を構成する新たな画素の第１の出力レ
   ベルを算出し、 前記第１の出力レベルと、その画素の近隣に存在し、既
   に算出されている高解像度の画像を構成する他の画素の
   出力レベルとの関連度を算出し、 その関連度が所定の値より大きいときは、前記第１の出
   力レベルに基いて高解像度の画像の画素出力レベルを設
   定し、 その関連度が所定の値より小さいときは、前記高解像度
   の画像中の既算出の画素であって、前記近隣に存在して
   いる複数の画素の出力レベルを用いて、関連が大きいと
   仮定したときに得られるその画素の出力レベルの予測値
   を算出し、 前記画素出力レベルの予測値と前記第１の出力レベルと
   から、高解像度の画像を構成するその画素の第２の出力
   レベルを算出し、その第２の出力レベルに基いて高解像
   度の画像の画素出力レベルを設定することを特徴とする
   高解像度画素出力方法。
2. 【請求項２】 被写体からの光学情報を複数の異なる空
   間位置において撮像したときに得られる複数の画像を統
   合することにより、固体撮像素子の画素数で決まる本来
   の限界解像度情報よりも高い解像度情報を持つ新たな画
   像を得る固体撮像装置において、 前記複数の画像上の元の各画像の出力レベルを用いて前
   記高解像度の画像を構成する新たな画素の第１の出力レ
   ベルを算出する手段と、 前記算出された第１の出力レベルと、その画素の近隣に
   存在し、既に算出されている高解像度の画像を構成する
   他の画素の出力レベルとの関連度を算出する手段と、 前記関連度が所定の値より小さいときは、前記高解像度
   の画像中の既算出の画素であって、前記近隣に存在して
   いる複数の画素の出力レベルを用いて、関連が大きいと
   仮定したときに得られるその画素の出力レベルの予測値
   を算出する手段と、 前記画素出力レベルの予測値と前記第１の出力レベルと
   から、高解像度の画像を構成するその画素の第２の出力
   レベルを算出し、その第２の出力レベルに基いて高解像
   度の画像の画素出力レベルを設定する手段とを具備した
   ことを特徴とする高解像度画素出力装置。