JPH03172082A - 画像処理方法 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 ［産業上の利用分野］ 本発明は画像処理方法、特に電子スチールカメラ等によ
りデジタル化されて記憶された画像情報から原画像を復
元する画像処理方法に関する。

［従来の技術］ 従来よりピント合わせ機構や露出機構を有し感光材に画
像情報を記録するいわゆるカメラと言われる画像記録装
置が知られている。この装置においては、レンズを経て
黒点面に結像された画像の記録、再生自体を目的として
いるため、黒点面での画像が黒点はずれやブレた画像で
ある場合にはそれ以上の画質の画像を得ることはできな
い。これに対し、固体撮像素子で光電変換された画像信
号を離散、量子化して半導体メモリ、あるいは磁気ディ
スク等に記録するいわゆるデジタル電子スチールカメラ
と言われる画像記録装置の場合には、記憶された画像情
報から撮像時の焦点はずれ、あるいはブレの補正を行っ
て原画像を復元する画像処理が可能であり、画像をＣＲ
Ｔで再生する際に種々の電気的処理を行って画質の良い
画像を得ることが考えられている。

この種の画像処理方法としては、例えば特開昭６２−１
２７９７６号公報に開示されているように、撮影時の焦
点はずれ等をレンズ等の光学手段の特性を示す点広がり
関数で表現し、この点広がり関数に基づいて得られた画
像を補正する方法がある。第８図はこの従来の画像処理
方法における装置の構成ブロック図である。撮像用レン
ズ１にて粘像された画像情報はＣＣＤ　（電荷結合デバ
イス）を用いた固体撮像素子２により光電変換される。

固体撮像素子２にて電気信号に変換された画像情報はＡ
／Ｄ変換器３にてデジタル化され、コントローラ４を介
してＲＡＭ５、更には主メモリ６に記憶される。そして
記憶されたデジタル画像情報は、コントローラ４を介し
て演算処理装部７に人力され、所定の処理が行われて焦
点はずれやブレのない画像に補正され、出力される構成
である。

以下、この従来の画像処理方法における原画像復元の原
理を説明する。原画像の画像情報をＳ（ｘ．ｙ）とする
と、撮像用レンズ等の光学手段を経た画像情報ｇ　（ｘ
，ｙ）は、光学手段の点広がり関数をｈ　（ｘ，ｙ）と
して、 ｇ（ｘ−　ｙ）−Ｊ’：ｊ：．ｓ　（τ１　−　ｒｚ　
）●ｈ　（Ｘ−τ　、ｙ−τ　）ｄτ１ｄτ２１２ −ｓ　（ｘ，ｙ）＊＊ｈ　（ｘ，ｙ） ・・・・・・・・・・・・（１） と表現することができる。ここで、記号本はたたみこみ
を示している。そして、撮像時の焦点はずれやブレは、
この点広がり関数ｈ　（ｘ，　　ｙ）の関数形にて表現
することができ、例えば焦点はずれに対してはガウス関
数にて表現することができることが知られている。

（１）式をフーリエ変換すると、 Ｇ　（Ｘ，Ｙ）−Ｓ　（Ｘ．Ｙ）−Ｈ　（Ｘ．Ｙ）・・
・・・・・・・・・・　（２） となる。但し、ｇ　（ｘ，Ｙ）、Ｓ　　（Ｘ，ｙ）、ｈ
（ｘ．ｙ）のフーリエ変換をそれぞれＧ　（Ｘ，Ｙ）　
、Ｓ　（Ｘ，Ｙ）　、Ｈ　（Ｘ，Ｙ）とした。

さて、系に雑音が加わらず、点広がり関数ｈ（ｘ．　　
ｙ）及びｇ　（Ｘ．Ｙ）が既知であるならば、（２）式
より、 ｉｓ　（Ｘ，Ｙ）　　・Ｈ　（Ｘ．　　Ｙ）　ｌ　　・
１／Ｈ　（Ｘ．Ｙ） −Ｓ　（Ｘ，　Ｙ） −Ｇ　　（Ｘ，Ｙ）　　・ｌ／Ｈ　　（Ｘ，Ｙ）・・・
・・・・・・　（３） となり、従って、得られた画像情報Ｇ　（Ｘ，Ｙ）を伝
達関数（点広がり関数のフーリエ変換）の逆関数特性を
有する逆フィルタに通すことにより、焦点はずれやズレ
が補正され、原画像が復元されることが理解される。

［発明が解決しようとする課題］ しかしながら、この従来の画像処理方法においては幾つ
かの問題があった。すなわち、数学的には（３）式に従
って原画像Ｓ　（Ｘ，Ｙ）を得ることができるが、実際
には伝達関数Ｈ　（Ｘ，Ｙ）は零点を含むローバスであ
ることが多く、従って１／Ｈ　（Ｘ，　Ｙ）は数式上は
存在しても実際の演算処理は不可能で、原画像を復元で
きないのである。

いま、黒点はずれに対応する光学手段の点広がり関数ｈ
　（ｘ．ｙ）を第９図（Ａ）に示すようにガウス関数 ｈ（ｘ．　ｙ）＝　１／　（２πｃｒ２）　”２゜　ｅ
ｘｐ　　　（−　　（ｘ　２　＋ｙ２　）　　／２ａ　
２　）とする。フーリエ変換して伝達関数を求めると、
Ｈ（Ｘ，　Ｙ）一ｃｘｐ　（−　２　ｗ２ａ”　（Ｘ２
＋Ｙ２）　１となる。従って、原画像を復元するための
逆フィルタは、 １／Ｈ（Ｘ．　Ｙ）−ｃｘｐｌ２　ｘ２ａ”　（Ｘ２＋
Ｙ２）１となる。第９図（Ｂ）、（Ｃ）はこの逆フィル
タ特性を示したものであり、第９図（Ｂ）はＸ軸方向の
特性を、そして第９図（Ｃ）はＹ軸方向の特性である。

図から明らかなように、この逆フィルタはＩＸＩ、ＩＹ
Ｉ−■で■となり、極めて不安定であることがわかる。

また、ブレに対応する点広がり関数ｈ　（ｘ．　　ｙ）
を第１０図（Ａ）に示すように矩形関数ｈ（ｘ．　ｙ）
＝（１／ｘｏ）　・ｒｅｃｔ　（ｘ／ｘｏ）とすると、
フーリエ変換して伝達関数を求めると、Ｈ（Ｘ，　Ｙ）
＝ｓ１ｎ　（πｘｏＸ）　／（　ｙｒ　ｘｏＸ）となる
。従って、原画像を復元するための逆フィルタは、 １／Ｈ（Ｘ，　Ｙ）−　（πｘｏＸ）　／ｓ１ｎ　（π
ｘｏＸ）となる。第１０図（Ｂ）はこの逆フィルタ特性
を示したものである。図から明らかなように、この逆フ
ィルタはＸ　−　ｎ　／　ｘ　　（　ｎは０以外の整数
）０ で■すなわち極となり、雑音が存在する場合にはこの極
により雑音が増幅されてしまい原画像の復元が極めて困
難となってしまう。

このように、従来の画像処理方法においては原理的には
原画像を復元できるものの、逆フィルタ特性が不安定で
実用的でなく、また原画像を復元するのにフーリエ変換
を伴なうため処理時間が増大してしまうという問題があ
った。

本発明は上記従来の画像処理方法が有する課題に鑑みな
されたものであり、その目的は得られたデジタル画像か
ら短時間かつ確実に原画像を復元することができる画像
処理方法を提供することにある。

［課題を解決するための手段］ 上記目的を達成するために、本発明の画像処理方法は、
光学手段を経て固体撮像素子上に結像され電気信号に変
換された画像情報からこの光学手段の有する点広がり関
数ｚｍｆ　（ｘ，ｙ）に基づいて原画像を復元する画像
処理方法であって、復元すべき原画像の画像情報及び前
記光学手段の有する点広がり関数を所定領域内で積分し
、その積分値で重付けされたデルタ関数列で離散化し、
離散化された前記光学手段の有する点広がり関数を独立
変数ｘ，ｙについて変数分離し、前記電気信号に変換さ
れた画像情報のなかで画像の縁部に相当する縁部画像情
報を縁部より画像中央方向に向けて０より１に漸増する
重み付けし、前記漸増する重み付けの区間は、点広がり
関数の広がりの長さの１〜数倍とし、前記重み付け補正
された縁部画像情報を有する画像情報を前記離散化され
た原画像情報及び変数分離された点広がり関数のたたみ
こみとみなし、このたたみこみから原画像を復元するこ
とを特徴としている。

また、上記目的を達成するために、本発明の画像処理方
法は、光学手段を経て固体撮像素子上にブレを伴ない結
像され電気信号に変換された画像情報からブレのない原
画像を復元する画像処理方法であって、復元すべき有限
の大きさの原画像の画像情報を所定領域内で積分し、そ
の積分値で重付けされた有限長の２次元デルタ関数列で
離散化し、離散化された前記原画像情報を前記所定領域
内の積分値を成分とする行列とみなし、前記ブレを伴な
い電気信号に変換された画像情報のなかで画像の縁部に
相当する縁部画像情報を縁部より画像中央方向に向けて
０より１に漸増する重み付けし、前記漸増する重み付け
の区間は、点広がり関数の広がりの長さの１〜数倍とし
、前記重み付けされた縁部画像信号を有する画像情報を
、前記原画像情報の行列とこの原画像情報の行列の戊分
をブレの状態に応じて変更して得られる行列との和とみ
なし、この加算関係から原画像を復元することを特徴と
している。

［作用］ このように、本発明の画像処理方法は、従来方のように
フーリエ食換したいわゆる周波数領域における逆フィル
タによる補正処理を行うのではなく、得られた２次元画
像悄報を離散化された原画像情報と変数分離された点広
がり関数のたたみこみとみなし、このたたみこみ関係か
ら行列方程式によって代数的に復元するものである。

すなわち、光学手段によって結像された画像情報は、前
述したように人力画像と光学手段の有する点広がり関数
とのたたみこみとなるが、光学手段によってＣＯＤ等の
固体撮像素子上に結像された画像情報は固体撮像素子の
セル間隔によってその出力は離散化されている。

このことは、得られる２次元画像情報は、入力画像情報
ｓ　（ｘ，ｙ）を固体撮像素子の１セル分の積分値Ｓ　
Ｏ　　（　Ｊ　Ｔ，ｋ　Ｔ）　）をサンプル値とする数
値列（サンプリング間隔Ｔ）、すなわち所定の積分値ｓ
　ｏ　　（　Ｊ　Ｔ，ｋ　Ｔ）て重付けされサンプリン
グ間隔Ｔ毎に存在する２次元デルタ関数列δ（ｘ−ｊＴ
，　　ｙ−ＫＴ）で離散化し、同様に２次元デルタ関数
列で離散化され変数分離された２次元の点広がり関数 ｈｏ　（ｊＴ，ｋＴ）δ（ｘ−ｊＴ．　　ｙ−ｋＴ）＝
　ｈ　　（ｊＴ）　ｈ　ｇ，（ｋＴ）δ（ｘ−ｋＴ）δ
Ｃ’／−ｊＴ）Ｏｘ のたたみこみで表現されることを意味している。

このように、得られる離散化された２次元画像情報ｇ。

（ｊＴ，ｋＴ）が離散化された関数のたたみこみ、すな
わち、 ｇ　ｏ　（ＪＴ　　，　　ｋＴ）＝ｐ一　冫ＩＦ−０　
　（屠Ｔ　　，　　ｎＴ）　　ｂｏｘ（ＪＴ−會Ｔｈ　
ｏｙ（　ｋＴ−ｎＴ） ｈｏｘ（ｊ１１Ｔ〉 と表現されるので、復元すべき画像情報Ｓ。（ｊＴ，ｋ
Ｔ）を成分にもつ行列Ｓは既知のｇｏ　（ｊＴ，　ｋ　
Ｔ）　、ｈｏ，　（　Ｊ　Ｔ）及びｈ。，（ｋＴ）を成
分にもつ行列ＧＳＨ　　ＳＨ　　よりフーリエ変換をｘ
ｙ 行なうことなく行列方程式から代数的に復元することが
できる。

ここで、既知のｇ。（ｊＴ，ｋＴ）を成分に持つ行列Ｇ
のうち、画像の縁部に相当する成分は、光学手段を経て
固体撮像素子に結像された画像以外の原景情報が含まれ
ており、従って実際に得られる縁部の画像情報の行列Ｇ
は行列方式から代数的に原画像を算出する理想の行列Ｇ
−とは、その縁部に相当する成分が異なる値となる。

そこで、この理想の値と異なる分をノイズとみなし、ノ
イズの影響が大きい縁部程その成分値を小さくするよう
に、そしてノイズの影響が消滅する画像中央部の成分は
その値を維持するように補正を行なって代数演算を行な
うことにより、ノイズの影響を軽減し、より正確に原画
像を復元することができる。

また、撮像時にブレが生じた場合には離散化された画像
情報Ｓ。（ｊＴ，ｋＴ）はその空間位置が変化すること
となるが、この位置変化は行列Ｓの各成分の変化として
現れることとなり、従ってブレを伴なって得られる離散
化された２次元画像情報Ｇは、原画像の行列Ｓとブレの
状態に応じてこの行列Ｓの各成分を変更して得られる行
列Ｓ′との和で表され、原画像Ｓは既知のＧから行列方
程式により代数的に求めることができるが、前述したよ
うにｇｏ　（ｊＴ，ｋＴ）を成分に持つ行列Ｇのうち、
画像の縁部に相当する成分は、光学手段を経て固体撮像
素子に結像された画像以外の原景情報が含まれており、
従って実際に得られる縁部の画像情報の行列Ｇは代数方
程式で原画像を算出する理想のＧ−とはその縁部に相当
する戊分が具なる値となる。

そこで、前述の場合と同様にこの理想の値と異なる分を
ノイズとみなし、ノイズの影響が大きい縁部程その成分
値を小さくするように、そしてノイズの影響が消滅する
画像中央部の成分はその値を維持するように補正を行な
って代数演算を行なうことにより、ノイズの影響を軽減
し、より正確に原画像を復元することができる。

［丈施例］ 以下、図面を用いながら本発明に係る画像処理方法の好
適な丈施例を説明する。

第１大施例 第１実施例に用いられる装置構或は従来の構成とほぼ同
一であり、画像情報は光学手段としての撮像用レンズ１
により桔像され、ＣＣＤを用いた固体撮像素子２によっ
て光電変換される。そして、固体撮像素子２によって得
られた１１与系列信号はＡ／Ｄ変換器３によってデジタ
ル化され、コントローラ４を介してＲＡＭ５あるいは磁
気ディスク等の主メモリに記憶される。

さて、本丈施例において特徴的なことは、ＲＡＭ５ある
いは主メモリ６に記憶されたデジタル画像悄報から黒点
はずれのない原画像を復元するために、両像処理を行う
演算処理部７が従来とは異なる原理に基づく処理によっ
て原画像の復元を行うことにある。

復元すべき原画像ｓ　（ｘ＋　　ｙ）が第３図に示すよ
うな信号であるとする。サンプリング間隔をＴ１積分時
間をΔＴとすると、この信号ｓ　（ｘ，　　ｙ）の離散
化された信号列は２次元のディラックデルタ関数δ（ｘ
，ｙ）によって、 （ｓ　　（ｘ，　　ｙ）Ｈｒｅｃｔ（ｘ／ΔＴ，　　ｙ
／ΔＴ）１・（１／Ｔ）２・■（ｘ．／Ｔ，ｙ／Ｔ）・
・・・・・（４） 但し、　（１／Ｔ）　２　・ｍ　（ｘ／Ｔ，ｙ／Ｔ）璽
Σ　Σδ（ｘ−ｊＴ）δ（ｙ−ｋＴ）Ｉ＋碍＋　九一評
一 及び、ｒｅｃｔ（ｘ／ΔＴ，　ｙ／ΔＴ〉と表現される
。ここで、　｛　｝内の積分はＣＣＤの１画素の面積で
受光する画像情報に対応する。

（４）式は、 （ｓ（ｘ．ｙ）本本ｒｅｅｌ（ｘ／ΔＴ，　　ｙ／ΔＴ
）１（１７Ｔ）２・ＩＩＩ　（ｘ／Ｔ，　ｙ／Ｔ）・・
・・・・・・・　（５） のように表現することができる。この（５）式は、信号
ｓ　（ｘ＋　　ｙ）のΔＴ×ΔＴの領域の積分値ｓｏ　
　（ｊＴ，ｋＴ）、すなわちＣＣＤの１画素が受光する
情報て重付けされたデルタ関数列として離散化されるこ
とを示している。第３図にこのようにして重付けされた
デルタ関数列が表されている。　さて、既に述べたよう
に撮像時の焦点はずれは光学手段の点広がり関数、すな
わち２次元のガウス関数 ｚ−ｈ（ｘ，　ｙ）−ｃｘｐ　（　−　（ｘ２＋ｙ２）
　／２ａ２１となるが、本実施例においてはこの２次元
の点広がり関数も画１象信号と同様に離散化する。すな
わち、第４図に示すようにサンプリング間隔をＴ１積ク
′Ｊ特開をΔＴとして、 ［ｃｘｐ　　　Ｉ−（ｘ”　　＋ｙ”　　）／２　ａ２
　）　　＊木ｒｅｃｔ（ｘ／ΔＴ　，ｙ　／ΔＴ）コ　
　　　（　　１　　／Ｔ）　　”　　・　Ｉｌｌ（ｘ／
Ｔ，　　ｙ／Ｔ）・・・・・・・・・（６） のように積分値て重付けされたデルタ関数列で離散化す
る。

ここで、一般に黒点はずれを表す２次元のガウス分布関
数は変数分離でき、 ｅｘｐ　　（　　（！２＋ｙ２）　２σ２１２２ −ｅｘｐ　（−ｘ　　／２ａ　　）　・ｅｘｐ　（−ｙ
２／２σ２） となる。従って（６）式は、 ２ ［　ｔｅｘｐ　　（−ｘ　　／２ｃｙ２）　・ｅｘｐ　
（−ｙ２／２ａ　２　）　　ｌ　　＊本ｒｅｅｔ（ｘ／
ΔＴ，ｙ／ΔＴ）］（１／Ｔ）　２・ｍ（ｘ／Ｔ．　ｙ
／Ｔ）一；　Ｅ　ｈ　ｏ，　（ｊＴ）　ｈｏｙ　（”）
δ（ｘ−ｊＴ）δ（ｙ−ｋＴ） ・・・・・・・・・　（７） ？ように表現される。

通常、この点広がり関数の存在領域は第４図に示すよう
に画像信号ｓ　（ｘ，　　ｙ）の存在領域に比べて極め
て小さい。従って、（７）式における係数ｈ　　（ＪＴ
）　、ｈ■ｙ（ｋＴ）はｊＴ，ｋＴ−０近傍のＯｘ 数個のみがある有限の値を示し、それ以外の値は０とな
る。

さて、既に述べたように画像情報ｓ　（ｘ，ｙ）が撮像
用レンズ等の光学手段を経て得られた画像情報ｇ　（ｘ
，ｙ）は、光学手段の点広がり関数をｈ　（ｘ．ｙ）と
して、たたみこみ ｇ　（ｘ．ｙ）−ｓ　（ｘ，ｙ）＊＊ｈ　（ｘ，ｙ）に
より表現されるが、本実施例においてはＳ　（Ｘ，ｙ）
及びｈ　（ｘ，　　ｙ）が離散化されており、従って得
られる画像情報は離散化された値の和となり、（ｓＴ　
，　ｎＴ）　ｂｏｘ（ｊＴ−ｓＴ）・・・・・・・・・
　（８） となる。前述したようにｈａｘ（ＪＴ）　、ｈｏ，（ｋ
Ｔ）はｊＴ，ｋＴ−０近傍の数個のみがある有限の値を
示し、それ以外の値はＯとなるので、ｊＴＳｋＴ−−Ｔ
，　　Ｏ，　Ｔのみ有限の値ｈｏｘ（一丁）、ｈｏｘ（
０）　、ｈｏ，　（Ｔ）　、ｈｏ，　（−Ｔ）　、ｈｏ
，　（０）、ｈｏ，（Ｔ）とすると、（８）式はＸ方向
の点広がり関数を成分とする行列Ｈ　及びｙ方向の点広
がＸ り関数を成分とする行列Ｈ　を用いて ｙ Ｇ−Ｈ　　ＳＨ　　　　　　・・・・・・・・・（９）
ｙｘ と表現される。第５図（Ａ）にＨ　１同図（Ｂ）ｙ にＨ　１同図（Ｃ）に６１そして同図（Ｄ）にＳＸ の行列成分を示す。

ここで、行列Ｈｘ及びＨ，に着目してみると対角成分の
近傍以外はすべて０である正則行列であり、従って、そ
れぞれの逆行列 Ｈ　　−１−Ｈ　　／ＩＨ Ｘ　　　　　　　　Ｘ　　　　　　　　ｘＨ−１−Ｈ／
ＩＨ ｙ　　　　　　ｙ　　　　　　ｙ 但し、Ｈ　　ＳＨ　　はそれぞれＨｘ ｘｙ 子行列、 Ｈ　の余因 ｙ ＩＨ　　Ｉ、ＩＨ， Ｘ Ｈ　の行列式 ｙ はそれぞれＨｘ を用いて、 −１ Ｓ−Ｈ　　ＧＨｘ−１　　　　　・・・・旧・・（１ｏ
）ｙ により既知の行列Ｈ　　，Ｈ　　及びＧから容易にＳｘ
ｙ を求めることができる。

ところが、このようにＳを求めたのでは一般に画像縁部
において原画像を正確には復元できないことがわかる。

すなわち、復元すべき画像の各画素はそのまわりの画素
の影響を受けている、すなわちたたみこみで表現される
が、このことは画像縁部を構成する各画素についても例
外ではない。

一方、未知数を原画像のサンプル数、与えられる条件数
すなわち線形方程式の数を実際に得られる劣化画像の画
素数とすると、本来固体撮像素子上に結像しないはずの
まわりの原画像の為、未知数の方が線形方程式の数より
多くなり、このままでは正確な復元を行なうことはでき
ないのである。

そこで、本実施例においては、この画像縁部の処理を以
下のように行なっている。すなわち、本来余分である画
面外の画像情報のたたみこみによる成分の含まれる画像
縁部においては、その余分な分だけ原画像にノイズが加
えられているものとみなし、縁部よりノイズの影響が消
滅する画像中央部方向に向けて０より１に漸増する重み
付けし、ノイズの影響を少なくしている。

第１図にこの画像縁部の重み付けを行なう際に用いる係
数の一例を示す。横軸は第５図（Ｃ）の行列Ｇの列数ｒ
を表しており、列数が大きい程画像縁部から画像中央部
に向かっていることを示している。そして、縦軸は重み
付け係数Ｃを表しており、これらの間には、 ｃ−１／２・［１　−ｃｏｓ　ｙｒ　　（ｒ−１）　／
３）　１（ｒ≦３） −１ （ｒ＞３）　　　　　　　　・・・・・・　（１１）な
る関係にある。すなわち、行列Ｇの各列ｒ−１，２，　
　３．　４・・・に対して、重み付け係数ｃ１、ｃ２、
ｃ３、ｃ４・・・は、 ０−ｃｌ＜ｃ２＜ｃ３＜１−ｃ４ となる。そして、このような重み付け係数Ｃを行列Ｇの
各列に乗じて重み付けすると、列数『が小さい、すなわ
ち画像縁部方向ほどノイズを含む画像信号が減衰されて
その値が小さくなり、第２図に示すような行列Ｇ′とな
る。ここで、第１列及び第ｍ列には重み付け係数ｃ１−
０が乗じられているためその成分はすべて０となってい
る。

このように、画像縁部に相当する行列Ｇの列成分を重み
付けした後、（１０）式のＧの代わりにＧ′を用いた式 Ｓ−Ｈ　　’Ｇ−Ｈ　　’　　　　　・・・・・・（１
２）ｙｘ により画像縁部による画像全体の劣化を目立たなくする
ことができる。

具体的には、既知の行列Ｈ　　，Ｈ　　から予め逆ｘｙ 行列を求めておき、その成分データを演算処理部のメモ
リに記憶しておき、得られたＧの成分に前連の画１象縁
部処理を施して演算処理を行えば良い。

第２丈施例 第２実施例に用いられる装置構成は第１尖施例とほほ同
一であり、画像悄報は光学手段としての撮像用レンズ１
により粘像され、ＣＣＤを用いた固体撮像素子２によっ
て光市変換される。そして、固体撮像素子２によって得
られた時系列信号はＡ／Ｄ変換器３によってデジタル化
され、コントローラ４を介してＲＡＭ５あるいは磁気デ
ィスク等の主メモリに記憶される＋１−１成である。

さて、本第２実施例においては、撮像用レンズ１及び固
体撮像素子２よりなる光学系が撮像時にある方向へブレ
た場合の原画像復元を行なうこととしている。光学系が
撮像中にブレた時、固体撮像素子２上に結像する画像は
そのブレの方向に移動し、かつそのブレの速度に応じた
強度で結像する。すなわち、プレ状態に文・ｊ応ずる画
像情報は、ブレのない原画像情報を表す行列Ｓの各成分
をブレの方向に応じて移動させ、そのブレの速度に応じ
た強度で各ＣＣＤ画素に結像する画像情報ｓｏ　−　　
（ｊＴ，ｋＴ）を成分とするｍＸｎ行列Ｓ′にて表され
る。第６図にこのプレ状態に対応する行列Ｓ′の行列成
分を示す。本実施例においては、プレ状態に対応させて
右へ２列、下に１列移動させている。また、行列成分の
移動によって第５図（Ｄ）に示された原画像情報に対応
する画像情報が存在しない行列成分（例えば１行１列成
分や２行１列成分）はすべて０とした。

このようにブレを伴なって得られた画像情報は、ブレの
ない復元すべき原画像Ｓとこのプレ状態に対応する画像
Ｓ″との和となるが、プレ状態画像の行列Ｓ′を原画像
情報の行列Ｓで表現することを考える。いま、 ＣＨ，　）　Ｉｊ一δＩ　ｊ＋１ （Ｈ）１ｊ−６１＋２　Ｊ Ｘ 但し、δｌｊはクロネッカーのデルタ なる行列成分を有する行列Ｈ　　，Ｈ　　及びスカラｙ
ｘ ｆｆｌｐを用いると、 Ｓ−−ｐ−Ｈ　　ＳＨ　　　　　　　・・・・・・（１
３）ｙｘ と表わすことができるから、結局、得られる画像情報Ｇ
は、 Ｇ−Ｓ＋Ｓ −Ｓ十ｐ−Ｈｙ　ＳＲ　　　　　・・・・・・（１４）
Ｘ となる。この（１４）式はブレを伴なって得られた画像
情報Ｇが原画像情報Ｓの線形変換ではないことを示して
いる。なお、スカラー量ｐは５０　−　（ｆＴ，ｊＴ）
″″ｐ　−　ｓ　Ｏ（ｉＴ．ｊＴ）（１５） を満たす童であり、これはブレの方向や速度に依存する
量である。

このように、ブレが等速直線的でない場合にはブレが一
方向の等速ブレの場合と具なり、得られる両像情報は原
画像の線形変換ではなく、従って逆行列を求めて原画像
情報Ｓを復元することはできない。そこで、本第２実施
例においては以下のように順次行列の各成分を比較して
Ｓを算出している。すなわち、（１４）式の左辺の行列
Ｇは第５図（Ｃ）に示すようにＣＣＤの１画素で受光す
る画像情報で離散化した値ｇ。（ｋＴ，ｊ　Ｔ）−ｇｌ
ｊを戒分にもち、一方、右辺の行列Ｓ＋ｐ−ＨＳＨ　　
の戊分は第７図に示すようになるが、行ｙＸ 列方程式においては両辺の各列が等しいから、以下の等
式が或り立つ。但し、簡略化のためＳ。（ｋＴ．ＪＴ）
−Ｓｋｊとした。

すなわち、 ｓｉｊ””ｌｊ　　’　”　”’１−１　ｊ−２　　　
”””　（１６）但し、ｓ　　−０　（ｇ，ｒ＜１） ｇｒ が成り立ち、従って、得られる既知の行列Ｇの成分ｇ１
ｊから順次原画像情報の行列Ｓを求めることができる。

ところが、このようにして原画像Ｓを求めても、第１実
施例と同様の理山により画像縁部を正確に復元すること
ができない。のみならず、このブレの場合には（１６）
式に示されるように、画像縁部の威分から順次原画像Ｓ
をもとめるため、画像縁部の不正確さが復元画像全体に
波及してしまう。

そこで、本第２実施例においても画像縁部にノイズが加
えられているものとみなし、行列Ｇの列成分に第１図の
重み付け定数Ｃを用いて重み付けを行い、重み付け後の
行列Ｇ一を用いて８　１−ｇ　　１ｊｐ　”　５　１−
１　ｊ２　　”””　（　１　７　）より原画像を復元
することとしている。このように画像縁部に相当する成
分を減衰させることにより、ノイズの影響が大きい行列
Ｇの第１列成分を減衰され、この戊分に含まれるノイズ
が原画像復元に及ぼす悪影響をおさえて、ノイズの影響
を目立たなくすることができる。

なお、上記第１、第２実施例においては重み付け係数Ｃ
として第１図に示すような関数を用いたが、本発明はも
ちろんこれに限定されるものではなく、例えば対数等を
用いて漸増の重み付けすることも可能であり、重み付け
すべき列数も適宜選択することができる。

［発明の効果］ 以上説明したように、本発明に係る画像処理方法によれ
ば、焦点はずれやブレを伴なって得られた２次元画像か
ら焦点はずれやブレのない原画像を高速にかつ確実に復
元することが可能であり、特に画像縁部の復元画像の不
完全さを目立たなくすることができる。

【図面の簡単な説明】

第１図は本発明に係る画像処理方法の第１及び第２実施
例における捕正パラメータの特性を示すグラフ図、 第２図は同実施例における行列Ｇの行列成分を補正して
得られる行列Ｇ′の行列成分を示す説明図、 第３図は画像情報の離散化を示す説明図、第４図は点広
がり関数の離散化を示す説明図、第５図乃至第７図は同
実施例における行列説明図、 第８図は従来の画像処理方法における装置説明図、 第９図乃至第１０図は従来の画像処理方法の説明図であ
る。 ・・・・・・撮像用レンズ ・・・・・・固体撮像素子 ・・・・・・Ａ／Ｄ嚢換器 ・・・・・・コントローラ ・・・・・・ＲＡＭ ・・・・・・主メモリ ・・・・・・演算処理部 出廟人京セラ株式会社

Claims (2)

【特許請求の範囲】
1. （１）光学手段を経て固体撮像素子上に結像され電気信
   号に変換された画像情報からこの光学手段の有する点広
   がり関数ｚ＝ｆ（ｘ、ｙ）に基づいて原画像を復元する
   画像処理方法であって、復元すべき有限の大きさの原画
   像の画像情報及び前記光学手段の有する点広がり関数を
   所定領域内で積分し、その積分値で重み付けされた有限
   長の２次元デルタ関数列で離散化し、 離散化された前記光学手段の有する点広がり関数を独立
   変数ｘ、ｙについて変数分離し、 前記電気信号に変換された画像情報のなかで画像の縁部
   に相当する縁部画像情報を縁部より画像中央方向に向け
   て０より１に漸増する重み付けし、前記漸増する重み付
   けの区間は、点広がり関数の広がりの長さの１〜数倍と
   し、 前記重み付けされた縁部画像情報を有する画像情報を前
   記離散化された原画像情報及び変数分離された点広がり
   関数のたたみこみとみなし、このたたみこみから原画像
   を復元することを特徴とする画像処理方法。
2. （２）光学手段を経て固体撮像素子上にブレを伴ない結
   像され電気信号に変換された画像情報からブレのない原
   画像を復元する画像処理方法であって、 復元すべき有限の大きさの原画像の画像情報を所定領域
   内の積分値で重み付けされた有限長の２次元デルタ関数
   列で離散化し、 離散化された前記原画像情報を前記所定領域内の積分値
   を成分とする行列とみなし、 前記ブレを伴ない電気信号に変換された画像情報のなか
   で画像の縁部に相当する縁部画像情報を縁部より画像中
   央方向に向けて０より１に漸増する重み付けし、前記漸
   増する重み付けの区間は、点広がり関数の広がりの長さ
   の１〜数倍とし、前記漸減補正された縁部画像信号を有
   する画像情報を、前記原画像情報の行列とこの原画像情
   報の行列の成分をブレの状態に応じて変更して得られる
   行列との和とみなし、 この加算関係から原画像を復元することを特徴とする画
   像処理方法。