WO2004062275A1

WO2004062275A1 - 画像処理装置および画像処理プログラム

Info

Publication number: WO2004062275A1
Application number: PCT/JP2003/016797
Authority: WO
Inventors: Kenichi Ishiga
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2002-12-27
Filing date: 2003-12-25
Publication date: 2004-07-22
Anticipated expiration: 2005-06-27
Also published as: EP1583356A1; EP1583356B1; US8369651B2; US20100092103A1; US20060115177A1; EP2461576B1; CN1732682A; US8031968B2; CN1732682B; CN101778222B; EP1583356A4; CN101778222A; CN101778203B; EP2461576A1; US20120013772A1; US7853097B2; CN101778203A

Abstract

　画像処理装置は、撮像素子により撮影された画像を取得する画像取得部と、取得した画像内において、着目画素の値と該着目画素を含む所定範囲内の複数の画素の値の平均値とに基づいて、画像内の欠陥情報を作成する欠陥情報作成部とを備える。

Description

明細書画像処理装置および画像処理プログラム次の優先権基礎出願の開示内容は引用文としてここに組み込まれる。

日本国特許出願 2 0 0 2年第 3 7 9 7 1 9号（2 0 0 2年 1 2月 2 7 日出願）日本国特許出願 2 0 0 2年第 3 7 9 7 2 0号（2 0 0 2年 1 2月 2 7 日出願）日本国特許出願 2 0 0 2年第 3 7 9 7 2 1号（2 0 0 2年 1 2月 2 7 日出願）日本国特許出願 2 0 0 3年第 3 0 7 3 5 5号（2 0 0 3年 0 8月 2 9 日出願）日本国特許出願 2 0 0 3年第 3 0 7 3 5 6号（2 0 0 3年 0 8月 2 9 日出願）日本国特許出願 2 0 0 3年第 3 0 7 3 5 7号（2 0 0 3年 0 8月 2 9 日出願）技術分野

本発明は、電子カメラ等で撮影した画像データにおいて、ゴミ等の影響を除去する画像処理装置に関する。背景技術

従来、ビデオカメラの製造時に光学系に混入したゴミの影響を補正するため、事前に各絞り値毎の白パターンを撮影して補正情報を記録しておく技術が、特開平 9一 5 1 4 5 9号公報に開示されている。また、コピー機の分野では常に変化する可能性のあるゴミ対策として、原稿読み取り前に均一な反射面を有する白基準データを取り込んで、ゴミ検出する技術が、特開平 1 0— 2 9 48 7 0号公報ゃ特開平 1 1— 2 7 4 7 5号公報に開示されている。さらに、スキャナー分野では、この白基準データの代わりの役割を果たすものとして、赤外光センサーを備え、可視光データと同時に透過率データを得て、フィルム欠陥による透過率の減衰信号を得る方法が、 US P 6 , 1 9 5 , 1 6 1号に開示されている。発明の開示

しかし、従来のカメラでは、製造時に光学部品に付着した固定ゴミを対象としていたに過ぎず、使用頻度や時間の経過に伴って変化するゴミは考慮されてこなつかった。今日普及し始めた交換レンズ方式の一眼レフカメラでは、特に撮像素子前部の光学部品がむき出しのため、時間的に変化するゴミの写り込みが大きな問題となりやすい。

他方、コピ一機やスキャナーでは本スキャンの前あるいは同時にゴミデ一夕を取得して時間的に変化のあるゴミに対応している。しかし、カメラとは構造が異なって、固定距離にある原稿やフィルム面に対して一様な照明手段を有しており、更に完全に均一な反射面を備えたり、新たに赤外線照明手段を設けたりすることによって透過率データを得るのは比較的容易にできる。しかしながら、電子カメラでは製造時検査以外はそのような完全な一様面の透過率データを得にくいのが普通である。

また、コピー機、スキャナ一は基本的に固定光学系であり、光学系の変化によりゴミが変化することを考慮する必要性がない。一方、従来のビデオカメラでは絞り値以外の光学的条件が変化することには対応していない。

本発明は、電子カメラ等で撮影された画像データから、ゴミの影響等を適切に除去することが可能な画像処理装置および画像処理プログラムを提供する。

本発明の第 1の態様によれば、画像処理装置は、撮像素子により撮影された画像を取得する画像取得部と、取得した画像内において、着目画素の値と該着目画素を含む所定範囲内の複数の画素の値の平均値とに基づいて、画像内の欠陥情報を作成する欠陥情報作成部とを備える。

本発明の第 2の態様によれば、第 1の態様の画像処理装置において、欠陥情報作成部は、着目画素の値と該着目画素を含む所定範囲内の複数の画素の値の平均値との相対比を算出する相対比算出部を備え、算出した相対比に基づいて、欠陥情報を作成するのが好ましい。

本発明の第 3の態様によれば、第 1の態様から第 2の態様のいずれかの画像処理装置において、欠陥情報作成部は、画像内で所定の条件を満たす領域に対して欠陥情報を作成するのが好ましい。

本発明の第 4の態様によれば、第 1から 3のいずれかの態様の画像処理装置において、欠陥情報に基づいて、画像内の欠陥を補正する補正部とを更に有するのが好ましい。

本発明の第 5の態様によれば、第 2の態様の画像処理装置において、欠陥情報に基づいて、画像内の欠陥を補正する補正部を更に有し、補正部は、相対比の逆数値を、対応する画素の値に掛け算して補正するのが好ましい。

本発明の第 6の態様によれば、第 1の態様の画像処理装置において、画像取得部は、撮像素子により撮影された複数の画像を取得し、欠陥情報作成部は、取得した複数の画像を使用して、複数の画像のいずれかの画像内の欠陥情報を作成するのが好ましい。

本発明の第 7の態様によれば、第 1の態様の画像処理装置において、画像取得部は、撮像素子により撮影された複数の画像を取得し、欠陥情報作成部は、取得した複数の画像を使用して、複数の画像の画像全体に対応する欠陥情報を作成するのが好ましい。

本発明の第 8の態様によれば、画像処理装置は、光学系を通して撮影された基準画像を取得する画像取得部と、取得した基準画像内において、着目画素の値と該着目画素を含む所定範囲内の複数の画素の値の平均値とに基づいて、基準画像内の欠陥情報を作成する欠陥情報作成部とを備える。

本発明の第 9の態様によれば、第 8の態様の画像処理装置において、欠陥情報作成部は、着目画素の値と該着目画素を含む所定範囲内の複数の画素の値の平均値との相対比を算出する相対比算出部を備え、算出した相対比に基づいて、欠陥情報を作成するのが好ましい。

本発明の第 1 0の態様によれば、第 8から 9のいずれかの態様の画像処理装置において、画像取得部は、光学系を通して撮影された補正対象画像を取得し、基準画像内の欠陥情報に基づいて、補正対象画像内の欠陥を補正する補正部を更に有するのが好ましい。

本発明の第 1 1の態様によれば、第 1 0の態様の画像処理装置において、補正部は、基準画像と補正対象画像とが、絞り値および瞳位置が実質的に同じ光学的条件の光学系を通して撮影されている場合、生成された欠陥情報をそのまま使用して、補正対象画像を構成する画素の値を補正するのが好ましい。

本発明の第 1 2の態様によれば、第 1 0の態様の画像処理装置において、光学系の光学的条件である絞り値および瞳位置の少なくとも 1つに応じて、欠陥情報を変換する欠陥情報変換部をさらに備え、補正部は、基準画像と補正対象画像とが、絞り値および瞳位置の少なくとも 1つが異なる光学的条件の光学系を通して撮影されている場合、変換された欠陥情報を使用して、補正対象画像を構成する画素の値を補正するのが好ましい。

本発明の第 1 3の態様によれば、第 9の態様の画像処理装置において、基準画像の相対比の逆数値を、補正対象画像の対応する画素の値に掛け算して補正する補正部をさらに有するのが好ましい。

本発明の第 1 4の態様によれば、第 2、 9のいずれかの態様の画像処理装置において、相対比算出部は、算出した相対比が 1を挟んだ所定範囲に含まれるとき, 算出した相対比を 1に設定するのが好ましい。

本発明の第 1 5の態様によれば、第 1 4の態様の画像処理装置において、相対比算出部は、算出した相対比を 1に設定する所定範囲を、算出した相対比の標準偏差値と関連づけるのが好ましい。

本発明の第 1 6の態様によれば、第 1、 8のいずれかの態様の画像処理装置において、着目画素を含む所定範囲は、画像あるいは基準画像内で生じる欠陥領域よりも広い範囲であるのが好ましい。

本発明の第 1 7の態様によれば、第 1 0の態様の画像処理装置において、画像取得部は、補正対象画像の撮影前後の所定時間内に撮影された基準画像を取得するのが好ましい。

本発明の第 1 8の態様によれば、第 1 7の態様の画像処理装置において、画像取得部は、補正対象画像の撮影時間に 2番目以内に近い時間に撮影された基準画像を取得するのが好ましい。

本発明の第 1 8の態様によれば、画像処理装置は、複数色に分光可能な撮像素子を使用して撮影された画像を取得する画像取得部と、画像の複数色の信号から輝度信号を生成する輝度信号生成部と、生成された画像の輝度信号に基づき、画像内の欠陥情報を作成する欠陥情報作成部とを備える。

本発明の第 2 0の態様によれば、第 1 9の態様の画像処理装置において、欠陥情報を用いて、画像内の欠陥画素の各色成分の値を補正する補正部をさらに備えるのが好ましい。

本発明の第 2 1の態様によれば、第 1 9の態様の画像処理装置において、取得した画像内において、着目画素の生成した輝度信号の値と該着目画素を含む所定範囲内の複数の画素の生成した輝度信号の平均値に基づいて、画像内の欠陥情報を作成する欠陥情報作成部とを備えるのが好ましい。

本発明の第 2 2の態様によれば、第 2 1の態様の画像処理装置において、欠陥情報作成部は、着目画素の生成した輝度信号の値と該着目画素を含む所定範囲内の複数の画素の生成した輝度信号の平均値との相対比を算出する相対比算出部を備え、算出した相対比に基づいて、欠陥情報を作成するのが好ましい。

本発明の第 2 3の態様によれば、第 2 2の態様の画像処理装置において、相対比の逆数値を、対応する画素の各色成分の値毎に掛け算して補正する補正部を更に備えるのが好ましい。

本発明の第 2 4の態様によれば、第 1 9の態様の画像処理装置において、画像取得部は、撮像素子により撮影された複数の画像を取得し、輝度信号生成部は、取得した複数の画像について輝度信号を生成し、欠陥情報作成部は、生成された複数の画像の輝度信号を使用して、複数の画像のいずれかの画像内の欠陥情報を作成するのが好ましい。

本発明の第 2 5の態様によれば、第 1 9の態様の画像処理装置において、画像取得部は、撮像素子により撮影された複数の画像を取得し、輝度信号生成部は、取得した複数の画像について輝度信号を生成し、欠陥情報作成部は、取得した複数の画像を使用して、複数の画像の画像全体に対応する欠陥情報を作成するのが好ましい。

本発明の第 2 6の態様によれば、第 1の態様の画像処理装置において、撮像素子は、光学系を通して画像を撮影し、欠陥情報は、画像内に生じた光路途中の欠陥の投影像の情報であるのが好ましい。

本発明の第 2 7の態様によれば、第 2 6の態様の画像処理装置において、欠陥情報作成部は、光路途中の欠陥の投影像の位置と強度に関する情報を同時に作成して記録するのが好ましい。

本発明の第 2 8の態様によれば、第 2 7の態様の画像処理装置において、欠陥情報作成部は、着目画素ごとに平均値を算出する所定範囲を移動させ、光路途中の欠陥の投影像の強度に関する情報を連続的に作成するのが好ましい。

本発明の第 2 9の態様によれば、第 4の態様の画像処理装置において、補正部は、補正対象画素位置の元の信号値を利用して補正値を求めるのが好ましい。本発明の第 3 0の態様によれば、第 8の態様の画像処理装置において、欠陥情報は、画像内に生じた光路途中の欠陥の投影像の情報であるのが好ましい。本発明の第 3 1の態様によれば、第 3 0の態様の画像処理装置において、欠陥情報作成部は、光路途中の欠陥の投影像の位置と強度に関する情報を同時に作成して記録するのが好ましい。

本発明の第 3 2の態様によれば、第 3 1の態様の画像処理装置において、欠陥情報作成部は、着目画素ごとに平均値を算出する所定範囲を移動させ、光路途中の欠陥の投影像の強度に関する情報を連続的に作成するのが好ましい。

本発明の第 3 3の態様によれば、第 1 0の態様の画像処理装置において、補正部は、補正対象画素位置の元の信号値を利用して補正値を求めるのが好ましい。本発明の第 3 4の態様によれば、第 1 5の態様の画像処理装置において、相対比算出部は、算出した相対比を 1に設定する所定範囲を、プラスマイナス（ 3 X 標準偏差値）の範囲に設定するのが好ましい。

本発明の第 3 5の態様によれば、第 2 6の態様の画像処理装置において、着目画素を含む所定範囲は、画像内に生じた光路途中の欠陥の投影像の広がりよりも広い範囲であるのが好ましい。

本発明の第 3 6の態様によれば、第 3 0の態様の画像処理装置において、着目画素を含む所定範囲は、基準画像内に生じた光路途中の欠陥の投影像の広がりよりも広い範囲であるのが好ましい。

本発明の第 3 7の態様によれば、画像処理装置は、光学系を通して撮影された第 1の画像と、第 1の画像とは異なる光学的条件で撮影された第 2の画像を取得する画像取得部と、第 1の画像と第 2の画像を用いて、第 1の画像もしくは第 2 の画像内に含まれる欠陥情報を作成する欠陥情報作成部とを備える。

本発明の第 3 8の態様によれば、第 3 7の態様の画像処理装置において、欠陥情報を用いて、第 1の画像もしくは第 2の画像内の欠陥を補正する補正部を備えるのが好ましい。

本発明の第 3 9の態様によれば、第 3 7の態様の画像処理装置において、第 1 の画像と第 2の画像との間で、絞り値および瞳位置の少なくとも 1つの光学的条件が異なるのが好ましい。

本発明の第 4 0の態様によれば、第 3 7から 3 9のいずれかの態様の画像処理装置において、欠陥情報作成部は、第 1の画像と第 2の画像の光学的条件の不一致をなくすため、第 1の画像と第 2の画像の少なくとも一方の画像を、一定の光学的条件に合致するような変換を行う光学的条件変換部を備えるのが好ましい。本発明の第 4 1の態様によれば、第 4 0の態様の画像処理装置において、光学的条件変換部は、光学的条件の絞り値が異なるとき、第 1の画像もしくは第 2の画像に基づく画素信号に対して口一パスフィルタ処理を行って、同じ絞り値のときにあると想定される欠陥の状態に変換するのが好ましい。

本発明の第 4 2の態様によれば、第 4 1の態様の画像処理装置において、光学的条件変換部は、実質的に均等な重みづけの口一パスフィルタを用いて変換するのが好ましい。

本発明の第 4 3の態様によれば、第 4 0の態様の画像処理装置において、光学的条件変換部は、光学的条件の瞳位置が異なるとき、第 1の画像もしくは第 2の画像に基づく画素信号に対して光学系の光軸中心から動径方向にずらす変位処理を行って、同じ瞳位置のときにあると想定される欠陥の状態に変換するのが好ましい。

本発明の第 4 4の態様によれば、第 4 3の態様の画像処理装置において、光学的条件変換部は、光軸中心から遠くになるに従い、動径方向にずらす量を増やす変位処理を行うのが好ましい。

本発明の第 4 5の態様によれば、第 4 3から 4 4のいずれかの態様の画像処理装置において、光学的条件変換部は、欠陥の原因となる異物が、光学系内の撮像面から光軸に沿って所定の距離にあると仮定して変位量を予測する演算を行い、変位処理を行うのが好ましい。

本発明の第 4 6の態様によれば、第 3 7の態様の画像処理装置において、第 1 の画像と第 2の画像のどちらか一方は補正の対象となる補正対象画像であり、他方は欠陥情報を作成するための基準画像であるのが好ましい。

本発明の第 4 7の態様によれば、第 3 7の態様の画像処理装置において、第 1 の画像と第 2の画像は、どちらも補正の対象となる補正対象画像であり、欠陥情報作成部は、第 1の画像と第 2の画像を用いて、第 1の画像と第 2の画像に共通な欠陥情報を作成するのが好ましい。

本発明の第 4 8の態様によれば、第 4 7の態様の画像処理装置において、欠陥情報作成部は、第 1の画像と第 2の画像の光学的条件の不一致をなくすため、第 1の画像と第 2の画像の少なくとも一方の画像を、一定の光学的条件に合致するような変換を行う光学的条件変換部を備えるのが好ましい。

本発明の第 4 9の態様によれば、第 4 6の態様の画像処理装置において、画像取得部は、光学系の可変な絞り値の中で、最も絞り込んだ状態の絞り値で撮影された基準画像を取得するのが好ましい。

本発明の第 5 0の態様によれば、第 3 7の態様の画像処理装置において、欠陥情報作成部は、取得した画像内において、着目画素の値と該着目画素を含む所定範囲内の複数の画素の値の平均値に基づき、画像内の欠陥情報を作成するのが好ましい。

本発明の第 5 1の態様によれば、第 4 6、 4 9のいずれかの態様の画像処理装置において、画像取得部は、補正対象画像の撮影前後の所定時間内に撮影された基準画像を取得するのが好ましい。

本発明の第 5 2の態様によれば、画像処理装置は、光学系を通して撮影された第 1の画像と、第 1の画像とは異なる光学的条件で撮影された第 2の画像を取得する画像取得部と、第 1の画像と第 2の画像を用いて、第 1の画像もしくは第 2 の画像内に含まれる欠陥を補正する補正部とを備える。

本発明の第 5 3の態様によれば、第 5 2の態様の画像処理装置において、第 1 の画像と第 2の画像との間で、絞り値および瞳位置の少なくとも 1つの光学的条件が異なるのが好ましい。

本発明の第 5 4の態様によれば、画像処理装置は、撮像素子により撮影された撮影画像を取得する画像取得部と、取得した撮影画像内で平坦部領域を抽出する平坦部抽出部と、抽出した平坦部領域の欠陥情報を作成する欠陥情報作成部とを備える。

本発明の第 5 5の態様によれば、第 5 4の態様の画像処理装置において、欠陥情報に基づいて、平坦部領域の画像を補正する補正部をさらに備えるのが好ましい。

本発明の第 5 6の態様によれば、第 5 4〜 5 5のいずれかの態様の画像処理装置において、平坦部領域の画像において、着目画素の値と該着目画素を含む所定範囲内の複数の画素の平均値とに基づいて、平坦部領域の欠陥情報を作成するのが好ましい。

本発明の第 5 7の態様によれば、第 5 6の態様の画像処理装置において、欠陥情報作成部は、着目画素の値と該着目画素を含む所定範囲内の複数の画素の平均値との相対比を算出する相対比算出部を備え、算出した相対比に基づいて、平坦部領域の欠陥情報を作成するのが好ましい。

本発明の第 5 8の態様によれば、第 5 5の態様の画像処理装置において、含む所定範囲内の複数の画素の平均値との相対比を算出する相対比算出部をさらに備え、欠陥情報作成部は、算出した相対比に基づいて、平坦部領域の欠陥情報を作成し、補正部は、平坦部領域の画像の画素に対応する相対比の逆数値を、平坦部領域の画像の対応する画素の値に掛け算して補正するのが好ましい。

本発明の第 5 9の態様によれば、第 5 8の態様の画像処理装置において、補正部は、作成された欠陥情報としての相対比にローパス処理を行い、平坦部領域の画像の画素に対応するローパス処理後の相対比の逆数値を、平坦部領域の画像の対応する画素の値に掛け算して補正するのが好ましい。

本発明の第 6 0の態様によれば、第 5 4〜 5 9のいずれかの態様の画像処理装置において、平坦部抽出部は、撮影画像内でエッジ抽出を行い、エッジが抽出されなかった領域を平坦部領域として抽出するのが好ましい。

本発明の第 6 1の態様によれば、第 5 4の態様の画像処理装置において、平坦部抽出部は、撮影画像に対し階調変換を行う階調変換部を有し、階調変換された後の撮影画像に対して平坦部領域の抽出を行うのが好ましい。

本発明の第 6 2の態様によれば、第 6 1の態様の画像処理装置において、階調変換部は、撮影画像の階調が線形信号の時、非線形信号に変換するのが好ましい, 本発明の第 6 3の態様によれば、第 6 2の態様の画像処理装置において、階調変換部は、低輝度側の階調を拡大し、高輝度側の階調を圧縮する変換を行うのが好ましい。

本発明の第 6 4の態様によれば、第 6 2 ~ 6 3のいずれかの態様の画像処理装置において、階調変換部は、べき乗関数により変換を行うのが好ましい。

本発明の第 6 5の態様によれば、第 6 4の態様の画像処理装置において、べき乗関数は平方根関数であるのが好ましい。

本発明の第 6 6の態様によれば、第 6 0〜 6 5のいずれかの態様の画像処理装置において、エッジ抽出は、着目画素と周辺画素との間において、複数の距離からなる差分演算を複数の方向について行うことにより抽出するのが好ましい。本発明の第 6 7の態様によれば、第 5 5、 5 8、 5 9のいずれかの態様の画像処理装置において、撮影画像の輝度レベルが所定の明るさ以上か否かを判定する輝度レベル判定部を備え、補正部は、輝度レベルが所定の明るさ以上でかつ平坦部領域の領域に対して、補正するのが好ましい。

本発明の第 6 8の態様によれば、第 5 4の態様の画像処理装置において、撮像素子により撮影された基準画像を取得する基準画像取得部と、基準画像の欠陥情報を作成する基準画像欠陥情報作成部とをさらに備え、欠陥情報作成部は、基準画像の欠陥情報による領域情報と平坦部領域の領域情報とを合わせて用いて平坦部領域の欠陥情報を作成するのが好ましい。

本発明の第 6 9の態様によれば、第 6 8の態様の画像処理装置において、平坦部抽出部は、平坦部領域として抽出されない領域であっても、基準画像の欠陥情報が示す欠陥領域である場合、該欠陥領域を平坦部領域として抽出するのが好ましい。

本発明の第 7 0の態様によれば、第 6 8 ~ 6 9のいずれかの態様の画像処理装置において、欠陥情報作成部は、基準画像の欠陥情報が示す欠陥領域と平坦部領域の双方を満足する領域に対して、欠陥情報を作成するのが好ましい。

本発明の第 7 1の態様によれば、第 6 8の態様の画像処理装置において、撮影画像と基準画像の撮影時の光学的条件が異なるとき、基準画像の欠陥情報を、撮影画像と同じ光学的条件において撮影された基準画像の欠陥情報と等価な欠陥情報に変換する欠陥情報変換部をさらに備え、補正部は、変換された基準画像の欠陥情報を用いるのが好ましい。

本発明の第 7 2の態様によれば、第 6 9〜 7 0のいずれかの態様の画像処理装置において、撮影画像と基準画像の撮影時の光学的条件が異なるとき、基準画像の欠陥情報を、撮影画像と同じ光学的条件において撮影された基準画像の欠陥情報と等価な欠陥情報に変換する欠陥情報変換部をさらに備え、平坦部抽出部および補正部は、変換された基準画像の欠陥情報を用いるのが好ましい。

本発明の第 7 3の態様によれば、第 7 1〜 7 2のいずれかの態様の画像処理装置において、補正部は、欠陥情報変換部の欠陥情報変換誤差を考慮して、基準画像の欠陥情報が示す欠陥領域を、少なくとも欠陥情報変換誤差分広くして用いるのが好ましい。

本発明の第 7 4の態様によれば、第 5 4の態様の画像処理装置において、画像取得部は、撮像素子により撮影された複数の撮影画像を取得し、平坦部抽出部は、複数の撮影画像において、平坦部領域を抽出し、欠陥情報作成部は、抽出した複数の画像の平坦部領域の画像を使用して、複数の画像のいずれかの画像の平坦部領域の欠陥情報を作成するのが好ましい。

本発明の第 7 5の態様によれば、第 5 4の態様の画像処理装置において、画像取得部は、撮像素子により撮影された複数の撮影画像を取得し、平坦部抽出部は、複数の撮影画像において、平坦部領域を抽出し、欠陥情報作成部は、抽出した複数の画像の平坦部領域の画像を使用して、複数の画像の画像全体に対応する欠陥情報を作成するのが好ましい。

本発明の第 7 6の態様によれば、第 7 4、 7 5のいずれかの態様の画像処理装置において、平坦部領域の画像において、着目画素の値と該着目画素を含む所定範囲内の複数の画素の平均値とに基づいて、平坦部領域の欠陥情報を作成するのが好ましい。

本発明の第 7 7の態様によれば、第 7 6の態様の画像処理装置において、欠陥情報作成部は、着目画素の値と該着目画素を含む所定範囲内の複数の画素の平均値との相対比を算出する相対比算出部を備え、算出した相対比に基づいて、平坦部領域の欠陥情報を作成するのが好ましい。本発明の第 7 8の態様によれば、第 6 9の態様の画像処理装置において、平坦部抽出部は、基準画像の欠陥情報が示す欠陥領域について、欠陥領域の周辺に所定量以上のエツジ抽出された画素がある場合、該欠陥領域を平坦部領域として抽出しないのが好ましい。

本発明の第 7 9の態様によれば、第 7 8の態様の画像処理装置において、平坦部抽出部は、欠陥領域の画素周辺に一定領域の画素の中でエッジ抽出された画素が過半数ある場合、該欠陥領域の画素を平坦部領域の画素として抽出しないのが好ましい。

本発明の第 8 0の態様によれば、コンピュータ読み込み可能なコンピュータプログラム製品は、上記のいずれかの態様の画像処理装置の機能をコンピュータに実行させるための画像処理プログラムを有する。図面の簡単な説明

図 1は、交換レンズ方式の電子カメラの構成を示す図である。

図 2は、電子カメラのブロック図とパーソナルコンピュータ（P C ) および周辺装置を示す図である。

図 3は、第 1の実施の形態における、電子カメラ側の撮影手順について説明する図である。

図 4は、輝度面に対して局所的規格化処理を施した様子を示す図である。図 5は、透過率マップのヒストグラムを示す図である。

図 6は、第 1の実施の形態における、 P Cで行う処理の流れを示すフローチヤートである。

図 7は、第 2の実施の形態における、電子カメラ側の撮影手順について説明する図である。

図 8は、瞳位置が変化するとゴミ影の位置が変化する様子を示す図である。図 9は、絞り値である F値が変化するとゴミ影の大きさが変化する様子を示す図である。

図 1 0は、各絞り値に対する一次元フィルタ係数を示す図である。

図 1 1は、絞り値 F 1 6における透過率マップに変換するフィル夕を 2次元フィル夕で表した図である。

図 1 2は、第 2の実施の形態における、 P Cで行う処理の流れを示すフローチャ一卜である。

図 1 3は、中くらい程度のゴミについて、 F値変換により透過率が変換される様子を示す図である。

図 1 4は、第 3の実施の形態における、電子カメラ側の撮影手順について説明する図である。

図 1 5は、第 3の実施の形態における、 P Cで行う処理のフローチャートを示す図である。

図 1 6は、エッジ抽出フィルタを示す図である。

図 1 7は、第 4の実施の形態における、 P Cで行う処理のフローチャートを示す図である。

図 1 8は、プログラムを、 C D— R O Mなどの記録媒体やインターネットなどのデータ信号を通じて提供する様子を示す図である。

図 1 9は、エッジマップの周辺同化処理の様子を示す図である。発明を実施するための最良の形態

一第 1の実施の形態一

(電子カメラおよびパーソナルコンピュータの構成）

図 1は、交換レンズ方式の一眼レフ電子スチルカメラ（以下、電子カメラと言う）の構成を示す図である。電子カメラ 1は、カメラ本体 2とマウント式交換レンズからなる可変光学系 3を有する。可変光学系 3は、内部にレンズ 4と絞り 5 を有する。レンズ 4は複数の光学レンズ群から構成されるが、図では代表して 1 枚のレンズで表し、そのレンズ 4の位置を主瞳位置と言う（以下、単に瞳位置と言う）。可変光学系 3は、ズームレンズであってもよい。瞳位置は、レンズ種やズームレンズのズーム位置によって決まる値である。焦点距離によって変わることもある。

力メラ本体 2は、シャッター 6、光学フィルタ一やカバ一ガラスなどの光学部品 7、撮像素子 8を有する。可変光学系 3は、カメラ本体 2のマウント部 9に対して着脱可能である。また、可変光学系 3は、マウント部 9を介して、瞳位置に関する情報、絞り値に関する情報等の光学的パラメータを電子カメラ 1の制御部 1 7 (図 2) に送信する。絞り値は、例えば F 2. 8〜F 22まで変化する。符号 1 0は、撮像素子 8前部の光学部品 7の表面に付着したゴミを示す。可変光学系 3の絞り値や瞳位置を変化させて、撮影画像に写り込んだゴミ影の変化を評価する実験を行った結果、以下の 2つの事実が判った。

( 1 ) 絞り値によってゴミ影の大きさと光の透過率が変わる。

(2) レンズの瞳位置によってゴミ位置がずれる。

この 2つの実験事実から固定位置に付着したゴミであっても、レンズの撮影条件 (絞り値と瞳位置）が変化する度にゴミの写り込み方が変化していることがわかる。このような可変な光学系に対して、ゴミの影響を除去する手法を以下に示す _c 図 2は、電子カメラ 1のブロック図と P C ひ、 °一ソナルコンピュータ） 3 1および周辺装置を示す図である。 P C 3 1は、画像処理装置として機能し、電子力メラ 1から画像データを取得し後述するゴミの影響除去処理をする。

電子カメラ 1は、可変光学系 3、光学部品 7、シャッター 6 (図 2では図示省略）、撮像素子 8、アナログ信号処理部 1 2、 A/D変換部 1 3、タイミング制御部 1 4、画像処理部 1 5、操作部 1 6、制御部 1 7、メモリ 1 8、圧縮/伸長部 1 9、表示画像生成部 20、モニタ 2 1、メモリカード用インタフェース部 2 2、外部インタフェース部 23を備える。

撮像素子 8は、可変光学系 3を通して被写体を撮像し、撮像された被写体像に対応する画像信号（撮像信号）を出力する。撮像素子 8は、複数の画素から構成される矩形形状の撮像領域を有し、各画素に蓄積された電荷に対応するアナログ信号である画像信号を、画素単位で順次、アナログ信号処理部 1 2に出力する。撮像素子 8は、例えば単板式カラ一 C CDなどで構成される。アナログ信号処理部 1 2は、内部に CD S (相関 2重サンプリング）回路や、 AGC (オートゲインコントロール）回路などを有し、入力された画像信号に対して所定のアナログ処理を行う。 A/D変換部 1 3は、アナログ信号処理部 1 2で処理されたアナ口グ信号をデジタル信号に変換する。タイミング制御部 14は、制御部 1 7により制御され、撮像素子 8、アナログ信号処理部 1 2、 AZD変換部 1 3、画像処理部 1 5の各動作のタイミングを制御する。

メモリカード用インタフェース部 2 2は、メモリカード（カード状のリムーバブルメモリ） 3 0 とのインタフェースをとる。外部インタフェース部 2 3は、所定のケ一ブルや無線伝送路を介して P C 3 1等の外部装置とのィンタフェースをとる。操作部 1 6は、レリーズボタンやモード切り換え用の選択ボタン等に相当する。モニタ 2 1は、各種メニューを表示したり、撮像素子 8で撮像した被写体像やメモリカードに格納された画像データに基づく再生画像を表示したりする。操作部 1 6の出力は制御部 1 7に接続され、モニタ 2 1には表示画像生成部 2 0 の出力が接続される。画像処理部 1 5は、例えば、画像処理専用の 1チップ ' マィクロプロセッサで構成される。

AZD変換部 1 3、画像処理部 1 5、制御部 1 7、メモリ 1 8、圧縮/伸長部 1 9、表示画像生成部 2 0、メモリカード用インタフェース部 2 2、外部インタフェース部 2 3は、バス 2 4を介して相互に接続されている。

P C 3 1には、モニタ 3 2やプリンタ 3 3等が接続されており、 CD— ROM 3 4に記録されたアプリケ一ションプログラムが予めィンストールされている。また、 P C 3 1は、不図示の C PU、メモリ、ハードディスクの他に、メモリ力 —ド 3 0とのインタフェースをとるメモリカード用インタフェース部 (不図示) や所定のケーブルや無線伝送路を介して電子カメラ 1等の外部装置とのィン夕フエースをとる外部インタフェース部（不図示）を備える。

図 1のような構成の電子カメラ 1において、操作部 1 6を介し、操作者によつて撮影モードが選択されてレリーズポタンが押されると、制御部 1 7は、夕イミング制御部 1 4を介して、撮像素子 8、アナログ信号処理部 1 2、 A/D変換部 1 3に対するタイミング制御を行う。撮像素子 8は、可変光学系 3により撮像領域に結像された光学像に対応する画像信号を生成する。その画像信号は、アナ口グ信号処理部 1 2で所定のアナログ信号処理が行われ、アナログ処理後画像信号として A/D変換部 1 3へ出力される。 A/D変換部 1 3では、アナログ処理後の画像信号をディジタル化し、画像データとして、画像処理部 1 5に供給する。本実施の形態の電子カメラ 1では、撮像素子 8において、単板式カラー撮像素子の最も代表的な R (赤）、 G (緑）、 B (青）のカラーフィルタがべィァ配列されている場合を例にとり、画像処理部 1 5に供給される画像データは R G B表色系で示されるものとする。画像データを構成する各々の画素には、 R G Bの何れか 1つの色成分の色情報が存在する。ここで、撮像素子 8を構成する 1つの光電変換素子を画素と言うが、この画素に対応した画像データの 1単位も画素と言う。また、画像も複数の画素から構成される概念である。

画像処理部 1 5は、このような画像データに対し、補間、階調変換や輪郭強調などの画像処理を行う。このような画像処理が完了した画像データは、必要に応じて、圧縮/伸長部 1 9で所定の圧縮処理が施され、メモリカード用イン夕フエース部 2 2を介してメモリカード 3 0に記録される。画像処理が完了した画像デ一夕は、圧縮処理を施さずにメ.モリカード 3 0に記録してもよい。

画像処理が完了した画像データは、メモリカード 3 0を介して P C 3 1に提供される。外部ィンタ一フェース 2 3および所定のケーブルや無線伝送路を介して P C 3 1に提供してもよい。画像処理が完了した画像データは、補間処理が完了し、各画素には R G Bのすベての色成分の色情報が存在するものとする。

(ゴミの影響除去処理）

次に、撮影した各画像データにおいて、ゴミの影響を除去する処理について説明する。第 1の実施の形態では、各光学的撮影条件毎にゴミ情報を得るための基準画像を、毎回、電子カメラ 1で撮影する場合を想定する。ただし、基準画像は、完全に一様な白基準データではなく、青空、一様に近い壁面、グレーチャート、無地の紙面などを撮影して代用するものとする。この場合の基準データは、レンズの周辺減光や被写体のグラデ一ション、撮像素子のシエーディングなどが含まれていてもよい。基準データは、実際に身近な場所で容易に撮影できる状況で取得できる場合を想定しており、厳密な一様性は要求せず、画像処理側のアルゴリズムで一様なものに変換する。

(電子カメラ側の動作）

図 3は、第 1の実施の形態における、電子カメラ 1側の撮影手順について説明する図である。 1 ) 瞳位置 P 1絞り値 A 1で通常撮影 1 0 1を行い、補正対象画像データ 1を出力する。 2 ) 引き続き、同じ瞳位置 P 1絞り値 A 1で一様面撮影 1 0 2を行い、基準画像データ 1を出力する。 3 ) 次に、異なる瞳位置 P 2、絞り値 A 2で通常撮影 1 0 3を行い、補正対象画像データ 2を出力する。 4 ) 引き続き、通常撮影 1 0 3と同じ瞳位置 P 2絞り値 A 2で一様面撮影 1 0 4を行い、基準画像デ一夕 2を出力する。すなわち、まず、電子カメラ 1を撮影したい被写体に向けた撮影を行い（通常撮影）、直後に電子カメラ 1を空や壁面に向けて一様な面の撮影を行う（一様面撮影）。あるいは、カメラは通常撮影のときと同じ状態で、レンズの前数 c m〜 1 0 c m程度のところに白い紙あるいは一様な色の紙をかざすだけでもよい。このようにして、通常撮影と一様面撮影とを一対とした撮影動作を行う。ここで、画像データを出力するとは、メモリカード 3 0に記録したり、外部ィン夕一フェース 2 3を介して P C 3 1に直接出力したりすることを言う。

電子カメラではゴミの状態が変化する可能性があるので、本実施の形態では、一様面の撮影を補正対象画像の撮影の直後の同一光学的条件のままで行っている。しかし、実際にはこれほど厳密に時間的に直後でなくてもよい。光学的に瞳位置と絞り値について同じ撮影条件が再現できる場合は、一日程度経って撮影した一様面データでも、かなりのゴミは大きく変化せずに使えることが多い。したがつて、一様面データは、同一の光学的条件を再現し、通常撮影時のゴミ情報を十分反映できる程度の時間差内に撮影したものであれば、代用することは可能である。なお、通常撮影と一様面撮影の順序を入れ換えて、先に一様面撮影をし引き続き通常撮影をするようにしてもよい。

(画像処理装置側動作）

電子カメラ 1で撮影された画像デ一夕は、所定の画像処理がなされた後 P C 3 1に提供される。 P C 3 1では、一対の補正対象画像データと基準画像データとを使用して、ゴミの影響除去処理を行う。 P C 3 1は、ゴミの影響除去処理を行う画像処理装置と言ってもよい。基準画像データ、補正対象画像データともにベィャ配列の R G B補間処理は済んだ状態で P C 3 1に入力される。以下で説明する基準画像データと補正対象画像データは、同一の瞳位置と絞り値の光学的条件下で撮影されたデータである。図 6は、 P C 3 1で行う処理の流れを示すフローチヤ一トである。

<基準画像データに対する処理 > 1 ) 輝度面の生成

図 6のステップ S 1 1では、輝度面の生成を行う。基準画像データの各画素 [i, j]について、次の式（ 1 ) を使用して、 R GB信号から輝度信号を生成する。 [i, j]は画素の位置を示す。

Y[i, j] = (R[i, j]+2*G[i, j]+B[i, j])/4 ... (1)

R G B各面で個別に解析することも可能であるが、基本的にゴミ影の影響は信号の減衰を生じるのみで、色成分に関係ない。従って、ここでは全ての情報を有効に使いつつ、ランダムノイズの影響を低減させることが可能な輝度成分への変換を行っている。また、そうすることにより、 RGB 3面から輝度成分単面だけの解析で済み、高速化が図れる。輝度成分生成比率は上記に限らず、 R:G:B=0.3:0. 6:0.1等であってもよい。

2) 透過率マップの生成（ゲインマップ抽出）

ステップ S 1 2では、以下の処理からなる透過率マップの生成（ゲインマップ抽出）を行う。

2— 1 ) 局所的規格化処理（ゲイン抽出処理）

基準画像データは、上述したように必ずしも完全に一様なものでない。従って、生成した輝度面も完全に一様ではない。このような輝度面に対して、局所的な画素値の規格化（正規化）処理を行って、各画素の透過率信号 T[i， j]を、次式

(2) を使用して算出する。すなわち、着目画素 [i， j]の値とこの画素を含む局所範囲の画素平均値との相対比を各々の画素についてとる。これにより一様面デー夕に含まれるグラデ一ション、シエーディング等の不均一性はアルゴリズム的に問題なく排除され、肝心のゴミ影による透過率の低下のみを抽出することができる。このようにして求めた画像全面の透過率を透過率マップ（ゲインマップ）と言う。透過率マップは、基準画像の欠陥情報を示すものである。なお、画素値とは、各画素における色成分の色信号（色情報）や輝度信号（輝度情報）の値である。例えば、 1バイトで表される場合、 0〜2 5 5の値を取る。 (2)

∑ ∑ Y[i + m, j + n] |/(2a + l)(2b + 1)

ここで、局所平均を取る範7 .囲（2a+l)x(2b+l)画素は、ゴミ径より大きめにとる。理想的には面積的にゴミ影よりも 3倍程度以上の広さを取れば、正確な透過率デー夕が得れらる。 aは着目画素 [i, j]を中心に左右に広がる画素数、 bは着目画素 [i, j]を中心に上下に広がる画素数を示す。例えば、撮像素子 8の画素ピッチを 1 2 umとし、撮像面とゴミ付着面との距離を 1. 5mmとすると、絞り値 F 22 のとき、巨大なゴミの直径は 1 5画素程度、絞り値 F 4のとき、巨大なゴミの直径は 40画素程度となる。従って、 a = 40、 b = 40とし、局所平均を取る範囲は 8 1 X 8 1画素範囲のように設定するとよい。これは、一例であり、他の画素数による画素範囲であってもよい。

ゴミ影は絞り値に大きく依存し、小さなゴミは絞りを開けるとすぐに消滅する力大きなゴミは絞りを開放側にしても影は薄くなりながらも大きな面積を占めることがある。撮像素子の画素ピッチ幅にもよるが、開放側で数十画素に渡って丸いゴミ影ができる場合があり、そのときは非常に広い範囲で局所平均をとる必要性が出る。そのため、処理を高速化する場合は、間引いた画素で代表して処理しても問題ない。

この（2a+l)x(2b+l)画素の範囲で相対比を演算する処理を、局所的規格化処理 (ゲイン抽出処理）と呼ぶ。（2a+l)x(2b+l)画素の範囲で相対化演算するフィルタのことを、ゲイン抽出力一ネルと呼んでもよい。図 4は、輝度面に対して局所的規格化処理を施した様子を示す図である。図 4 (a) は、輝度面内のある横方向に並ぶ画素の輝度信号を示す図である。符号 4 1と符号 42は、ゴミにより輝度信号が低下していることを示す。図 4 (b) は、図 4 (a) の輝度信号に対して、上述した局所的規格化処理を施して得られた図である。すなわち、局所的な範囲で画素値の規格化処理を行ったものである。符号 43、 44は、図 4 (a) の符号 41、 42に対応し、ゴミが存在する個所の透過率を示す。このように、一様面データに含まれるグラデーション、シエーディング等の不均一性は排除され、ゴミ影による透過率の低下のみを抽出することができる。これにより、ゴミの位置と透過率の程度が同時に分かる。

2— 2) 透過率マップの口一パス処理

透過率マップのローパス処理は選択可能としてもよいが、大部分で効果があるのでこの処理を入れておくのが好ましい。透過率信号 T[i, j]には、輝度信号の量子論的揺らぎに伴うランダムノイズが含まれているため、透過率が 1に近いレべルで微妙にゴミ影の影響が残っている領域は、そのランダム性のため以下に続く 2 -4) の閾値判定を行うと、斑にゴミ影を抽出することがある。それを防ぐため、次式（3) によるローパスフィルタによりゴミ影の集団化を行うとやや見栄えがよくなる。

T[i, j] = (4*T[i, j]

+ 2* (T[i-1, j]+T[i + l, j]+T[i, j-l]+T[i, j + 1])

+ l*(T[i-l, j-l]+T[i-l, j + l]+T[i + l, j-l]+T[i + l, j + l])]/16 ... (3) 2— 3) 透過率マップの統計解析

前述の局所的規格化処理により得られた透過率マップの画像全面について、平均値 Mを次式（4) により求め、標準偏差 σを次式（5) により求める統計解析を行う。なお、 Nx,Nyは、 X方向、 y方向の総画素数を表す。

1

= ∑T[i,j] (4)

N_xN_{y J}

2

び = ∑(T[i ]-M) (5)

N_XNy i 2 -4) 閾値判定

基本的に透過率マップに占めるゴミ信号の面積的な割合は非常に小さく、 2— 3) で統計解析した結果は、透過率信号の量子論的揺らぎに伴うランダムノイズ

(ショットノイズ）を評価していることになる。図 4における符号 45部分を拡大した符号 46は、この細かいランダムノイズがある様子を示している。透過率マップのヒストグラムをとると、平均値 M (Mはほぼ 1に近い値）を中心に標準偏差 σの正規分布した形となる。図 5は、透過率マップのヒストグラムを示す図である。この揺らぎの範囲はゴミ影による透過率の変化を受けていないと考えられるため、強制的に透過率を 1に設定してよい。すなわち、次の条件（6)

(7) により閾値判定を行う。

if |T[i, j]-M|≤3a then T[i， j]=l ... (6)

else T[i, j]=T[i, j] ... (7)

正規分布するランダムデータは、 ± 3 σの範囲を集めれば 99. 7 %になるので、ほぼ正確にランダムノイズの影響を除外することができる。 ± 3 σから外れる透過率は、ほとんど統計的な誤差では説明できない異常な信号であり、ゴミ影による透過率の低下による現象を表していると考えられる。この異常部分は、ゴミ影の場合、通常 1より小さな値となる。

'しかし、割合は少ないが 1より大きな値を示すものもある。これはゴミ影の影響ではなく、オプティカルローパスフィルタ等の脈理（屈折率の不均一）で生じた欠陥が入射光を強めあったり弱めあったりする干渉縞を起こした場合などに見られる現象である。これにより、光路途中に含まれるゴミ以外の光学部材の欠陥検出にもこの方法は利用することができる。また、撮像素子内の画素欠陥の影響もこの手法で判別可能である。ゴミは、撮像素子 8に近い方がボケずに残りやすいが、撮影レンズ上のゴミが相当ボケて写り込んだ場合でも精度よく判別可能である。

なお、ゴミ影の影響のみを取り除く場合は、以下の条件（8) (9) ( 1 0) により閾値判定するとよい。

if |T[i, j]-M|≤3a then T[i, j]=l ... (8) else if T [i, j] >1 T[i, j]=l . (9)

else T[i,〗]=T[i, j] . (10)

判定に使う平均値 Mは常に .近い値をとるため、に置き換えてもよい。

このようにして、欠陥の画素位置を表すマップ情報（T= lか否かで判断）と、欠陥の度合いを表す透過率情報の 2種類の欠陥情報が同時に得られることになる。なお、上述の透過率マツプは局所的な相対ゲインを表していることからゲインマップと呼んでもよい。

通常、ゴミ等の欠陥検出は、エッジ検出用の微分フィルタで行う。しかし、光路途中のゴミを対象とする場合、光学的にぼけるため非常に周辺とのコントラス卜が低いゴミ影となって現れる。このような場合、微分フィルタでは非常に感度が悪くほとんど検知できないことが多い。しかし、上記説明したように、透過率の統計的性質を用いた判定法を用いると、非常に高感度のゴミ検出が可能となり、目的の光路途中の異物による影響補正が可能となる。

<補正対象画像に対する処理 >

3) ゲイン補正

ステップ S 1 3では、ゲイン補正を行う。上記のように求めた透過率マップを使用して補正対象画像データの補正を行う。補正対象画像データの R， G, B値各々に対して、式（1 1) (1 2) ( 1 3 ) で示すように、透過率信号の逆数を掛け算してゲイン補正を行う。

[i, j]=R[i. j]/T[i, j] ... (11)

G[i, j]=G[i. j]/T[i, j] ... (12)

B[i, j]=B[i. j]/T[i, j] ... (13)

これにより、ゴミ影による輝度の低下をきれいに補正できる。加えて、補正の必要性のない所は透過率マップが閾値判定されているため、余計な補正を行わないようにできる。すなわち、ゴミのない箇所の透過率 Tにはランダムノイズの影響が取り除かれているので、 R G B信号のノィズが増幅される心配がない。

以上のように、第 1の実施の形態では、ゴミ対策用の特別な機構を備えていない普通の電子力メラでも、任意の時刻に撮影した画像を適切に補正することができる。基準画像の一様面の撮影には厳密な均一性が要求しないので、比較的手軽に実現することが可能となる。更に、従来のゴミ検出法に比べ、格段に感度のよい検出及び補正が可能となる。

一第 2の実施の形態一

第 2の実施の形態では、ゴミ情報を得るための基準画像を一度だけ撮影し、光学的撮影条件の異なる複数の画像に対してもこの基準画像を利用してゴミ除去する方法を示す。電子カメラ 1および画像処理装置としての P C 3 1の構成は、第 1の実施の形態と同様であるので、その説明を省略する。

(電子カメラ側の動作）

図 7は、第 2の実施の形態における、電子カメラ 1側の撮影手順について説明する図である。 1 ) 瞳位置 P 0、絞り値 A 0で一様面撮影 2 0 1を行い、基準画像データ 0を出力する。 2 ) 瞳位置 P l、絞り値 A 1で通常撮影 2 0 2を行い、補正対象画像データ 1を出力する。 3 ) 瞳位置 P 2、絞り値 A 2で通常撮影 2 0 3を行い、補正対象画像データ 2を出力する。 4 ) 瞳位置 P 3、絞り値 A 3で通常撮影 2 0 4を行い、補正対象画像データ 3を出力する。すなわち、まず、電子カメラ 1を空や壁面に向けて一様な面の撮影を行い（一様面撮影）、その後、電子カメラ 1を撮影したい被写体に向けて随時撮影する（通常撮影）。

ここで、基準画像の絞り値 A Oは、可変光学系 3に用意された可変な範囲の中で最も絞り込んだ状態で撮影するものとする。最も絞り込んだ絞り値は、標準的なレンズでは例えば F 2 2程度である。一方、補正対象画像の絞り値は、基準画像と同じか、それより開放側であるものとする。

一様面撮影は、ゴミの付着状態が変化しないかぎり省くことができる。一様面撮影の挿入回数が多いに越したことはないが、通常は一日一回程度のデ一夕でもあれば、有効なゴミデータになりうる。一様面撮影を行うか否かの判断は、撮影者に委ねられる。しかし、先に行った一様面撮影があまりにも時間的に離れている場合は、その一様面撮影による基準データは信頼性に欠ける場合も生じる。従つて、通常撮影から所定時間内の一様面撮影の基準画像データのみを使用するようにしてもよい。また、必ずしも一様面撮影を先に行う必要はない。後に行った一様面撮影の基準画像データを使用してもよい。一様面撮影が、通常撮影の前後に複数ある場合は、時間的に最も近い一様面撮影の基準画像データを使用するようにしてもよい。あるいは、新規付着ゴミの可能性を気にするのであれば、撮影前後の 2番目に近いものまでの中からどちらかを選択するようにしてもよい。 (画像処理装置側動作）

第 2の実施の形態において、画像処理装置である P C 3 1に入力される基準画像データと補正対象画像データには、瞳位置と絞り値が識別できるデータが埋め込まれているものとする。瞳位置データは、撮影デ一夕に埋め込まれたレンズの種類、ズーム位置、焦点位置の記録データから換算テーブルを使って算出してもよい。図 1 2は、 P C 3 1で行う処理の流れを示すフローチャートである。 <基準画像に対する処理 >

1 ) 輝度面生成、透過率マップの生成

ステップ S 2 1の輝度面生成、ステップ S 2 2の透過率マップの生成は、第 1 の実施の形態と同様に行う。

2 ) 透過率マップの瞳位置変換

ステップ S 2 3では、透過率マップの瞳位置変換を行う。基準画像と補正対処画像の瞳位置が相互に異なっているとき、基準画像のゴミ位置を、補正対象画像の瞳位置から見たときに出現すると予測されるゴミ位置に瞳位置変換する。図 8 は、瞳位置が変化するとゴミ影の位置が変化する様子を示す図である。図 8

( a ) は、瞳位置とゴミと撮像素子 8の撮像面との関係を示す図である。図 8

( b ) は、瞳位置の変化に伴い撮像面上でゴミ影が移動している様子を示す図である。

図 8から明らかなように、瞳位置が異なると画像内に写り込むゴミの位置は、光軸 5 1すなわち画像の中心から動径方向にずれる。ここで、画像内の光軸 5 1 から距離 rの位置にあるゴミが、動径方向にずれる量 Δ Γを見積もる。基準画像の瞳位置を Ρ 0、補正対象画像の瞳位置を P 0 '、撮像面から距離 1の位置にゴミが付着しているとすると、 Δ Γは、次式（ 1 4 ) により計算することができる。 ρ -ρ'

Δτ = (14)

ただし、距離 1は光学部品の厚みを空気中の光路長に換算した値である。

基準画像の透過率マップ T[i, j]を、極座標 [r, Θ]上で次式（ 1 5) により [Γ', S]に変位させ、座標 [i, j]上の透過率マップ T' [i, j]に変換する。

ずれ量 ΔΓは、光軸 5 1から距離が遠くになるに従い大きくなる。実際の画像の周辺部では、瞳位置の値によっては数十画素に及ぶこともある。

3 ) 透過率マップの F値変換

ステップ S 24では、透過率マップの F値変換を行う。基準画像と補正対処画像の絞り値が相互に異なっているとき、基準画像のゴミ径と透過率を、補正対象画像のより開放側絞り値でのゴミ径と透過率に F値変換する。図 9は、絞り値である F値が変化するとゴミ影の大きさが変化する様子を示す図である。図 9 (a) は、 F値が大きい場合、図 9 (b) は、 F値が小さい場合を示す。図 9から明らかなように、 F値の定義式（F=焦点距離 Zレンズの有効口径）を、相似関係にある撮像面からゴミ付着位置までの距離 1とゴミ広がり Γに当てはめると次式（ 1 6) が成立する。 Γ = (16)

F

1を撮像素子の画素ピッチ a [mmZp i X e 1 ] で割り算すると、ゴミ径は画素数で表記できる。このようにして、絞りが F値のとき、点像のゴミは幅 Γの大きさに広がることが予測できる。

—方、その点像の分布関数は、絞り値内で開口したレンズの各入射角度から均等に点像ゴミに光を当ててゴミ影を広げていると考えられるので、完全に一様な広がりを持つ関数と想定してよい。したがって、 F値変換には、フィルタ幅 Γ画素で表される一様なローパスフィルタ処理を掛けることによって、ゴミ径と透過率を正確に予測する F値変換が可能となる。ローパスフィルタは直径が Γの円形状の非分離型フィルタが普通と考えられるが、処理の高速化を念頭に、縦 Γ、横 Γの正方状の分離型フィルタでも問題ない。

例えば、 1 = 0. 5 mm, a = 5 m/ p i x e 1の場合に F 22の透過率マップを、 F 1 6、 F l l、 F 8、 F 5. 6、 F 4に変換する場合に当てはめると、正方状の分離型フィルタの一次元フィル夕係数は図 1 0ような形式に表される。図 1 0の一次元フィルタ係数を使用して、縦横それぞれフィルタリングをする。なお、絞り値 F 1 6の一次元フィルタ係数は、両端に 0. 5の係数を持ち、 7つの係数を有する。これは、偶数幅の広がりを着目画素を中心に左右上下に均等に広がる奇数幅の範囲でフィルタリングをするためである。図 1 1は、絞り値 F 1 6フィルタを 2次元フィル夕で表した図である。

上記の変換処理を行うことにより、基準画像の透過率マップは、補正対象画像の瞳位置、 F値の状態の透過率マップに変換される。すなわち、基準画像の透過率マツプは、補正対象画像が撮影される光学的条件下で生成される透過率マツプと等価な透過率マップが生成される。

<補正対象画像に対する処理 > 3) ゲイン補正

ステップ S 2 5では、上記変換処理した透過率マップを使用してゲイン補正を行う。第 1の実施の形態と同様に、補正対象画像データの R， G, B値各々に対して、式（ 1 7) (1 8) (1 9) で示すように、瞳位置、 F値変換後の透過率信号の逆数を掛け算して、ゲイン補正を行う。

R[i, j]=R[i. j]/T' [i, j] ... (17)

G[i, j]=G[i. j]/T' [i, j] ... (18)

B[i, j]=B[i. j]/T' [i, j] ... (19)

図 1 3は、中くらい程度のゴミについて、 F値変換により透過率が変換される様子を示す図である。横軸は画素位置を示し、縦軸は透過率を示す。

このようにして、可変な光学系において、最小絞り値で基準画像を一枚撮影するだけで、他の光学的条件における基準画像の撮影を不要とすることができる。すなわち、 1枚の基準画像と相互にゴミデータを変換することにより、有効な補正を達成することができる。したが.つて、電子カメラのユーザーの負担は大幅に低減される。また、第 1の実施の形態と同様に、一様画像撮影の厳密性は要求せずに、極めて高感度なゴミ検出性能も維持することが可能である。

一第 3の実施の形態一

第 3の実施の形態では、一様面の基準画像が全くない状態で、補正対象画像内でゴミ検出し、除去する方法を示す。基本的原理は、補正対象画像中の平坦部 (画像が部分的に一様な領域）を見つければ、第 1の実施の基準画像に対して行つていたゴミの透過率マップ生成処理（ゲインマップ抽出）が、そのまま同じように適用できる。電子カメラ 1および画像処理装置としての P C 3 1の構成は、第 1の実施の形態と同様であるので、その説明を省略する。

(電子カメラ側の動作）

図 14は、第 3の実施の形態における、電子カメラ 1側の撮影手順について説明する図である。 1) 瞳位置 P l、絞り値 A 1で通常撮影 30 1を行い、補正対象画像データ 1を出力する。 2) 瞳位置 P 2、絞り値 A 2で通常撮影 30 2を行レ補正対象画像データ 2を出力する。 3) 瞳位置 P 3、絞り値 A 3で通常撮影 30 3を行い、補正対象画像データ 3を出力する。 4) 瞳位置 P 4、絞り値 A4 で通常撮影 3 0 4を行い、補正対象画像データ 3を出力する。すなわち、第 3の実施の形態では、第 1の実施の形態や第 2の実施の形態で行っていた、一様面撮影を行わない。

(画像処理装置側動作）

<補正対象画像に対する処理 >

図 1 5は、画像処理装置である P C 3 1で行う処理のフローチヤ一トを示す図である。ステップ S 3 1では、輝度面の生成を行う。ステップ S 3 2では、輝度面のガンマ補正、エッジ抽出フィルタ処理、閾値判定により、エッジマップの生成を行う。ステップ S 3 3では、エッジマップに暗黒部を追加処理をする。ステップ S 3 4では、エッジマップの拡大処理をする。ステップ S 3 5では、平坦マップへの変換を行う。ステップ S 3 6では、自己ゲイン抽出処理を行う。ステツプ S 3 7では、自己ゲイン補正処理を行う。以下、各ステップの詳細について説明する。

1 ) 輝度面の生成（ステップ S 3 1 )

補正対象画像デ一夕の各画素 [i， j ]について、 R G B信号を輝度信号 Yへの変換を行う。変換方法は、第 1の実施の形態の基準画像に対して行った方法と同様である。

2 ) エツジマツプの生成 (ステップ S 3 2 )

エツジ抽出フィル夕を輝度面に掛けて、補正対象画像内の平坦部とエツジ部の分離を行う。光路途中に含まれるゴミの画像内への写り込みは非常にコントラストの低いゴミ影となって現れるため、従来技術のようなエツジ抽出フィルタで検出されない場合が多い。この事実を逆に利用すると、エッジ抽出フィルタで抽出されるエッジ部は、ゴミではなく基本的に画像内のエッジであると多くの箇所で仮定できる。この画像内のエツジとゴミとの区別を更によくするために初めに輝度面に対する階調補正処理を行う。

2— 1 ) 輝度面のガンマ補正

補正対象画像が線形階調のまま入力されて、上述の輝度面が生成されているものとする。このとき、入力信号を Y (0≤Y≤Ymax)、出力信号を Υ' (0≤Υ'≤Y' max)とし、例えば次式（ 2 0 ) のような階調変換を施す。なお、ァ =0. 4, 0. 5, 0. 6等である。

この変換は、低輝度側の中間調のコントラストを上げ、高輝度側のコントラス卜を下げる処理である。すなわち、ゴミ影は喑いところでは目立ちにくく明るいところで目立っため、ゴミ影のコントラストはこの変換によって下がり、一方の通常の画像エッジは主に中間調に分布するため相対的にコントラストを上げている。したがって、ゴミ影と通常エッジのコントラストの分離度が良くなる。さらに Y'の量子ゆらぎに起因するショットノイズを全階調にわたって均一に极ぇるように変換するには、誤差伝播則から考えてァ =0.5にとるのが最もよい。なお、上記式（2 0 ) はべき乗関数になっている。また、 r=0.5は、べき乗関数が平方根関数となっている。

入力画像に最終出力用のガンマ補正処理が掛かっているとき、上記変換に近いガンマ補正処理がなされている場合はこの処理を飛ばしてもよい。また、逆ガンマ補正を行って線形階調に戻してから、上記処理を行えば、より分離機能が得られる。

2— 2) エッジ抽出フィルタ処理

次に、ガンマ補正のなされた輝度面に対して、図 1 6および次式（2 1) によるエッジ抽出フィルタを掛ける。各画素のエッジ抽出成分を YH[i, j]とする。

YH[i, j] = l|Y' [i- 1, j]-Y' [i, j] I + IY' [i+1,〗]— Y' [i, j] I

+ ir [i, j-i]-r [i, j] I + IY' u, j+i]- r [i, j] I

+ ir [i-i, j-i]-r [i, j] I + IY' [i+i， j+i]-r [ , j]

+ |Y' [i— 1, j + 1]- Y' [i, j] I + IY' [i + 1, j- 1]- Y' [ , j]

+ |Y' [i-2, j - 1] - Y' [i, j] I + IY' [i + 2, j + l]-Y' [ , j]

+ |Y' [i-2, j + 1] - Y' [i, j] I + IY' [i + 2, j - 1] - Y' [ , j] + IY' [i-1, j-2]-Y' [i, j] I + IY' [i + l, j+2]-Y' [i, j] I

+ ir [i-i, j+2]-r [i， j] l + lr [i+i, j-2]-r [i, j] I

+ |r [i-3, j]-y [i, j] | + ir [i+3, j] - r [i， j] I

+ ir [i, j-3]-r [i, j] i+ir [i,〗+3] - Y' [i, j] ι

+ |Y' [i-3, j-3]-Y' [i, j] | + |Y' [i+3, j+3]-Y' [i, j] |

+ |Y' [i-3, j + 3]-Y' [i, j] I + IY' [i+3, j-3]-Y' [i, j] ||/24 ... (21) ここで、上記フィルタは、画像本来のエッジ部ができるだけ全て抽出されるように、複数の相関距離をもつ絶対値差分をあらゆる方向から漏れなく集めるように設計されている。

2— 3 ) 閾値判定

次式（ 2 2 ) ( 2 3 ) により、エッジ抽出成分 YHを閾値判定して、エッジ部か平坦部かの分類を行い、結果をエッジマップ EDGE[i， j]に出力する。閾値 Thlは 25 5階調に対して 1〜5程度の値をとる。エッジ部の上に存在するゴミ影は、基本的にゴミ影がエッジ部の振動する信号に埋もれてしまって目立たないためゴミ除去の不要な領域である。

if YH[i, j] >T l EDGE[i, j]=l (エッジ部） ... （22)

else EDGEti, j]=0 (平坦部） ... (23)

上記のように、 2— 1 ) で階調変換を行って階調間の重み付けを変え、 2— 3) で全階調にわたって一定の閾値 Thlで閾値判定を行っている。しかし、ほぼ同等な効果は、線形階調のままでエッジ抽出を行い、輝度レベルに応じた閾値を設定して、閾値判定を行うようにしても可能である。

3) エッジマップに喑黒部を追加（ステップ S 3 3)

エッジマップは、ゲインマップ抽出してはいけない領域を表す。エッジ領域の他に、ゲインマップ抽出するのが危険な領域が暗い領域（喑黑部）である。暗黒部は、 S/Nが悪いため相対ゲインを抽出しても信頼性が低い。更に暗黒部上に存在するゴミ影はほとんど目立たないのでゴミ除去する必要性がない。したがって、暗い領域も、次式（24) によりエッジマップに追加する。閾値 Th2は、 255線形階調に対しておよそ 20以下の値に設定するものとする。模式的にこの操作を「EDGE '=EDGE+DARK」と記述すると分かりやすい。 if Y[i, j]≤Th2 EDGE[i, j]=l ... (24)

4) エッジマップの拡大処理（ステップ S 34)

第 1の実施の形態と同様に、平坦部内で（2a+l)x(2b+l)画素の中心値と平均値の相対比を比較して透過率マップを生成する。従って、事前にエッジ部がこのカーネル内に入らないように、次式（2 5) により、エッジ部の（2a+l)x(2b+l)画素拡大処理を行う。 m=l, 2 a、 n=l, 2, .. · , bである。

if EDGE[i, j]=l EDGE [i ±m, j ±n] =1 ... (25)

5) 平坦マップへの変換（ステップ S 3 5)

次式（ 2 6 ) ( 27 ) により、エッジマップ EDGE [i, j]を平坦マップ FLAT [i, j] に変換する。ビット反転によって達成される。平坦マップが示す平坦領域は、（2 a+l)x (2b+l)画素で構成されるゲインマツプ抽出カーネルが捕正対象画像内で自己抽出してよい領域を表す。

if EDGEti, j]=0 FLAT [i, j] =1 (平坦部） ... （26)

else FLAT[i, j]=0 (エッジ部） ... (27)

6) 自己ゲイン抽出（ステップ S 36)

第 1の実施の形態において基準画像データから透過率マップを生成した処理手順を、 FLAT[i, j]=lの領域に対してのみ行う。

6 - 1 ) 局所的規格化処理（ゲイン抽出処理）

FLAT [i, j]=lの領域の T[i, j]を (2a+l) x (2b+l)画素内の相対比から生成する。 FL AT[i, j]=0の領域は全て T[i, j]=lに設定する。

6— 2) 透過率マップの統計解析

FLAT[i, j]=lの領域内の T[i, j]を、第 1の実施の形態と同様に統計解析して、平均値 mと標準偏差 σを算出する。

6— 3 ) 閾値判定

FLAT[i, j]=lの領域内の T[i, j]を、第 1の実施の形態と同様に閾値判定して、 m ±3σの値をとるものは T[i, j]=lに設定する。

7 ) 自己ゲイン補正（ステップ S 3 7 )

第 1の実施の形態と同様に、補正対象画像の R, G, B値各々に対して自己抽出した透過率信号 T[i, j]の逆数を掛け算して、自'己ゲイン補正を行う。このようにして、一様面の基準画像データがなくても、補正対象画像自身のゴミを自己抽出して補正することができる。すなわち、 1つの撮影画像内で上記したように平坦性が保証できる所定の条件を満たす領域を抽出する。抽出した同一の領域を基準画像としかつ補正対象画像とする。また、第 3の実施の形態では、可変光学系の影響を全く加味する必要性がない。特に、膨大な数を占める小さなゴミ影の除去に威力を発揮する。

一第 4の実施の形態一

第 4の実施の形態では、第 2の実施の形態と同様に一枚だけ基準画像を撮影し、ゴミ位置に関する情報を利用しながらも、透過率マツプは基準画像からではなく、第 3の実施の形態のように補正対象画像自身から自己抽出する方式を採用したものである。第 2の実施の形態では、透過率マップの瞳位置変換を行っているが、瞳位置の値が近似値で正確でない場合に、瞳位置変換に誤差が生じる場合が生じる。一方、第 3の実施の形態では、エッジマップ抽出において大きなゴミはエツジとして抽出されてしまい、補正がなされない場合が生じる。第 4の実施の形態は、このような第 2の実施の形態と第 3の実施の形態の不具合にも対処するものである。すなわち、第 3の実施の形態による信頼性の高い透過率マップの生成方法を利用しながら、第 2の実施の形態と同様な方法で取得する信頼性の高いゴミの位置情報で補うものである。なお、電子カメラ 1および画像処理装置としての P C 3 1の構成は、第 1の実施の形態と同様であるので、その説明を省略する。 (電子カメラ側動作）

撮影手順は、第 2の実施の形態と同様である。

(画像処理装置側動作）

図 1 7は、画像処理装置である P C 3 1で行う処理のフローチヤ一トを示す図である。

<基準画像に対する処理 >

1 ) ステップ S 4 1の輝度面の生成は、第 1の実施の形態および第 2の実施の形態と同様である。 2 ) ステップ S 4 2の透過率マップの生成（ゲインマップ抽出）は、第 1の実施の形態および第 2の実施の形態と同様である。 3 ) ステップ S 4 3の透過率マップの瞳位置変換は、第 2の実施の形態と同様である。 4 ) ステツプ S 44の透過率マップの F値変換は、第 2の実施の形態と同様である。

5) 透過率マップの閾値判定

ステップ S 45では、透過率マップの閾値判定を行う。透過率マップの F値変換が行われた場合は、口一パスフィルタ処理によりほとんどゴミ影が消滅しかかつている透過率 1に近い画素が多数発生する。これらを鮮明なゴミ影と区別するため、次式（ 28 ) ( 29 ) により再度閾値判定を行う。ここで、 2) の「透過率マツプの生成」過程で算出した標準偏差値 σを再度利用する。瞳位置、 F値変換された透過率マップを T' [i, j]で表す。

if IT' [i， j]-l|≤3a then T' [i, j]=l ... (28)

else T' [i, j]=T' [i, j] ... (29)

6) ゴミマップへの変換

ステップ S 46では、次式（30) ( 3 1 ) により透過率マツプを 2値化してゴミマツプ dmap [i, j]に変換する。

if T' [i, j] <1 dmap[i, j]=l ... (30)

else dmap [i, j]=0 ... (31)

ここで式（30) の判定は、もう少し余裕をもたせて T' [i, j]<0.95のように判定してもよい。

7) ゴミマップの拡大処理

ステップ S 47では、次式（32) により瞳位置変換で想定される誤差分だけゴミマップを拡大しておくことにより、許容誤差内の領域にはゴミが含まれるようなゴミマップにする。ここでは、例えば ± 3画素の誤差を見込む。 m=l, 2, 3、 n =1, , 3である。

if dmap [i, j] =1 dmap [i ±m, j ±n] =1 ... (32)

<補正対象画像に対する処理 >

1) ステップ S 5 1の輝度面の生成は、第 3の実施の形態と同様である。 2) ステツプ S 52のエッジマップの生成は、第 3の実施の形態と同様である。 3) ステツプ S 53のエッジマップに暗黒部を追加する処理は、第 3の実施の形態と同様である。模式的にこの操作を「EDGE' =EDGE+DARK」と記述すると分かりやすい。 4) エッジマップからゴミ領域を除外ステップ S 5 4では、エッジマップからゴミ領域を除外する。ゴミ影の多くはコントラストが低いためエッジ抽出されないが、中には大きなゴミでコントラス卜の高いものがあり、エッジ抽出されてしまうことがある。特に絞り込んで撮影された補正対象画像内で幾つかのゴミ影に発生する。これらのゴミ影がェッジ領域としてゲイン抽出領域の指定から外れることを防ぐため、ステップ S 4 6で求めたゴミマップ情報を利用して、次式（ 3 3 ) によりゴミ位置を強制的にエッジ部から除外する処理を行う。ここで、あまり大きくエッジ領域を削ることを防ぐため、ステップ S 4 7のゴミマップの拡大処理を行う前のゴミマップを利用することにする。模式的にこの操作を「EDGE' ' =EDGE+DARK-DUST」と記述すると分かりやすい。

i f dmap [ i , j ] = l EDGE [ i, j ] =0 . . . (33)

4 ' ) エッジマップの周辺同化処理（ゴミくりぬき部の補正）（S 6 0 )

エッジマップがいびつにゴミ部のみくりぬかれた（除外された）状態は不自然なので、エッジマップ内での周辺同化処理を行う。例えば、背景が青空のような一様な画像であれば、ステップ S 4 6のゴミマップ情報を使用して、エッジマツプから大きなゴミによるエッジ部をくりぬいてもなんら問題が生じない。むしろ、くりぬく必要がある。しかし、背景が模様や構造のある画像である塲合に、ステップ S 4 6のゴミマップ情報によりゴミがあるとしてその部分をエッジマップからくりぬくと、周辺の実際の模様や構造との関係から不自然な補正処理を行うことになる。従って、エッジ部でないと判断された画素が、その周辺の画素にエツジ画素が多数あると判断される場合は、その画素を再度エッジ部とするようにする。

エッジマップの周辺同化処理は、次に示す処理により行う。具体的には、例えば図 1 9に示すような着目画素に対する周辺 8画素（図 1 9の黒丸の画素、図 1 9は着目画素 [ i , j ] = [0, 0]に対して第 4象限のみを示す）のうち 4個を超える画素がエッジの場合、着目画素もエッジとする。 4個を超えるとは周辺 8画素のうちエッジである画素が過半数あることを意味する。すなわち、周辺画素にエッジの画素が過半数存在する場合は、着目画素もエッジとする。なお、以下の処理の例では、水平方向垂直方向の 8画素目の画素を見ているが、必ずしも 8画素目に限定する必要はない。数画素から十数画素先の画素を見ればよい。また、以下の処理は全画素について行ってもよいし、 dmap=lでエッジくり抜きした画素のみに限定してもよい。

データコピー

tmp[i, j]=EDGE[i, j] すべての画素 [i, j]に対して

周辺同化処理

if tmp [i, j] =0 I

sum = tmp [i-8, j] +tmp [i+8, j]+tip [i, j-8] +t即 [i， j+8]

+ tmp [i-8, j-8] +tmp [i + 8, j + 8] +tmp [i-8, j+8] +tip [i + 8, j-8] if sum>4 EDGE[i, j]=l

5) ステップ S 5 5のエッジマップの拡大処理は、第 3の実施の形態と同様である。 6) ステップ S 5 6の平坦マップへの変換は、第 3の実施の形態と同様である。

7) 自己ゲイン抽出領域の特定

ステップ S 57では、自己ゲイン抽出領域の特定をする。平坦部でかつゴミ領域と特定されている領域に限定して、ゴミ除去を行うのが補正対象画像の誤った補正を防ぐ観点から最も合理的である。したがって、この両条件を満たす領域情報を次式（34) により求め平坦マップに代入する。すなわち、 FLATと dmapに両方に 1のフラグが立っている場合のみ FLAT=1となり、それ以外は FLAT= 0となる。

FLAT[i, j]=FLAT[i, j] *diap [i, j] ... (34)

8) 自己ゲイン抽出

ステップ S 58の自己ゲイン抽出は、第 3の実施の形態とは異なり、局所的規格化処理（ゲイン抽出処理）のみ行う。それ以降の透過率マップの統計解析と閾値処理によるゴミ領域限定処理は、 7) の処理により既にゴミ近傍に限定されているので不要である。局所的規格化処理（ゲイン抽出処理）は、第 3の実施の形態と同様である。このように、ステップ S 47の処理によって瞳位置変換精度の誤差分だけゴミ周辺にゲイン抽出領域を広げてゴミ探索することにより、漏れなくゴミ抽出することが可能となる。ここで自己抽出した透過率マップに対して口一パス処理を行う。 T [i, j ]の自己抽出した全領域に、第 1の実施の形態と同様なローパス処理をして、 T [i, j ]に含まれる画素 [i, j ]のゆらぎ成分を除去する。本実施の形態では、ゴミ位置の局所領域のみに限定して、統計解析による閾値処理を介さないで、自己ゲイン抽出による自己ゲイン補正を行うので、このローパス処理は重要な処理となる。すなわち、ローパス処理前は画素値と透過率値 T [i, j ]が同じ方向にゆらいでいるため、ローパス処理をしないで後述の自己ゲイン補正すると、画像はその局所領域のみ全体的にのつぺりとなりやすい。そこで、 T [i, j ]のゆらぎ成分を取り除いてやれば、画素値が持つゆらぎ成分を失わずに済み、周辺部との粒状性の連続性が保てるようになる。これは、特に高感度画像のような乱雑性が多い場合に威力を発揮する。ここで、口一パスフィルタは、第 1の実施の形態よりももう少し強めに設計してもかまわないし、ローパスフィルタの影響を受けやすい大きなゴミ部分（T [i, j ] の値が 1に比べかなり小さい所）だけはローパスフィルタ処理を外すようにしても構わない。

9 ) 自己ゲイン補正

ステップ S 5 9の自己ゲイン補正は、第 3の実施の形態と同様である。基準画像の透過率マップの瞳位置変換精度が悪くても、補正対象画像自身からゴミの透過率情報を抽出するので、全くずれのないきれいな補正が可能となる。なお、自己ゲインの抽出は、ステップ S 5 7で特定された自己ゲイン抽出領域に限って行われる。従って、補正処理もこの範囲に限ってのみ行われ、処理の負荷が軽減される。

以上のように、第 4の実施の形態では、基準画像のゴミマップ情報を有効に利用することによって、補正対象画像内の大きなゴミから小さなゴミまであらゆるゴミを漏れなく自己抽出することが可能となる。また、基準画像の透過率マップの瞳位置変換精度が悪い場合、第 2の実施の形態の代替手段として用いることができる。さらに、第 2の実施の形態と同様に基準画像撮影の撮影者の負荷は非常に小さくて済む。

上記説明した第 1の実施の形態〜第 4の実施の形態の画像処理装置では、電子カメラで任意の使用時刻、任意の使用条件で撮影した画像おいて生じたゴミ等の影響による黒染み等の欠陥を、適切に補正し、高品質な画像を再現することがでさる。

なお、上記第 1、第 2、第 4の実施の形態では、透過率マップを作成するのに、撮影者が一様に近いと考える基準画像を撮影して、その撮影した基準画像に局所的規格処理等を施して透過率マップを作成していた。しかし、撮影者が一様に近いと考える基準画像に小さな模様等がある場合もある。これは、基本的に被写体をボカして撮影することで対処できる。例えば、紙をレンズの最短撮影距離よりも至近位置において撮影したりすればよい。たとえ、小さな模様があっても（2a+ l) x (2b+ l)サイズのゲイン抽出カーネルより広い範囲でゆるやかに変化する像にポケれば十分に目的を達成することのできる一様に近い基準画像になり得る。

また、上記第 4の実施の形態では、ステップ S 5 7で自己ゲイン抽出領域の特定をし、ステップ S 5 8では限定された範囲で補正を行うようにした。このように補正範囲をゴミ領域を含む周辺範囲（近傍領域）に限定する手法は、上記第 1 〜第 3の実施の形態において適用することも可能である。第 1〜第 3の実施の形態では、求められた透過率マップからゴミを特定し、その周辺領域を求めればよい。

また、上記第 3の実施の形態では、 1枚の撮影画像を取得し、 1枚の撮影画像の中で平坦部を抽出してゴミマップを生成する処理について説明した。しかし、平坦部に大きなゴミがある場合には、その部分が平坦部として抽出されないことがある。第 4の実施の形態では基準画像を取得することによりこれに対処する例を示したが、基準画像を取得しなくても複数の画像の相関を利用することによりそのような大きなゴミの部分も欠陥情報作成対象の平坦部として認識することが可能である。例えば、異なる被写体の複数の撮影画像において、常に同じ位置にエッジ抽出で検出される像があった場合、それはゴミによる像である可能性がある。従って、第 3の実施の形態で処理されるエッジマップについて複数の撮影画像で A N Dを取ったとき、 A N Dが取れた部分をエッジマップから除外する。このようにすることにより、 A N Dが取れた部分を平坦部に追加することができ、大きなゴミについても透過率マップを作成することができる。なお、 A N Dを取るのはエッジマップに限定しなくてもよい。撮影画像から生成されるデータであつて、複数の撮影画像間で A N Dを取って撮影光路上のゴミが認識できるデータであればどのようなデータでもよい。例えば、ゲイン抽出力一ネルによる透過率マップを平坦部か否かにかかわらず、強制的に画像全面について算出し、複数の画像間で同じ位置に同じような透過率で抽出される像があった場合、欠陥情報の透過率マツプとして残し、他は欠陥情報から除外するような A N Dの取り方も考えられる。

また、第 3の実施の形態で得られた平坦部における透過率マップについて、複数の撮影画像の〇 Rを取れば、撮影画面全体の透過率マツプを得ることができる。第 3の実施の形態で得られる平坦部は、被写体が異なるごとに撮影画面における平坦部の位置も異なる。これらの平坦部の O Rを取れば、撮影画面全体になることもある。従って、ゴミ情報を得るための基準画像を撮影しなくても、複数の撮影画像すなわち複数の補正対象画像から撮影画面全体の透過率マツプを得ることができる。この撮影画面全体の透過率マップは、複数の補正対象画像に共通に使用することができる。

なお、上述したように複数の撮影画像についてエツジマップの A N Dを取ったり透過率マップの O Rを取ったりする場合、撮影画像ごとに瞳位置や F値（絞り値）が異なることもある。この場合は、第 2の実施の形態で説明したのと同様に、瞳位置変換や F値変換を画像信号のままの状態や透過率マップの状態で施すなどして活用すればよい。

また、上記実施の形態では、べィァ配列の R G B表色系の例を説明したが、最終的に補間処理がなされるものであれば、カラーフィルタの配置方法には全く依存しないことは言うまでもない。また、他の表色系（例えば補色表色系）であつても同様である。

また、上記実施の形態では、交換レンズ方式の一眼レフ電子スチルカメラの例を説明したが、必ずしもこの内容に限定する必要はない。非交換レンズ方式の力メラにも本発明は適用できる。瞳位置や絞り値は、適宜公知な手法で取得すればよい。

また、上記実施の形態では、電子スチルカメラ 1で撮影した画像データを処理する例を説明したが、必ずしもこの内容に限定する必要はない。本発明は、動画を扱うビデオカメラで撮影した画像データにも適用できる。また、カメラつき携帯電話などで撮影した画像データにも適用できる。さらに、コピ一機やスキャナ —等にも適用できる。すなわち、撮像素子を使用して撮像したあらゆる画像デー夕に対して、本発明を適用することができる。

また、上記実施の形態では、電子カメラ 1で撮影した画像データを P C (パソコン） 3 1で処理してゴミの影響を除去する例を説明したが、必ずしもこの内容に限定する必要はない。電子カメラ 1上で、そのようなプログラムを備えてもよい。また、プリンタ一や投影装置などにそのようなプログラムを備えてもよい。すなわち、画像データを扱うあらゆる装置に、本発明は適用することができる。

P C 3 1で実行するプログラムは、 C D— R O Mなどの記録媒体ゃィンターネットなどのデータ信号を通じて提供することができる。図 1 8はその様子を示す図である。 P C 3 1は、 C D— R O M 3 4を介してプログラムの提供を受ける。また、 P C 3 1は通信回線 4 0 1 との接続機能を有する。コンピュータ 4 0 2は上記プログラムを提供するサーバ一コンピュータであり、ハードディスク 4 0 3 などの記録媒体にプログラムを格納する。通信回線 4 0 1は、インターネット、パソコン通信などの通信回線、あるいは専用通信回線などである。コンピュータ 4 0 2はハ一ドディスク 4 0 3を使用してプログラムを読み出し、通信回線 4 0 1を介してプログラムを P C 3 1に送信する。すなわち、プログラムをデータ信号として搬送波にのせて、通信回線 4 0 1を介して送信する。このように、プログラムは、記録媒体や搬送波などの種々の形態のコンピュータ読み込み可能なコンピュー夕プログラム製品として供給できる。

上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。

Claims

請求の範囲

1 . 画像処理装置であって、

撮像素子により撮影された画像を取得する画像取得部と、

前記取得した画像内において、着目画素の値と該着目画素を含む所定範囲内の複数の画素の値の平均値とに基づいて、前記画像内の欠陥情報を作成する欠陥情報作成部とを備える。

2 . 請求項 1に記載の画像処理装置において、

前記欠陥情報作成部は、前記着目画素の値と該着目画素を含む所定範囲内の複数の画素の値の平均値との相対比を算出する相対比算出部を備え、前記算出した相対比に基づいて、前記欠陥情報を作成する。

3 . 請求項 1から 2のいずれかに記載の画像処理装置において、

前記欠陥情報作成部は、前記画像内で所定の条件を満たす領域に対して欠陥情報を作成する。

4 . 請求項 1から 3のいずれかに記載の画像処理装置において、

前記欠陥情報に基づいて、前記画像内の欠陥を補正する補正部とを更に有する _c

5 . 請求項 2に記載の画像処理装置において、

前記欠陥情報に基づいて、前記画像内の欠陥を補正する補正部を更に有し、前記補正部は、前記相対比の逆数値を、対応する画素の値に掛け算して補正する。

6 . 請求項 1に記載の画像処理装置において、

前記画像取得部は、前記撮像素子により撮影された複数の画像を取得し、前記欠陥情報作成部は、前記取得した複数の画像を使用して、前記複数の画像のいずれかの画像内の欠陥情報を作成する。

7 . 請求項 1に記載の画像処理装置において、

前記画像取得部は、前記撮像素子により撮影された複数の画像を取得し、前記欠陥情報作成部は、前記取得した複数の画像を使用して、前記複数の画像の画像全体に対応する欠陥情報を作成する。

8 . 画像処理装置であって、

光学系を通して撮影された基準画像を取得する画像取得部と、

前記取得した基準画像内において、着目画素の値と該着目画素を含む所定範囲内の複数の画素の値の平均値とに基づいて、前記基準画像内の欠陥情報を作成する欠陥情報作成部とを備える。

9 . 請求項 8に記載の画像処理装置において、

1 0 . 請求項 8から 9のいずれかに記載の画像処理装置において、

前記画像取得部は、前記光学系を通して撮影された補正対象画像を取得し、前記基準画像内の欠陥情報に基づいて、前記補正対象画像内の欠陥を補正する補正部を更に有する。

1 1 . 請求項 1 0に記載の画像処理装置において、

前記補正部は、前記基準画像と前記補正対象画像とが、絞り値および瞳位置が実質的に同じ光学的条件の光学系を通して撮影されている場合、前記生成された欠陥情報をそのまま使用して、前記補正対象画像を構成する画素の値を補正する _£

1 2 . 請求項 1 0に記載の画像処理装置において、

前記光学系の光学的条件である絞り値および瞳位置の少なくとも 1つに応じて、前記欠陥情報を変換する欠陥情報変換部をさらに備え、

前記補正部は、前記基準画像と前記補正対象画像とが、絞り値および瞳位置の少なくとも 1つが異なる光学的条件の光学系を通して撮影されている場合、前記変換された欠陥情報を使用して、前記補正対象画像を構成する画素の値を補正する。

1 3 . 請求項 9に記載の画像処理装置において、

前記基準画像の相対比の逆数値を、前記補正対象画像の対応する画素の値に掛け算して補正する補正部をさらに有する。

1 4 . 請求項 2、 9のいずれかに記載の画像処理装置において、

前記相対比算出部は、前記算出した相対比が 1を挟んだ所定範囲に含まれるとき、前記算出した相対比を 1に設定する。

1 5 . 請求項 1 4に記載の画像処理装置において、

前記相対比算出部は、前記算出した相対比を 1に設定する前記所定範囲を、前記算出した相対比の標準偏差値と関連づける。

1 6 . 請求項 1、 8のいずれかに記載の画像処理装置において、

前記着目画素を含む所定範囲は、前記画像あるいは前記基準画像内で生じる欠陥領域よりも広い範囲である。

1 7 . 請求項 1 0に記載の画像処理装置において、

前記画像取得部は、前記補正対象画像の撮影前後の所定時間内に撮影された基準画像を取得する。

1 8 . 請求項 1 7に記載の画像処理装置において、

前記画像取得部は、前記補正対象画像の撮影時間に 2番目以内に近い時間に撮影された基準画像を取得する。

1 9 . 画像処理装置であって、

複数色に分光可能な撮像素子を使用して撮影された画像を取得する画像取得部と、

前記画像の複数色の信号から輝度信号を生成する輝度信号生成部と、

前記生成された画像の輝度信号に基づき、前記画像内の欠陥情報を作成する欠陥情報作成部とを備える。

2 0 . 請求項 1 9に記載の画像処理装置において、

前記欠陥情報を用いて、前記画像内の欠陥画素の各色成分の値を補正する補正部をさらに備える。

2 1 . 請求項 1 9に記載の画像処理装置において、

前記取得した画像内において、着目画素の前記生成した輝度信号の値と該着目画素を含む所定範囲内の複数の画素の前記生成した輝度信号の平均値に基づいて，前記画像内の欠陥情報を作成する欠陥情報作成部とを備える。

2 2 . 請求項 2 1に記載の画像処理装置において、

前記欠陥情報作成部は、着目画素の前記生成した輝度信号の値と該着目画素を含む所定範囲内の複数の画素の前記生成した輝度信号の平均値との相対比を算出する相対比算出部を備え、前記算出した相対比に基づいて、前記欠陥情報を作成する。

2 3 . 請求項 2 2に記載の画像処理装置において、

前記相対比の逆数値を、対応する画素の各色成分の値毎に掛け算して補正する補正部を更に備える。

2 4 . 請求項 1 9に記載の画像処理装置において、

前記画像取得部は、前記撮像素子により撮影された複数の画像を取得し、前記輝度信号生成部は、前記取得した複数の画像について前記輝度信号を生成し、

前記欠陥情報作成部は、前記生成された複数の画像の輝度信号を使用して、前記複数の画像のいずれかの画像内の欠陥情報を作成する。

2 5 . 請求項 1 9に記載の画像処理装置において、

前記欠陥情報作成部は、前記取得した複数の画像を使用して、前記複数の画像の画像全体に対応する欠陥情報を作成する。

2 6 . 請求項 1に記載の画像処理装置において、

前記撮像素子は、光学系を通して画像を撮影し、

前記欠陥情報は、前記画像内に生じた光路途中の欠陥の投影像の情報である。

2 7 . 請求項 2 6に記載の画像処理装置において、

前記欠陥情報作成部は、前記光路途中の欠陥の投影像の位置と強度に関する情報を同時に作成して記録する。

2 8 . 請求項 2 7に記載の画像処理装置において、

前記欠陥情報作成部は、前記着目画素ごとに前記平均値を算出する前記所定範囲を移動させ、前記光路途中の欠陥の投影像の強度に関する情報を連続的に作成する。

2 9 . 請求項 4に記載の画像処理装置において、

前記補正部は、補正対象画素位置の元の信号値を利用して補正値を求める。

3 0 . 請求項 8に記載の画像処理装置において、前記欠陥情報は、前記画像内に生じた光路途中の欠陥の投影像の情報である。

3 1 . 請求項 3 0に記載の画像処理装置において、

3 2 . 請求項 3 1に記載の画像処理装置において、

3 3 . 請求項 1 0に記載の画像処理装置において、

3 4 . 請求項 1 5に記載の画像処理装置において、

前記相対比算出部は、前記算出した相対比を 1に設定する前記所定範囲を、'プ

( 3 X標準偏差値）の範囲に設定する。

3 5 . 請求項 2 6に記載の画像処理装置において、

前記着目画素を含む所定範囲は、前記画像内に生じた光路途中の欠陥の投影像の広がりよりも広い範囲である。

3 6 . 請求項 3 0に記載の画像処理装置において、

前記着目画素を含む所定範囲は、前記基準画像内に生じた光路途中の欠陥の投影像の広がりよりも広い範囲である。

3 7 . 画像処理装置であって、

光学系を通して撮影された第 1の画像と、前記第 1の画像とは異なる光学的条件で撮影された第 2の画像を取得する画像取得部と、前記第 1の画像と前記第 2の画像を用いて、前記第 1の画像もしくは前記第 2 の画像内に含まれる欠陥情報を作成する欠陥情報作成部とを備える。

3 8 . 請求項 3 7に記載の画像処理装置において、

前記欠陥情報を用いて、前記第 1の画像もしくは前記第 2の画像内の欠陥を補正する補正部を備える。

3 9 . 請求項 3 7に記載の画像処理装置において、

前記第 1の画像と前記第 2の画像との間で、絞り値および瞳位置の少なくとも 1つの光学的条件が異なる。

4 0 . 請求項 3 7から 3 9のいずれかに記載の画像処理装置において、前記欠陥情報作成部は、前記第 1の画像と第 2の画像の光学的条件の不一致をなくすため、前記第 1の画像と第 2の画像の少なくとも一方の画像を、一定の光学的条件に合致するような変換を行う光学的条件変換部を備える。

4 1 . 請求項 4 0に記載の画像処理装置において、

前記光学的条件変換部は、前記光学的条件の絞り値が異なるとき、前記第 1の画像もしくは前記第 2の画像に基づく画素信号に対して口一パスフィルタ処理を行って、同じ絞り値のときにあると想定される欠陥の状態に変換する。

4 2 . 請求項 4 1に記載の画像処理装置において、

前記光学的条件変換部は、実質的に均等な重みづけのローパスフィルタを用いて変換する。

4 3 . 請求項 4 0に記載の画像処理装置において、

前記光学的条件変換部は、前記光学的条件の瞳位置が異なるとき、前記第 1の画像もしくは前記第 2の画像に基づく画素信号に対して前記光学系の光軸中心から動径方向にずらす変位処理を行って、同じ瞳位置のときにあると想定される欠陥の状態に変換する。

4 4 . 請求項 4 3に記載の画像処理装置において、

前記光学的条件変換部は、光軸中心から遠くになるに従い、動径方向にずらす量を増やす変位処理を行う。

4 5 . 請求項 4 3から 4 4のいずれかに記載の画像処理装置において、前記光学的条件変換部は、前記欠陥の原因となる異物が、前記光学系内の撮像面から光軸に沿って所定の距離にあると仮定して変位量を予測する演算を行い、変位処理を行う。

4 6 . 請求項 3 7に記載の画像処理装置において、

前記第 1の画像と第 2の画像のどちらか一方は補正の対象となる補正対象画像であり、他方は欠陥情報を作成するための基準画像である。

4 7 . 請求項 3 7に記載の ]1像処理装置において、

前記第 1の画像と第 2の画像は、どちらも補正の対象となる補正対象画像であり、

前記欠陥情報作成部は、前記第 1の画像と前記第 2の画像を用いて、前記第 1 の画像と前記第 2の画像に共通な欠陥情報を作成する。

4 8 . 請求項 4 7に記載の画像処理装置において、

前記欠陥情報作成部は、前記第 1の画像と第 2の画像の光学的条件の不一致をなくすため、前記第 1の画像と第 2の画像の少なくとも一方の画像を、一定の光学的条件に合致するような変換を行う光学的条件変換部を備える。

4 9 . 請求項 4 6に記載の画像処理装置において、

前記画像取得部は、前記光学系の可変な絞り値の中で、最も絞り込んだ状態の絞り値で撮影された前記基準画像を取得する。

5 0 . 請求項 3 7に記載の画像処理装置において、

前記欠陥情報作成部は、前記取得した画像内において、着目画素の値と該着目画素を含む所定範囲内の複数の画素の値の平均値に基づき、前記画像内の欠陥情報を作成する。

5 1 . 請求項 4 6、 4 9のいずれかに記載の画像処理装置において、

5 2 . 画像処理装置であって、

光学系を通して撮影された第 1の画像と、前記第 1の画像とは異なる光学的条件で撮影された第 2の画像を取得する画像取得部と、

前記第 1の画像と前記第 2の画像を用いて、前記第 1の画像もしくは前記第 2 の画像内に含まれる欠陥を補正する補正部とを備える。

5 3 . 請求項 5 2に記載の画像処理装置において、

5 4 . 画像処理装置であって、

撮像素子により撮影された撮影画像を取得する画像取得部と、

前記取得した撮影画像内で平坦部領域を抽出する平坦部抽出部と、

前記抽出した平坦部領域の欠陥情報を作成する欠陥情報作成部とを備える。

5 5 . 請求項 5 4に記載の画像処理装置において、

前記欠陥情報に基づいて、前記平坦部領域の画像を補正する補正部をさらに備える。

5 6 . 請求項 5 4〜 5 5のいずれかに記載の画像処理装置において、

前記平坦部領域の画像において、着目画素の値と該着目画素を含む所定範囲内の複数の画素の平均値とに基づいて、前記平坦部領域の欠陥情報を作成する。

5 7 . 請求項 5 6に記載の画像処理装置において、

前記欠陥情報作成部は、前記着目画素の値と該着目画素を含む所定範囲内の複数の画素の平均値との相対比を算出する相対比算出部を備え、前記算出した相対比に基づいて、前記平坦部領域の欠陥情報を作成する。

5 8 . 請求項 5 5に記載の画像処理装置において、

前記平坦部領域の画像を構成する画素において、着目画素の値と該着目画素を含む所定範囲内の複数の画素の平均値との相対比を算出する相対比算出部をさらに備え、

前記欠陥情報作成部は、前記算出した相対比に基づいて、前記平坦部領域の欠陥情報を作成し、

前記補正部は、前記平坦部領域の画像の画素に対応する前記相対比の逆数値を、前記平坦部領域の画像の対応する画素の値に掛け算して補正する。

5 9 . 請求項 5 8に記載の画像処理装置において、

前記補正部は、前記作成された欠陥情報としての相対比にローパス処理を行い，前記平坦部領域の画像の画素に対応する前記ローパス処理後の相対比の逆数値を、前記平坦部領域の画像の対応する画素の値に掛け算して補正する。

6 0 . 請求項 5 4〜 5 9のいずれかに記載の画像処理装置において、

前記平坦部抽出部は、前記撮影画像内でエッジ抽出を行い、エッジが抽出されなかった領域を平坦部領域として抽出する。

6 1 . 請求項 5 4に記載の画像処理装置において、

前記平坦部抽出部は、前記撮影画像に対し階調変換を行う階調変換部を有し、階調変換された後の前記撮影画像に対して前記平坦部領域の抽出を行う。

6 2 . 請求項 6 1に記載の画像処理装置において、

前記階調変換部は、前記撮影画像の階調が線形信号の時、非線形信号に変換する。

6 3 . 請求項 6 2に記載の画像処理装置において、

前記階調変換部は、低輝度側の階調を拡大し、高輝度側の階調を圧縮する変換を行う。

6 4 . 請求項 6 2 ~ 6 3のいずれかに記載の画像処理装置において、

前記階調変換部は、べき乗関数により変換を行う。

6 5 . 請求項 6 4に記載の画像処理装置において、

前記べき乗関数は平方根関数である。

6 6 . 請求項 6 0 - 6 5のいずれかに記載の画像処理装置において、

前記エッジ抽出は、着目画素と周辺画素との間において、複数の距離からなる差分演算を複数の方向について行うことにより抽出する。

6 7 . 請求項 5 5、 5 8、 5 9のいずれかに記載の画像処理装置において、前記撮影画像の輝度レベルが所定の明るさ以上か否かを判定する輝度レベル判定部を備え、

前記補正部は、前記輝度レベルが所定の明るさ以上でかつ前記平坦部領域の領域に対して、補正する。

6 8 . 請求項 5 4に記載の画像処理装置において、

前記撮像素子により撮影された基準画像を取得する基準画像取得部と、前記基準画像の欠陥情報を作成する基準画像欠陥情報作成部とをさらに備え、前記欠陥情報作成部は、前記基準画像の欠陥情報による領域情報と前記平坦部領域の領域情報とを合わせて用いて前記平坦部領域の欠陥情報を作成する。

6 9 . 請求項 6 8に記載の画像処理装置において、

前記平坦部抽出部は、前記平坦部領域として抽出されない領域であっても、前記基準画像の欠陥情報が示す欠陥領域である場合、該欠陥領域を前記平坦部領域として抽出する。

7 0 . 請求項 6 8 ~ 6 9のいずれかに記載の画像処理装置において、

前記欠陥情報作成部は、前記基準画像の欠陥情報が示す欠陥領域と前記平坦部領域の双方を満足する領域に対して、欠陥情報を作成する。

7 1 . 請求項 6 8に記載の画像処理装置において、

前記撮影画像と前記基準画像の撮影時の光学的条件が異なるとき、前記基準画像の欠陥情報を、前記撮影画像と同じ光学的条件において撮影された基準画像の欠陥情報と等価な欠陥情報に変換する欠陥情報変換部をさらに備え、

前記補正部は、前記変換された基準画像の欠陥情報を用いる。

7 2 . 請求項 6 9 ~ 7 0のいずれかに記載の画像処理装置において、

前記平坦部抽出部および前記補正部は、前記変換された基準画像の欠陥情報を用いる。

7 3 . 請求項 7 1〜 7 2のいずれかに記載の画像処理装置において、

前記補正部は、前記欠陥情報変換部の欠陥情報変換誤差を考慮して、前記基準画像の欠陥情報が示す欠陥領域を、少なくとも前記欠陥情報変換誤差分広くして用いる。

7 4 . 請求項 5 4に記載の画像処理装置において、

前記画像取得部は、前記撮像素子により撮影された複数の撮影画像を取得し、前記平坦部抽出部は、前記複数の撮影画像において、前記平坦部領域を抽出し、前記欠陥情報作成部は、前記抽出した複数の画像の平坦部領域の画像を使用して、前記複数の画像のいずれかの画像の平坦部領域の欠陥情報を作成する。

7 5 . 請求項 5 4に記載の画像処理装置において、

前記画像取得部は、前記撮像素子により撮影された複数の撮影画像を取得し、前記平坦部抽出部は、前記複数の撮影画像において、前記平坦部領域を抽出し、前記欠陥情報作成部は、前記抽出した複数の画像の平坦部領域の画像を使用して、前記複数の画像の画像全体に対応する欠陥情報を作成する。

7 6 . 請求項 7 4、 7 5のいずれかに記載の画像処理装置において、

7 7 . 請求項 7 6に記載の画像処理装置において、

7 8 . 請求項 6 9に記載の画像処理装置において、

前記平坦部抽出部は、前記基準画像の欠陥情報が示す欠陥領域について、前記欠陥領域の周辺に所定量以上のエッジ抽出された画素がある場合、該欠陥領域を前記平坦部領域として抽出しない。

7 9 . 請求項 7 8に記載の画像処理装置において、

前記平坦部抽出部は、前記欠陥領域の画素周辺に一定領域の画素の中でエッジ抽出された画素が過半数ある場合、該欠陥領域の画素を前記平坦部領域の画素として抽出しない。

8 0 . コンピュータ読み込み可能なコンピュータプログラム製品は、請求項 1〜 7 9のいずれかに記載の画像処理装置の機能をコンピュータに実行させるための画像処理プログラムを有する。