WO2007129446A1

WO2007129446A1 - 画像処理方法、画像処理プログラム、画像処理装置、及び撮像装置

Info

Publication number: WO2007129446A1
Application number: PCT/JP2007/000393
Authority: WO
Inventors: Akihiko Utsugi
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2006-05-01
Filing date: 2007-04-11
Publication date: 2007-11-15
Anticipated expiration: 2008-11-01
Also published as: EP2015248A1; US20090074323A1; US8155477B2; EP2015248B1; EP2015248A4; JP4811462B2; JPWO2007129446A1

Abstract

　本発明は、直線再現性と倍率歪みの抑制とを画像内でバランス良く得ることのできる画像処理方法、画像処理プログラム、画像処理装置、及び撮像装置を提供することを目的とする。そのために、本発明の画像処理方法は、被処理画像に対し所定の幾何変換処理（ｈ（θ））を施す画像処理方法において、前記所定の幾何変換処理（ｈ（θ））には、前記被処理画像の周方向倍率と径方向倍率との不一致を抑制する、倍率歪み抑制用の幾何変換処理（ｈ＝αｔａｎ（θ／２）＾（κｐ））が含まれ、前記所定の幾何変換処理（ｈ＝αｔａｎ（θ／２）＾（κｐ））の強度又は内容を規定する少なくとも１つのパラメータ（θｐ）を、前記被処理画像の構造に応じて設定することを特徴とする。

Description

明細書

画像処理方法、画像処理プログラム、画像処理装置、及び撮像装置技術分野

[0001 ] 本発明は、光学系で撮影した画像に対し幾何変換処理を施す画像処理方法

、画像処理プログラム、画像処理装置、及び撮像装置に関する。

背景技術

[0002] 一般のカメラの撮影レンズは、被写体平面を想定し、その被写体平面と相似な像を撮像面に結像するように設計されている。このため、撮影画像上の局所に存在する被写体に着目すると、径方向（光軸中心から画像周辺へ向かう方向）の倍率が、周方向（光軸中心周りの方向）の倍率よりも大きくなつている。以下、本明細書では、画像上の局所に存在する被写体の径方向倍率と周方向倍率との不一致を、「倍率歪み」と呼ぶ。

[0003] 倍率歪みは、歪曲収差とは異なり、撮影レンズが仮に無収差であったとしても発生するものであって、肉眼で観察される被写体と、撮影レンズで撮影された画像との印象の相違に相当する。例えば、比較的広い被写界を肉眼で観察するとき、正面以外に位置する被写体を観察者が注視すると、観察者の眼球の視軸は無意識に傾斜する。一方、同じ被写界を撮影レンズで撮影するときには、光軸は一定である。このため、撮影レンズで撮影された画像では、画像周辺部の被写体が径方向に太って見える。これが倍率歪みであり、広角画像の周辺部ほど顕著である。

[0004] ここで、歪曲収差の無い撮影レンズの射影方式、つまり直線再現性の良い射影方式の幾何変換特性は、像高を h、被写体角度を 0とおくと、以下の式 ( A) で与えられる。この幾何変換特性は、直線再現性が良いものの、倍率歪みを発生させる。

[0005] h ( Θ ) oc _t a η Θ … （A)

一方、魚眼レンズ等の射影方式の 1つに、倍率歪みの生じない立体射影方式がある。立体射影方式の幾何変換特性は、像高を h、被写体角度を 0とおくと、以下の式で与えられる。この幾何変換特性は、倍率歪みが生じないものの、直線再現性が悪い。

[0006] h (Θ) oc _t a η (θ/2) … （B)

そこで、特許文献 1では、式（A) と式（B) との中間的な幾何特性が提案されている。この中間的な幾何特性は、以下の式（C) で与えられる。但し、式（C) において、 Pは、 1 <P<4を満たす所定値である。

[0007] h (Θ) oc _t a n (0ZP) … (C)

従来、カメラで撮影した画像をこの幾何変換特性で幾何変換処理すれば、倍率歪みの抑制と直線再現性との両立が可能と考えられていた。

特許文献 1 ：特開 2005— 1 1 0207号公報

発明の開示

発明が解決しょうとする課題

[0008] しかしながら、式（C) で与えられる幾何変換特性は、必ずしも画像内の全域を良好に表現することはできず、画像内の位置によっては、直線の歪みが目立つたリ、倍率歪みが目立ったりする可能性がある。

[0009] 本発明は、上記不具合を解消し、直線再現性と倍率歪みの抑制とを画像内でバランス良く得ることのできる画像処理方法、画像処理プログラム、画像処理装置、及び撮像装置を提供することを目的とする。

課題を解決するための手段

[0010] 本発明の画像処理方法は、被処理画像に対し所定の幾何変換処理を施す画像処理方法において、前記所定の幾何変換処理には、前記被処理画像の周方向倍率と径方向倍率との不一致を抑制する、倍率歪み抑制用の幾何変換処理が含まれ、前記倍率歪み抑制用の幾何変換処理の強度又は内容を規定する少なくとも 1つのパラメータを、前記被処理画像の構造に応じて設定することを特徴とする。

[0011] なお、前記倍率歪み抑制用の幾何変換処理は、前記被処理画像の周辺領域に作用するものであってもよい。

[0012] また、前記所定の幾何変換処理には、前記被処理画像の周辺領域に作用する倍率歪み抑制用の幾何変換処理と、前記被処理画像の中央領域に作用する直線再現用の幾何変換処理とが含まれてもよい。

[0013] また、前記パラメータとして、前記周辺領域と前記中央領域との境界位置を設定してもよい。

[0014] また、任意の被写体角度を 0、前記境界位置に相当する被写体角度を 0 p 、前記被写体角度 0に対する前記所定の幾何変換処理後の像高を h ( 0 ) 、前記被写体角度 0における周方向倍率と径方向倍率との比率を/ c ( Θ ) と表したときに、 h ( £» ) 、 h ( Θ ) の導関数 h ' ( θ ) 、 κ ( θ ) のうちの少なくとも 1つは、 0 ρにおいて連続となることが望ましい。

[0015] また、前記被処理画像は、光軸中心に関し対称な倍率歪みを有し、前記倍率歪み抑制用の幾何変換処理は、光軸中心に関し非対称な幾何変換特性を有し、前記パラメータとして、前記倍率歪み抑制用の幾何変換処理の強度 qを設定してもよい。

[0016] また、前記強度 qは、 0 < q < 1の範囲に設定されることが望ましい。

[0017] また、前記倍率歪み抑制用の幾何変換処理は、前記光軸中心を通る垂直線及び水平線に関し対称な幾何変換特性を有することが望ましい。

[0018] また、前記所定の幾何変換処理の前及び Z又は後の画像をユーザへ表示し

、かつユーザに対し前記パラメータの設定を行わせてもよい。

[0019] また、前記被処理画像の直線検出を行い、その結果に応じて前記パラメ一タの設定を行ってもよい。

[0020] また、前記倍率歪み抑制用の幾何変換処理は、前記被処理画像を、その中心から外れた位置に光軸を配した仮想光学系で同じ被写体を撮影したときの画像へと幾何変換処理するものであり、前記パラメータとして、前記仮想光学系の光軸位置を設定してもよい。

[0021 ] また、前記仮想光学系の光軸位置は、前記被処理画像中の主要被写体位置に設定されてもよい。

[0022] また、前記被処理画像をユーザへ表示し、かつそのユーザに対し前記主要被写体位置を指定させてもよい。 [0023] また、前記被処理画像の画像認識を行い、その結果に応じて前記主要被写体位置を検出してもよい。

[0024] また、前記所定の幾何変換処理には、前記倍率歪み抑制用の幾何変換処理の他に、前記被処理画像の歪曲収差を抑制する歪曲収差抑制用の幾何変換処理も含まれ、前記倍率歪み抑制用の幾何変換処理と前記歪曲収差抑制用の幾何変換処理との双方が施された後の画像に対し、画素補間処理を一括して施してもよい。

[0025] また、本発明の画像処理プログラムは、本発明の何れかの画像処理方法をコンピュータに実行させることを特徴とする。

[0026] また、本発明の画像処理装置は、本発明の何れかの画像処理方法を実行することを特徴とする。

[0027] また、本発明の撮像装置は、本発明の何れかの画像処理装置を備えたことを特徴とする。

発明の効果

[0028] 本発明によれば、直線再現性と倍率歪みの抑制とを画像内でバランス良く得ることのできる画像処理方法、画像処理プログラム、画像処理装置、及び撮像装置が実現する。

図面の簡単な説明

[0029] [図 1 ]光軸中心に関し対称な倍率歪みを説明する図である。

[図 2]球面画像と平面画像とを光軸に沿った方向から見た正面図である。

[図 3]第 1実施形態の幾何変換特性を説明する図である。

[図 4]第 1実施形態実施形態の幾何変換特性による被写体角度 0と像高 h ₂との関係を示す図である。

[図 5]第 1実施形態の幾何変換特性による被写体角度 0と倍率歪み率/ cとの関係を示す図である。

[図 6]第 3実施形態のコンピュータの動作フローチヤ一卜である。

[図 7]第 4実施形態のコンピュータの動作フローチヤ一卜である。

[図 8]第 5実施形態の手順を説明する図である。発明を実施するための最良の形態

[0030] [第 1実施形態]

第 1実施形態を説明する。本実施形態は、被処理画像に対し倍率歪み補正を施す画像処理方法の実施形態である。ここでは、被処理画像を、歪曲収差の小さい一般的な撮影レンズで撮影された画像とする。

[0031] 本実施形態の倍率歪み補正では、以下の <手順 1 >〜<手順 4>からなる幾何変換処理により、被処理画像上の座標（x， y) に位置する画素の画素値を、座標（x₂， y₂) に位置する画素の画素値へと移し、画素補間処理を施す。

<手順 1 >

座標（x， y) に対応する像高 hを、次式で求める。

[0032] [数 1]

Λ ₌ / Λ:— CJC)² + ( 一 )² …ひ）

[0033] 但し、式（1 ) において、（c x， c y) は、被処理画像上の光軸中心の座標である。

<手順 2>

像高 hに対応する被写体角度 0を、次式で求める。

[0034] [数 2]

Θ = arctan^"¹" ^k ) '··(2)

J； h max

[0035] 但し、式（2) において、 d_maxは、被処理画像上の最大像高を長さに換算したものであり、 f は、撮影レンズの焦点距離であり、 h_maxは、被処理画像上の最大像高を画素数に換算したものである。

<手順 3>

被写体角度 0を、次式により、像高 h ₂へ変換する。

[0036] [数 3]

[0037] 但し、式（3) において、 Cは変倍率であり、画像が縮小し過ぎないように、例えば、 1〜1. 2程度の適当な値に設定される。また、 6» ρは閾値であり、被処理画像の構造に応じて設定される。因みに、一般的な構造の被処理画像には、 0 ρ = 4Ο° 程度が適当である。

<手順 4>

像高 h ₂に対応する座標（x₂， y₂) を、次式で求める。

[0038] [数 4] x =cx + (x- ex) x― · -· 4χ)

h

y₂ ^cy + (y-cy)x^- ---(4y)

h

[0039] (第 1実施形態の効果）

先ず、光軸中心に関し対称な倍率歪みを説明する。本実施形態の被処理画像や、本実施形態の倍率歪み補正後の画像も、光軸中心に関し対称な倍率歪みを持つとみなせる。

[0040] 図 1に示すとおり、ピンホールカメラによって被写体像を球面画像上に結像することを想定すると、この球面画像上の点 P， Q間の距離は、ピンホールから被写体を見たときの点 Po， Qo間の視野角に比例する。つまり、この球面画像において倍率歪みは無い。しかしながら実際のカメラでは、光軸中心に関し対称な幾何特性により被写体を平面画像として再現するため、光軸中心に関し対称な倍率歪みが生じる。したがって、上記球面画像を上記平面画像に射影した場合に生じる局所的な像倍率の変化を考えることにより、上記平面画像の倍率歪みを求めることができる。

[0041] 図 2は、球面画像と平面画像とを光軸に沿った方向から見た正面図である

[0042] 球面画像上の特徴点 Pは、平面画像上の特徴点 P₂へ射影され、特徴点 Pから微小距離だけ離れた特徴点 Qは、平面画像上の特徴点 Q₂へ射影されたとする。

[0043] 特徴点 Pの座標は、ピンホールと特徴点 Pとを結ぶ直線（図 1参照）が光軸と成す角度（被写体角度） 0と、この直線の光軸周りの角度（周方向の角度） ø (図 2参照）とで特定される。よって、特徴点 Pの座標を、 (Θ, ø ) と表す。

[0044] 特徴点 Qの座標も、同様に、被写体角度（0+Δ0) と、周方向の角度（ ø +△ø) とで特定される。よって、特徴点 Qの座標を、（6»+Δ6»， ø + Δ0) と表す。

[0045] 一方、特徴点 Ρ₂の座標は、平面画像上の像高と周方向の角度とで表される。特徴点 Ρ₂の像高は、特徴点 Ρの被写体角度 0のみの関数 h (Θ) で表され、特徴点 P₂の周方向の角度は、特徴点 Pの周方向の角度 øと同じである（なぜなら、前記幾何変換特性は、光軸中心に関し対称）。よって、特徴点 P₂の座標は、（h (0)， ø) と表される。

[0046] 同様に、特徴点 Q₂の座標は、平面画像上の像高と周方向の角度とで特定される。特徴点 Q₂の像高は、特徴点 Qの被写体角度（0+Δ0) の関数 h (Θ +△0) で表され、特徴点 Q₂の周方向の角度は、特徴点 Qの周方向の角度（ ø +△ø) と同じである。よって、特徴点 Q₂の座標は、（h (6»+厶6») ， ø +△ø) と表される。

[0047] ここで、図 2の左側に示すとおり、球面画像上の特徴点 PQ間の距離を直線で近似すると、その距離の周方向成分 d 1 ø、及び径方向成分 d 16»は、球面画像からピンホールまでの距離 r (図 1参照）により、それぞれ以下のとおり表される。

[0048] [数 5] i/1 = (rsinの '··(5

dW = rA0 ■■や θ)

[0049] また、図 2の右側に示すとおり、平面画像上の特徴点 P₂Q₂間の距離の周方向成分 d 20、及び径方向成分 d 2 hは、それぞれ以下のとおり表される。

[0050] [数 6] άΐφ = Η(θ)Α •••(6 ) dlh = h(e + A0)- h(0) = ^^-Αθ --(6h)

ύθ

[0051] よって、平面画像上の周方向倍率 k0、及び径方向倍率 k hは、それぞれ以下の式で表される。

[0052] [数 7]

α\φ r sin Θ

k_h= „

d r άθ

[0053] したがって、平面画像上の倍率歪み率/ cは、次の式で表される。

[0054] [数 8]

二 d- …(

[0055] 例えば、本実施形態の被処理画像において、倍率歪み率/ cが 1よリも大きい領域では、被写体が径方向に引き延ばされている。この被処理画像の歪曲歪み補正では、被処理画像上の全域に亘リ、倍率歪み率/ cを許容範囲内（例えば、 1. 3以下）に制限する必要がある。特に、被処理画像の周辺領域（被写体角度 0の大きい領域）では、倍率歪み率/ cが大きい傾向にあるので、それを抑制することが重要である。

[0056] 次に、図 3に基づき本実施形態の幾何変換特性を考える。

[0057] 本実施形態の幾何変換特性によると、被写体角度 0が閾値 0 p以下の領域

(図 3の中央領域 A 1 ) では、像高 h₂を t a n 0に比例させる幾何変換特性、つまり、直線再現性の良い幾何変換特性が採用される。

[0058] 但し、直線再現性の良い幾何変換特性は、倍率歪みを発生させる。直線再現性の良い幾何変換特性によって生じる倍率歪み率は、 h (0) oc t a n e を式（8) へ代入することによって求まり、 1 Z (c o s Θ) である。つまリ、直線再現性の良い幾何変換特性は、被写体角度 0が大きくなるに従い、大きな倍率歪みを発生させる。

[0059] また、本実施形態の幾何変換特性によると、被写体角度 0が閾値 0 pより大きい領域（図 3の周辺領域 A 2) では、像高 h ₂を t a n (0Z2) (κ ρ) に比例させる幾何変換特性、つまり、倍率歪みを抑制する幾何変換特性が採用されている。

[0060] 倍率歪みを抑制する幾何変換特性によって生じる倍率歪み率は、 h (Θ) oc t a n (ΘΖ2) p) を式（8) へ代入することによって求まり、 K _P = 1 Z (c o s θ ρ) である。つまり、倍率歪みを抑制する幾何変換特性は、被写体角度 0によらず、倍率歪みを、 0 = 0 ρにおける倍率歪みと同じに保つ。

[0061] 図 4は、本実施形態の幾何変換特性による被写体角度 0と像高 h₂との関係を示す図であり、図 5は、本実施形態の幾何変換特性による被写体角度 0と倍率歪み率/ Cとの関係を示す図である。なお、図 4，図 5では、閾値 0 pを 40° に設定すると共に、比較のため、幾何変換特性： h₂ (0) oc t a n 0 のデータも一緒に示した。

[0062] 図 4に示すとおり、本実施形態の幾何変換特性は、 0≤0 pの領域（中央領域 A 1 ) と、 0 p<0の領域（周辺領域 A 2) との間で幾何変換特性の内容が切り替わつている。このような切り替えにより、倍率歪み率/ Cは、図 5 に示すとおり、 6>≤6> ρの領域（中央領域 A 1 ) では徐々に上昇し、 6» p< 0の領域（周辺領域 A2) では、一定値/ c pに保たれる。また、倍率歪み率は、 0 = 6) pにおいて連続した値を採り、 6Ι ρ<6Ιの領域（周辺領域 A 2 ) における倍率歪み率/ c pが、 pの範囲でも維持されている。

[0063] 以上、本実施形態の倍率歪み補正によると、図 3に示したとおり、被処理画像の中央領域 A 1では直線再現性が重視され、周辺領域 A 2では倍率歪みの抑制が重視される。

[0064] また、本実施形態では、被処理画像の構造等を考慮し、周辺領域 A 2における倍率歪みが許容範囲内に収まるように閾値 0 pを設定するだけで、全領域における倍率歪みを許容範囲内に収めることができる。

[0065] 因みに、閾値 0 pは、デフォルトでは、例えば 40° 程度に設定されることが望ましい。その場合、倍率歪み率/ cは 1. 3程度以下に抑制される。

[0066] 特に、周辺領域 A 2における倍率歪みが許容範囲内の最大値となるように閾値 0 pを設定すれば、周辺領域 A 2における直線再現性の悪化を必要最小限に抑えることができるので、直線再現性と倍率歪みの抑制とのバランスが全領域で良好となる。

[0067] また、本実施形態の幾何変換処理によると、幾何変換特性の内容が切リ替わる 0 = 0 Pにおいて、像高 hと被写体角度 0の関係式 h (Θ) 、 h (θ) の導関数 h' (0) 、倍率歪み率/ c (Θ) の全てが連続であるため、中央領域 A 1と周辺領域 A 2とは、境界部 aにおいて滑らかに自然に繋がる。

[0068] (第 1実施形態の補足）

なお、本実施形態の被処理画像は、歪曲収差の小さい一般的な撮影レンズで撮影された画像であつたが、他種の撮影レンズで撮影された画像であってもよい。

[0069] 例えば、本実施形態の被処理画像は、魚眼レンズで撮影された画像であつてもよい。但し、その場合、上述した <手順 2>において、式（2) の代わりに、魚眼レンズに固有の幾何変換特性（像高 hと被写体角度 0との関係式 ) を用いる必要がある。このように、被処理画像を魚眼レンズで撮影された画像とすると、非常に広角であり見え方も自然な画像が得られるので、監視カメラシステムなどに適する。

[0070] また、本実施形態の被処理画像は、歪曲収差の大きい撮影レンズで撮影された画像であってもよい。但し、その場合、その撮影レンズの歪曲収差情報を予め取得し、上述した <手順 2 >と<手順 3 >との間に、歪曲収差情報に基づき像高 hを変換する幾何変換処理（歪曲収差補正用の幾何変換処理）を揷入すればよい。

[0071 ] また、本実施形態の倍率歪み補正では、幾何変換処理後の画像に対し画素補間処理を施したが、この画素補間処理は、幾何変換後の小数座標位置における画素値を用いて整数座標位置の画素値を補間する処理であり、 Cub i c補間などの手法が適用可能である。

[0072] また、本実施形態の倍率歪み補正に複数種類の幾何変換処理を組み合わせる場合、画素補間処理は、全ての幾何変換処理の後に一括して行われることが望ましい。

[0073] また、本実施形態の幾何変換処理では、式（3 ) の変倍率 Cを 1に設定すれば、被処理画像の中央領域 A 1に対する幾何変換処理を省略したことになる。被処理画像の構造によっては中央領域 A 1の幾何変換処理が不要なので、この設定を行えば、無駄な演算を省略し、倍率歪み補正の処理時間を短縮することができる。

[0074] また、本実施形態の被処理画像は、実際の撮影レンズで撮影された画像であつたが、実際の撮影レンズで撮影された画像でなくても構わない。画像中心に関し対称な幾何変換特性で被写体を射影したものであればよい。

[0075] 例えば、本実施形態の被処理画像は、魚眼レンズで撮影された画像の一部を切リ取り、それを歪曲収差が無くなるよう幾何変換処理して得た画像であつてもよい。このような画像は、歪曲収差の小さい一般的な撮影レンズで撮影された画像と同様の倍率歪みを持つので、本実施形態を適用することができる。つまり、本実施形態で言う光軸中心には、このような画像の仮想的な光軸中心が含まれる。

[0076] また、本実施形態の倍率歪み補正は、コンピュータ、画像ストレージャ、プリンタなど、画像を取り込むことが可能な画像処理装置において実行可能である。例えば、コンピュータで実行する場合、本実施形態の倍率歪み補正を実行するためのプログラムを予め用意し、それをコンピュータへインス卜ールすればよい。或いは、ディジタルカメラなど、撮像機能を搭載した形態機器に対し、同様の処理を実行させてもよい。

[0077] また、本実施形態の倍率歪み補正では、撮影レンズの焦点距離 f 、最大像高の長さ d _maxなどの情報が必要である。本実施形態の倍率歪み補正をコンビュータ、ストレージャ、プリンタなどの画像処理装置で実行する場合は、その情報をユーザが画像処理装置へ入力するとよい。

[0078] 或いは、被処理画像の画像ファイルに添付情報が添付されている場合（EX I F等のファイル形式が採用されている場合）は、画像処理装置が、その添付情報と、別途用意されたデータベースとに基づき、撮影レンズの焦点距離 f 、最大像高の長さ d _maxなどを自動的に認識してもよい。

[0079] [第 2実施形態]

第 2実施形態を説明する。本実施形態も、光軸中心に関し対称な倍率歪みを持った画像を被処理画像とし、それに対し倍率歪み補正を施す画像処理方法の実施形態である。ここでは、第 1実施形態との相違点を主に説明する。

[0080] 相違点は、幾何変換処理の内容にあり、本実施形態の幾何変換処理では、被処理画像上の座標（x， y ) に位置する画素の画素値を、以下の式（9 ) で与えられる座標（x ₂， y ₂) に位置する画素の画素値へと移す。

[0081 ] 園

[0082] 但し、式（9 ) において、 K ( h ) は、被処理画像上の像高 hにおける倍率歪み率であり、（c x， c y ) は、被処理画像上の光軸中心の座標である。また、 Cは変倍率であり、画像が縮小し過ぎないように、例えば、 1〜1 . 2程度の適当な値に設定される。

[0083] また、 qは、幾何変換処理の強度であり、被処理画像の構造に応じて設定される。強度 qは、 0≤q≤ 1の範囲に設定され、望ましくは 0≤q≤0 . 7の範囲に設定される。

[0084] (第 2実施形態の効果）

本実施形態の幾何変換特性は、光軸中心を通る垂直線及び水平線に関し対称であるので、被処理画像中の縦方向及び横方向の直線再現性が良い。また、この幾何変換特性は、光軸中心に対し縦方向及び横方向の各位置において倍率歪み率/ cを抑制する。

[0085] このような幾何変換特性によると、被処理画像の全領域における縦方向及び横方向の直線は何れも歪むことなく、光軸中心の上下左右に位置する被写体の倍率歪みが、それぞれ抑制される。

[0086] 但し、本実施形態の幾何変換処理は、斜め方向の直線再現性が悪いので、その強度 qが高過ぎると、被処理画像中の斜め線を不自然に歪ませてしまう

[0087] そこで、本実施形態では、被処理画像の構造等を考慮し、幾何変換処理の強度 qを 1よりも小さい適当な値に設定する。その結果、被処理画像の全域における直線再現性と倍率歪みの抑制とのバランスを良好にすることができる。

[0088] 因みに、本実施形態の幾何変換処理の強度 qは、デフォルトでは、例えば、 0 . 4程度の値に設定されることが望ましい。斜め線を不自然に歪ませないためには、少なくとも、強度 qは 0 . 7以下に設定される必要がある。但し、一般的に、被処理画像の直線構造は、縦方向又は横方向である場合が多いので、多くの被処理画像では、強度 qを 1に近い値に設定することが可能である。 [0089] (第 2実施形態の補足）

また、本実施形態の幾何変換処理特性では、縦方向（y方向）の幾何変換処理の強度 qと横方向（X方向）の幾何変換処理の強度 qとが同じ値であつたが、両者の幾何変換処理の強度を、互いに異なる値に設定してもよい。

[0090] また、本実施形態の倍率歪み補正は、コンピュータ、画像ストレージャ、プリンタなど、画像を取り込むことが可能な画像処理装置において実行可能である。例えば、コンピュータで実行する場合、本実施形態の倍率歪み補正を実行するためのプログラムを予め用意し、それをコンピュータへインス卜ールすればよい。或いは、ディジタルカメラなど、撮像機能を搭載した形態機器に対し、同様の処理を実行させてもよい。

[0091 ] また、本実施形態の幾何変換処理と第 1実施形態の幾何変換処理とを組み合わせた倍率歪み補正を実行してもよい。この倍率歪み補正は、被処理画像に対し第 1実施形態の幾何変換処理を施す手順と、本実施形態の幾何変換処理を施す手順と、画素補間処理を施す手順とからなる。画素補間処理は、全ての幾何変換処理の後に一括して行われることが望ましい。

[0092] [第 3実施形態]

第 3実施形態を説明する。本実施形態は、第 1実施形態の倍率歪み補正をコンピュータで実行するのに好適な画像処理プログラムの実施形態である。この画像処理プログラムは、コンピュータを、以下のとおりに動作させる。なお、コンピュータには、出力器であるモニタと、マウスやキーボードなどの入力器とが接続され、これらによってユーザとのインタフェースが図られるものとする。

[0093] 図 6は、本実施形態のコンピュータの動作フローチャートである。図 6に示すとおり、コンピュータは、被処理画像を読み込むと（ステップ S 1 1 ) 、その被処理画像をモニタへ送出し、被処理画像を表示する（ステップ S 1 2 ) 。ユーザは、このモニタ上で被処理画像の構造を確認することができる。なお、コンピュータは、被処理画像の画像ファイルの添付情報と、別途用意されたデータベースとを参照し、撮影レンズの焦点距離 f 、最大像高の長さ d_maxなどを認識する。

[0094] コンピュータは、倍率歪み補正の幾何変換パラメータをユーザに設定させる（ステップ S 1 3) 。この幾何変換パラメータは、上述した式（3) の閾値 0 Pである。ユーザは、被処理画像の構造から、直線再現性よりも歪曲歪みの抑制を重視すべきと判断したときには閾値 0 pを小さく設定し、歪曲歪みの抑制よりも直線再現性を重視すべきと判断したときには閾値 0 pを大きく設定すればよい。

[0095] ユーザが幾何変換パラメータ（ここでは閾値 0 p) を設定すると（ステツプ S 1 3 YES) 、コンピュータは、設定された幾何変換パラメータ（ここでは閾値 0 P) を用いて、第 1実施形態の倍率歪み補正を被処理画像に対し簡易的に施し（ステップ S 1 4) 、補正後の画像（簡易画像）をモニタへ表示する（ステップ S 1 5) 。なお、簡易的な倍率歪み補正とは、被処理画像のサイズ縮小版に対する倍率歪み補正や、画像補間処理を簡素化してなる倍率歪み補正などを指す。

[0096] ユーザは、モニタ上の簡易画像の良否から、自分の設定した幾何変換パラメータ（ここでは閾値 6» p) が適切であつたか否かを判断することができる。ユーザが不適切と判断し、幾何変換パラメータ（ここでは閾値 0 p) を再設定すると（ステップ S 1 6 NO, ステップ S 1 3 Y ES) 、ステップ S 1 4， S 1 5の処理が繰り返される。ユーザは、モニタ上の簡易画像に満足するまで、幾何変換パラメータ（ここでは閾値 0 p) を何度でも調整することができる（ステップ S 1 3， S 1 4, S 1 5) 。

[0097] その後、ユーザがモニタ上の簡易画像に満足し、倍率歪み補正の実効命令をコンピュータへ入力すると（ステップ S 1 6YES) 、コンピュータは、設定中の幾何変換パラメータ（ここでは閾値 0 p) を用い、第 1実施形態の倍率歪み補正を被処理画像に対し詳細に施し（ステップ S 1 7) 、補正後の画像（詳細画像）をモニタへ表示する（ステップ S 1 8) 。なお、詳細な倍率歪み補正とは、被処理画像の非縮小版に対する倍率歪み補正を指す。

[0098] その後、ユーザが画像保存命令をコンピュータへ入力すると（ステップ S 1 9 ) 、コンピュータは、詳細画像を適当なファイル形式でハードディスクなどの不揮発性メモリへ保存する（ステップ S 2 0 ) 。

[0099] (第 3実施形態の効果）

本実施形態の画像処理プログラムは、被処理画像や簡易画像をモニタへ表示するので、ユーザは、被処理画像の構造や倍率歪み補正の効果を確認しながら、所望する倍率歪み補正をコンピュータに実行させることができる。ュ一ザは、例えば、被処理画像がビルの画像であるときには、閾値 0 pを大き <して直線の再現性を重視することができ、また、被処理画像が集合写真であるときには、閾値 6> pを小さくして倍率歪みの抑制を重視することができる。

[0100] また、本実施形態の画像処理プログラムは、ステップ S 1 4における倍率歪み補正を、簡易的な倍率歪み補正としたので、ステップ S 1 3， 1 4， 1 5の処理は、高速に行われる。したがって、ユーザは、幾何変換パラメータ (ここでは閾値 0 P ) を調整しながら、倍率歪み補正の効果を、リアルタイムで確かめることができる。

[0101 ] (第 3実施形態の補足）

なお、本実施形態では、第 1実施形態の倍率歪み補正を採用したが、第 2 実施形態の倍率歪み補正を採用してもよい。その場合、ユーザに設定させる幾何変換パラメータは、式（9 ) の強度 qとなる。

[0102] また、本実施形態では、第 1実施形態の倍率歪み補正を採用したが、第 1 実施形態の幾何変換処理と第 2実施形態の幾何変換処理とを組み合わせた倍率歪み補正（第 1実施形態の補足にて説明した。）を採用してもよい。その場合、ユーザに設定させる幾何変換パラメータは、式（3 ) の閾値 0 pと式 ( 9 ) の強度 qとの双方となる。

[0103] また、本実施形態では、コンピュータを利用したが、コンピュータの代わりに、画像ストレージャ、プリンタなど、画像を取り込むことが可能な画像処理装置に対し、同様の処理を実行させてもよい。或いは、ディジタルカメラなど、撮像機能を搭載した携帯機器に対し、同様の処理を実行させてもよい。

[0104] [第 4実施形態]

第 4実施形態を説明する。本実施形態は、倍率歪み補正をコンピュータで自動化するための画像処理プログラムの実施形態である。なお、ここでは、第 1実施形態の幾何変換処理と第 2実施形態の幾何変換処理とを組み合わせた倍率歪み補正を採用した場合を説明する。また、コンピュータには、出力器であるモニタと、マウスやキーボードなどの入力器とが接続され、これらによってユーザとのインタフェースが図られるものとする。

[0105] 図 7は、本実施形態のコンピュータの動作フローチャートである。図 7に示すとおり、コンピュータは、被処理画像を読み込む（ステップ S 1 1 ) 。このとき、コンピュータは、被処理画像の画像ファイルの添付情報と、別途用意されたデータベースとを参照し、撮影レンズの焦点距離 f 、最大像高の長さ d _max、歪曲収差情報を認識する。このうち、歪曲収差情報は、画像フアイルに添付された撮影時のレンズポジションの情報と、データベースとに基づき認識される。但し、画像ファイルに歪曲収差情報が添付されていた場合は、データベースに基づく必要は無い。

[0106] 続いて、コンピュータは、被処理画像に対し、サイズ縮小変換処理と、歪曲収差補正用の幾何変換処理と、画素補間処理とを順に施すことにより、直線検出用の簡易画像を生成し（ステップ S 2 0 ) 、その簡易画像から直線情報を抽出する（ステップ S 2 1 ) 。この直線情報は、被処理画像に如何なる直線がどれだけ存在しているかを示す。以下、ステップ S 2 1における直線情報の抽出方法を説明する。

[0107] (直線情報の抽出方法）

先ず、簡易画像のエッジを検出し、所定の閾値以上のエッジからなる二値のエッジ画像を生成する。さらに、そのエッジ画像を解析してハフ画像を生成する。ハフ画像の生成では、先ず、直線モデルとして、式（1 0 ) を採用する。但し、 x _ y座標の原点は、光軸中心である。

[0108] x c o s 0 + y s i η θ = ρ - " ( 1 0 ) そして、エッジ画像上のエッジ座標 ( X い y i) について、以下の式（1 1

) を満たすような ( θ， Ρ) の組み合わせを見出す。

[0109] Xic o s 0 + y i s i η θ =ρ ■■■ ( 1 1 )

さらに、見出した ( θ , ρ) を、座標上にマッピングする。但し、 0の範囲は、 0≤0≤ 1 80° である。また、マッピングとは、 0 _iO座標上で ( Θ , p) に対応する画素の画素値を 1だけ加算することをいう。このマッピングを、エッジ画像の全てのエッジ座標（X i， y i) について繰り返し、最終的に 6l_iO座標上に形成された画像が、ハフ画像である。

[0110] さらに、このハフ画像を規格化して規格化ハフ画像を取得し、規格化ハフ画像上で画素値が極大となるような各画素を求める。それら各画素の座標（ Θ , p) は、被処理画像に一定量以上含まれる直線の種類を示しており、それら各画素の画素値 Hは、各直線の量を示す。よって、それらの各直線の（ 6>， iO， H) を、被処理画像の直線情報とすればよい（以上、直線情報の抽出方法）。

[0111] 続いて、コンピュータは、この直線情報に基づき、第 1実施形態の幾何変換処理で歪む直線の量 A_H1を算出すると共に（ステップ S 22) 、第 2実施形態の幾何変換処理で歪む直線の量 A_H2を算出する（ステップ S 24) 。

[0112] ここで、第 1実施形態の幾何変換処理で歪む直線とは、光軸中心近傍を通らない直線であり、 Pの値が所定値よりも大きいような直線である（なぜなら、式（1 0) に示すとおり、 pは、直線から光軸中心までの距離を示す。 ) 。このような直線の Hの値を加算したものが、第 1実施形態の幾何変換処理で歪む直線の量 A_H1である。

[0113] また、第 2実施形態の幾何変換処理で歪む直線とは、縦線でも横線でもない直線であり、 0の値が 0° 、 90° 、 1 80° に対し所定値以上異なるような直線である（なぜなら、式（1 0) に示すとおり、 6»は、直線が y軸と成す角度である。）。このような直線の Hの値を加算したものが、第 2実施形態の幾何変換処理で歪む直線の量 A_H2である。

[0114] 次に、コンピュータは、幾何変換パラメータ 6> pの値を、直線の量 A_H1に応じた値に設定する（ステップ S 23) 。関数 0 p (A_H1) は、 A_H1の広義の単調増加関数であり、 A_H1が大きいほど 0 pは大きくなる。この関数 0 p (A_H1 ) は、予め行われた実験やシミュレーションに基づき、プログラムの製造者が適当に設定すればよい。但し、 0 pの最小値は 30° 程度にすると良い。

[0115] また、コンピュータは、幾何変換パラメータ qの値を、直線の量 A_H1に応じた値に設定する（ステップ S 24) 。関数 q (A_H2) は、 A_H2の広義の単調減少関数であり、 A_H2が大きいほど qは小さくなる。この関数 q (A_H2) は、プログラムの製造者が予めの実験やシミュレーションに基づき適当に設定すればよい。但し、 qの最大値は 0. 7程度にすると良い。

[0116] その後、コンピュータは、被処理画像（詳細な画像である。）に対し、歪曲収差情報を用いた歪曲収差補正用の幾何変換処理、幾何変換パラメータ 0 Pを用いた第 1実施形態の幾何変換処理、幾何変換パラメータ qを用いた第 2実施形態の幾何変換処理、及び画素補間処理を順に施し、倍率歪み補正を完了する（ステップ S 26) 。

[0117] その後、コンピュータは、必要に応じて、倍率歪み補正後の画像を適当なフアイル形式でハードディスクなどの不揮発性メモリへ保存する（ステップ S 1 9, S 20) 。

[0118] (第 4実施形態の効果）

第 4実施形態の画像処理プログラムは、被処理画像の構造に応じて自動的に幾何変換パラメータを設定する。したがって、ユーザの手間が省け、利便性が高い。更に、以下に挙げる長所もある。

[0119] (1 ) 被処理画像から直線情報を抽出する前に、被処理画像に対し歪曲収差補正用の幾何変換処理を施すので、その抽出精度を高めることができる。

[0120] (2) 被処理画像から直線情報を抽出する前に、被処理画像に対しサイズ縮小変換処理を施すので、その抽出処理を高速化することができる。

[0121] (3) 直線情報の抽出にハフ変換を適用したので、その抽出精度を高めることができる。

[0122] (4) 直線構造を歪ませる種類の幾何変換処理が適度に弱く設定されるので、直線再現性が高いレベルで維持される。

[0123] ( 5 ) 直線構造を歪ませない種類の幾何変換処理が適度に強く設定されるので、直線再現性と倍率歪みの抑制を高いレベルで両立できる。

[0124] (第 4実施形態の補足）

なお、本実施形態において、歪曲収差情報が取得できない場合には、歪曲収差補正用の幾何変換処理を省略してもよい。その場合であっても、一定の効果が得られる。

[0125] また、本実施形態では、第 1実施形態の幾何変換処理と第 2実施形態の幾何変換処理とを組み合わせた倍率歪み補正が採用されたが、第 1実施形態の倍率歪み補正と、第 2実施形態の倍率歪み補正との何れか一方を採用してもよい。

[0126] また、本実施形態では、コンピュータを利用したが、コンピュータの代わりに、画像ストレージャ、プリンタなど、画像を取り込むことが可能な画像処理装置に対し、同様の処理を実行させてもよい。或いは、ディジタルカメラなど、撮像機能を搭載した携帯機器に対し、同様の処理を実行させてもよい。

[0127] [第 5実施形態]

第 5実施形態を説明する。本実施形態は、撮影レンズで撮影された画像に対し、倍率歪み補正を施す画像処理方法の実施形態である。ここでは、倍率歪み補正がコンピュータで実行されるものとして説明する。また、コンビュータには、出力器であるモニタと、マウスやキーボードなどの入力器とが接続され、これらによってユーザとのインタフェースが図られるものとする。

[0128] コンピュータは、予めインストールされた画像処理プログラムに従い、以下の <手順 1 >〜<手順 4 >を実行する。

<手順 1 >

被処理画像を、図 8 ( A) に示すとおり、モニタへ表示する。図 8 ( A) において S 1， S 2が被写体であり、 C 1は十字カーソルである。十字カーソル C 1は、被処理画像の中央領域に位置する被写体 S 1を指し示している <手順 2 >

ユーザに対し、図 8 ( B ) に示すとおり、主要被写体の位置を指定させる。図 8 ( B ) では、ユーザが十字カーソル C 1を移動させ、被処理画像の周辺領域に位置する被写体 S 2を指定した様子を示した。

<手順 3 >

指定された位置に光軸を持った仮想光学系を想定する。この仮想光学系の幾何変換特性は、例えば、被写体角度 0と像高 hとの関係を、 h ( 0 ) oc t a n 0で与えるものである。

[0129] この幾何変換特性を考慮した所定の幾何変換処理を前記被処理画像へ施すことにより、その被処理画像を、同じ被写体を前記仮想光学系で撮影したときの画像へと変換する。さらに、変換後の画像に対し、画素補間処理を施す

[0130] なお、所定の幾何変換処理とは、前記撮影レンズに固有の幾何変換特性の逆特性による幾何変換処理と、前記撮影レンズの光軸方向を変換して前記仮想光学系の光軸方向に一致させる回転変換と、前記仮想光学系に固有の幾何変換特性による幾何変換処理とを組み合わせたものである。因みに、前記撮影レンズが、歪曲収差の小さい一般的な撮影レンズであった場合、逆特性は、上述した式（2 ) で与えられる。

[0131 ] 因みに、このような幾何変換処理と似た技術が、例えば、特開平 6 _ 1 2

1 3 1 8号公報に開示されている。但し、本実施形態では、幾何変換対象を、被処理画像の一部の領域とする代わりに、被処理画像の全領域とした。本実施形態では、必要に応じて変換後の画像を長方形状にトリミングする。 <手順 4 >

処理後の画像を、モニタへ表示する。図 8 ( C) は、表示された画像のィメージである。図 8 ( C) に示すとおり、ユーザが指定した周辺領域の被写体 S 2については、倍率歪みは抑制され、その代わりに、中央領域の被写体 S 1については、倍率歪みが大きくなつている。 [0132] (第 5実施形態の効果）

本実施形態によれば、被処理画像のうち、ユーザが指定した主要被写体に限リ、倍率歪みの抑制と直線再現性とを両立させることができる。

[0133] (第 5実施形態の補足）

なお、本実施形態では、主要被写体の位置をユーザに指定させたが、コンピュータが被処理画像の顔検出などの画像認識処理を行い、主要被写体の位置を自動検出してもよい。

[0134] また、本実施形態のトリミングでは、なるべく多くの領域を残す（少なくとも半分の領域を残す）ことが望ましい。

[0135] また、本実施形態の被処理画像が、歪曲収差の大きい撮影レンズで撮影された画像である場合には、その撮影レンズの歪曲収差情報を予め取得し、それに基づき像高 hを変換する幾何変換処理（歪曲収差補正用の幾何変換処理

) を、前記所定の幾何変換処理に含めればよい。

[0136] また、本実施形態では、コンピュータを利用したが、コンピュータの代わりに、画像ストレージャ、プリンタなど、画像を取り込むことが可能な画像処理装置に対し、同様の処理を実行させてもよい。或いは、ディジタルカメラなど、撮像機能を搭載した携帯機器に対し、同様の処理を実行させてもよい。

Claims

請求の範囲

[1 ] 被処理画像に対し所定の幾何変換処理を施す画像処理方法において、前記所定の幾何変換処理には、

前記被処理画像の周方向倍率と径方向倍率との不一致を抑制する、倍率歪み抑制用の幾何変換処理が含まれ、

前記倍率歪み抑制用の幾何変換処理の強度又は内容を規定する少なくとも

1つのパラメータを、前記被処理画像の構造に応じて設定する

ことを特徴とする画像処理方法。

[2] 請求項 1に記載の画像処理方法において、

前記倍率歪み抑制用の幾何変換処理は、

前記被処理画像の周辺領域に作用するものである

ことを特徴とする画像処理方法。

[3] 請求項 2に記載の画像処理方法において、

前記所定の幾何変換処理には、

前記被処理画像の周辺領域に作用する倍率歪み抑制用の幾何変換処理と、前記被処理画像の中央領域に作用する直線再現用の幾何変換処理とが含まれる

ことを特徴とする画像処理方法。

[4] 請求項 3に記載の画像処理方法において、

前記パラメータとして、前記周辺領域と前記中央領域との境界位置を設定する

ことを特徴とする画像処理方法。

[5] 請求項 4に記載の画像処理方法において、

任意の被写体角度を 0、

前記境界位置に相当する被写体角度を 0 P、

前記被写体角度 0に対する前記所定の幾何変換処理後の像高を h ( 0 ) 、前記被写体角度 0における周方向倍率と径方向倍率との比率を/ c ( Θ ) と表したときに、 h ( 0 ) 、 h ( Θ ) の導関数 h ' ( Θ ) 、 K ( Θ ) のうちの少なくとも 1 つは、 0 pにおいて連続となる

ことを特徴とする画像処理方法。

[6] 請求項 1〜請求項 5の何れか一項に記載の画像処理方法において、

前記被処理画像は、

光軸中心に関し対称な倍率歪みを有し、

前記倍率歪み抑制用の幾何変換処理は、

光軸中心に関し非対称な幾何変換特性を有し、

前記パラメータとして、前記倍率歪み抑制用の幾何変換処理の強度 qを設定する

ことを特徴とする画像処理方法。

[7] 請求項 6に記載の画像処理方法において、

前記強度 qは、

0 < q < 1の範囲に設定される

ことを特徴とする画像処理方法。

[8] 請求項 6又は請求項 7に記載の画像処理方法において、

前記倍率歪み抑制用の幾何変換処理は、

前記光軸中心を通る垂直線及び水平線に関し対称な幾何変換特性を有することを特徴とする画像処理方法。

[9] 請求項 1〜請求項 8の何れか一項に記載の画像処理方法において、

前記所定の幾何変換処理の前及び Z又は後の画像をユーザへ表示し、かつユーザに対し前記パラメータの設定を行わせる

ことを特徴とする画像処理方法。

[10] 請求項 1〜請求項 8の何れか一項に記載の画像処理方法において、

前記被処理画像の直線検出を行い、その結果に応じて前記パラメータの設定を行う

ことを特徴とする画像処理方法。

[11 ] 請求項 1に記載の画像処理方法において、前記倍率歪み抑制用の幾何変換処理は、

前記被処理画像を、その中心から外れた位置に光軸を配した仮想光学系で同じ被写体を撮影したときの画像へと幾何変換処理するものであり、前記パラメータとして、前記仮想光学系の光軸位置を設定することを特徴とする画像処理方法。

[12] 請求項 1 1に記載の画像処理方法において、

前記仮想光学系の光軸位置は、前記被処理画像中の主要被写体位置に設定される

ことを特徴とする画像処理方法。

[13] 請求項 1 2に記載の画像処理方法において、

前記被処理画像をユーザへ表示し、かつそのユーザに対し前記主要被写体位置を指定させる

ことを特徴とする画像処理方法。

[14] 請求項 1 2に記載の画像処理方法において、

前記被処理画像の画像認識を行い、その結果に応じて前記主要被写体位置を検出する

ことを特徴とする画像処理方法。

[15] 請求項 1〜請求項 1 4の何れか一項に記載の画像処理方法において、前記所定の幾何変換処理には、

前記倍率歪み抑制用の幾何変換処理の他に、前記被処理画像の歪曲収差を抑制する歪曲収差抑制用の幾何変換処理も含まれ、

前記倍率歪み抑制用の幾何変換処理と前記歪曲収差抑制用の幾何変換処理との双方が施された後の画像に対し、画素補間処理を一括して施す

ことを特徴とする画像処理方法。

[16] 請求項 1〜請求項 1 5の何れか一項に記載の画像処理方法をコンピュータに実行させることを特徴とする画像処理プログラム。

[17] 請求項 1〜請求項 1 5の何れか一項に記載の画像処理方法を実行することを特徴とする画像処理装置。 [18] 請求項 1 7に記載の画像処理装置を備えたことを特徴とする撮像装置 _c