JP2017010555A

JP2017010555A - 画像処理方法及び画像処理装置

Info

Publication number: JP2017010555A
Application number: JP2016121586A
Authority: JP
Inventors: ジュジィアダヌ; Jiadan Zhu; ファヌションイヌ; Ying Fang Xiong; ワンシヌ; Woo Wang Shin; ワンチェヌ; Qian Wang; チアオガン; Gang Qiao
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2015-06-25
Filing date: 2016-06-20
Publication date: 2017-01-12
Also published as: CN106296645A

Abstract

【課題】直線検出の過程で直線の連続性を損なうことなく、かつ短めの直線も検出することができる画像処理方法及び画像処理装置を提供する。【解決手段】画像処理方法は、第一画像を取得し、直線は第一画像において所定球体の最大の円上のソリ曲線として現れＳ７１０、第一画像における複数の線を認識しＳ７２０、第一パラメータ空間に基づき、該線が直線であるか否かを決定するＳ７３０。第一パラメータ空間における各点は所定球体の最大の円に対応し、第一画像における各点は第一パラメータ空間における最大円に対応し、第一画像における同一直線上の複数の点に対応する複数の最大の円は第一パラメータ空間の所定の点で交わり、該直線上に位置しない点に対応する最大の円は該所定の点を通らない。【選択図】図７

Description

本発明は、画像処理方法及び画像処理装置に関するものであり、特に画像に対して分割及び補正をすることなく、第一パラメータ空間に基づき直接的に球面歪曲画像上の直線を検出できる画像処理方法及び画像処理装置に関するものである。

デジタル技術がますます発展するのに伴い、直線検出は画像処理の基礎機能となっている。例えば従来のハフ（Hough）変換を利用して、非歪曲の単視点撮像の制約に適う画像に対して直線検出を行う方法は非常に流行し、また効果的な方法である。しかし、普段の生活では、球体歪曲を持つ画像(以下「球体歪曲画像」と称する）に対して処理を行う必要がよく生じる。例えば広角レンズを使用して撮影する時、撮影した画像には球面歪曲が現れる。また、パノラマ撮影を使用して撮影したパノラマ画像にも球面歪曲が現れる。球面歪曲画像は非常に大きな視野を備え、多くの場合360°全方位の構図も取ることができるので、人々に広く用いられるようになった。実際の直線は球面歪曲画像に弯曲して現れ、特に非常に大きな視角を持つ球面画像上では、直線は弯曲のソリ曲線に変わる。すなわち、球面歪曲画像中の直線には単視点撮像の制約に適わず、従来の多くの方法では球面歪曲画像上で直線検出ができない事態を引き起こしてしまっていた。よって、如何に球面歪曲が強い画像上で直線検出を行うかは当面の重要な課題である。

従来の球面歪曲画像上で行う直線検出の一般的な方法は以下のステップが含まれる。

ステップ1：球面歪曲画像を複数の部分に分割する。説明の便宜上、以下の説明では仮にそのソリ曲線を含む画像を二つの部分に分けたとしても、実際はこれに限らず、一般的な状況下では、球面歪曲画像をさらに多くの部分に分割する。図1Aに示すように、直線は球面歪曲画像上にソリ曲線として現れている。

ステップ2：各部分の画像に対しそれぞれ補正を行い、歪みを除去する。補正後画像は単一視点撮像原理に適う。

ステップ3：補正後のブロック画像に対し直線検出を行う。この時、補正後の画像は単一視点撮像原理に適うので、いかなる従来の検出方法（例えば従来のハフ直線変換方法を採用できる）でも採用でき、直線検出を行える。

しかし、この種の従来の方法は少なくとも以下のいくつかの欠点がある。

まず、直線の連続性を損なう。この時、二つのブロック画像上のソリ曲線に対してそれぞれ補正を行うことで、直線は画像補正後、図1Bに示すように遮断される可能性がある。また、補正後の直線の傾きも異なる可能性があり、これにより図1Cに示すように画像中で二段の直線に変わってしまう。当然ながら、研究者もこの問題について研究した後、いくつかの方法によって解決している。比較的よく用いられる方法は、同じエンドポイントを持つ直線に対して融合を行う方法である。具体的には、球面歪曲画像中の分割線上でエンドポイントが同じ線分については、補正後の二段の直線を一本の直線に属すると考える。しかし、この方法は他の問題が生じる。まず、こうした方法は現実には一本の直線に属していない同じエンドポイントを持つ二本の直線を一本の直線と誤認してしまう。例えば、図1Dに示すように、球面歪曲画像中に一つの壁の角があり、その一方の壁ともう一方の壁の上下の輪郭線は実際には一本の直線には属さないが、二本の直線は同じエンドポイントを持っている。この時、もし角がちょうど画像の分割線上にあると、システムはその一方の壁ともう一方の壁の上下の二本の輪郭線を一本の直線と誤認する可能性がある。

次に、従来の直線検出方法を球面画像検出に応用すると、短めの直線を失ってしまう可能性がある。ノイズを低減するため、システムは長さが所定閾値より短い線をフィルタ・アウトする。すなわち、一本の直線の長さがその閾値より長い場合のみ、システムによって直線として検出される。図1Eに示すように、もし短めの直線が二段の直線に分けられた場合、それぞれ二つの部分に属する各直線がさらに短くなった後には容易に上述の所定閾値より短くなり、システムが検出できないようになってしまう。そうすると、こうした短めの直線は失われてしまう。

従来の直線検出方法は球面歪曲画像上でも従来のハフ直線変換方法を使用し続けるため、球面歪曲画像に対し分割及び補正をせざるを得ないことが分かる。ところがまさにこれらの分割のために画像中の直線は切断され、連続性は破壊されるか、あるいは直線がさらに短くなってシステムにノイズと誤認され、データは失われてしまう。よって、元画像に対し分割及び補正を行わない新しい直線検出方法が必要である。

本発明は以上の課題を鑑みたものであり、画像に対して分割及び補正を行わずに、第一パラメータ空間に基づき直接球面歪曲画像上の直線を検出できる画像処理方法及び画像処理装置を提供することを目的とする。

本発明の一つの実施例では、第一画像を取得するステップであって、直線は前記第一画像において所定球体の最大の円上のソリ曲線として現れる、ステップと、前記第一画像における複数の線を認識するステップと、第一パラメータ空間に基づき、前記線が直線であるか否かを決定するステップと、を含み、前記第一パラメータ空間における各点は前記所定球体の最大の円に対応し、前記第一画像における各点は前記第一パラメータ空間における最大の円に対応し、前記第一画像における同一直線上の複数の点に対応する複数の最大の円は前記第一パラメータ空間の所定の点で交わり、前記直線上に位置しない点に対応する最大の円は前記所定の点を通らない、画像処理方法を提供する。

本発明の実施例は、第一画像を取得する画像取得モジュールであって、直線は前記第一画像において所定球体の最大の円上のソリ曲線として現れる、画像取得モジュールと、前記第一画像における複数の線を認識する線認識モジュールと、第一パラメータ空間に基づき、前記線が直線であるか否かを決定する直線検出モジュールと、を含み、前記第一パラメータ空間における各点は前記所定球体の最大の円に対応し、前記第一画像における各点は前記第一パラメータ空間における最大の円に対応し、前記第一画像における同一直線上の複数の点に対応する複数の最大の円は前記第一パラメータ空間の所定の点で交わり、前記直線上に位置しない点に対応する最大の円は前記所定の点を通らない、画像処理装置をさらに提供する。

本発明の画像処理方法及び画像処理装置によれば、第一パラメータ空間を利用し、球面歪曲画像に対して直接的に直線検出を行い、その直線は球面歪曲画像上で所定球体の最大の円上のソリ曲線として現れ、第一パラメータ空間における各点は所定球体の最大の円に対応する。これによって、画像に対して分割及び補正を行うことなく、直接的に球面歪曲画像に対して直線検出を行うことができ、直線検出の過程で直線の連続性を損なうことなく、かつ短めの直線も検出することができる。

従来の直線検出方法を説明するための概略図。従来の直線検出方法を説明するための概略図。従来の直線検出方法を説明するための概略図。従来の直線検出方法を説明するための概略図。従来の直線検出方法を説明するための概略図。球面歪曲画像を説明するための概略図。球面歪曲画像を所定球体に投影することを説明するための概略図。直線が球面歪曲画像中でソリ曲線として表示する原理を説明するための概略図。本発明に係る第一パラメータ空間を説明するための概略図。第一パラメータ空間の特性を説明するための概略図。第一パラメータ空間の特性を説明するための概略図。本発明に係る実施例の画像処理方法のフローチャート。統計した第一パラメータ空間内の各ベクトルの累計数の累計行列。累積行列中のエッジ点を説明するための概略図。複数のエッジ点を統計した後の累積行列の概略図。本発明に係る画像処理装置の機能ブロック図。

当業者が本発明の技術をより良く理解するため、以下は図面と合わせて本発明の画像処理方法及び画像処理装置の具体的な実施形態について詳細に説明する。当然ながら、本発明はこれに限定されず、当業者が創造的労働を行わない前提の下で取得するその他全ての実施例は、みな本発明の保護範囲に属する。

（球面歪曲画像）
まず、図面を参照しながら本発明の球面歪曲画像を詳細に説明する。球面歪曲画像とは例えば広角レンズあるいはパノラマモードを用いて撮影した画像のことである。この時、レンズの焦点が小さいほど、あるいはパノラマモードの撮影範囲が大きいほど、歪みの程度は大きくなる。それでもし画像を超広角の魚眼レンズか、あるいは360°パノラマ画像を用いて撮影した場合、歪みの程度は非常に大きくなる。図2は球面歪曲画像を説明するための概略図である。図2に示すように、画像中に強い歪みが現れ、実際の直線が曲線に変わり、もはや単視点撮像の制約に適わないため、従来のハフ変換方法を使用して球面歪曲画像上の直線を検出することができない。

このような球面歪曲画像は三次元の所定球体に投影できる。図3は球面歪曲画像を所定球体に投影することを説明するための概略図である。図3に示すように、図2の球面歪曲画像は一つの所定球体中に投影することができる。この時、歪みの程度が大きいほど、球体は小さくなる。球面歪曲画像上の各点の経度及び緯度の情報は以下の式によって単位球体上の三次元座標に換算できる。

式中、（lat、lon）は球面歪曲画像上の任意の一つの点の経度及び緯度を表し、（x、y、z）はそれぞれ単位球体上の三次元座標を表す。

同様に、単位球体上の任意の一つの点の三次元座標は以下の式によって元の球面歪曲画像上の経度及び緯度の情報に換算できる。

図4は直線が球面歪曲画像中でソリ曲線として表される原理を説明するための概略図である。図4に示すように、実際の直線l₁は球面歪曲画像上で球面上の最大円C上のソリ曲線と撮像されるが、その中の最大円は球心を通る平面πと球体が交わって生じる円形である。

（第一パラメータ空間）
続いて、図面を参照しながら第一パラメータ空間を詳細に説明する。第一パラメータ空間中の各点はその所定球体の最大円に対応する。上述したように、最大円は球心を通る平面πと球体が交わって生じる円形であり、したがってそれぞれの最大円は平面πに対応できる。図4に示すように、最大円に垂直な平面πにあるベクトルnにより第一パラメータ空間上の各点を表示できる。これで球面歪曲画像上の各点はすべて第一パラメータ空間上で一意に最大円にマッピングされ、球面歪曲画像中の直線は一意に所定球体の最大円に、すなわち第一パラメータ空間中の一点にマッピングされる。

図5は本発明に係る第一パラメータ空間を説明するための概略図である。図5に示すように、方位角α及びピッチ角βを使用して第一パラメータ空間上の各点を表すことができ、-π≦α≦π、0≦β≦π/2となる。ここで、一つのベクトルnが決定する平面πとその反対のベクトル-nが決定する平面πは同じであるため、ピッチ角βの範囲は0≦β≦π/2でよい。注意すべき点として、その他の方式を使用して第一パラメータ空間上の各点を表すこともでき、第一パラメータ空間中の各点がその所定球体の最大円に対応してさえすればよい。この時、球面歪曲画像上の任意の一つの点P(ｘ_ｏ，ｙ_ｏ，ｚ_ｏ)は一意に一意の最大円Ｃ_ｎにマッピングされる。

こうして第一パラメータ空間は二つの特性があると定義する。

1.同一直線上の複数の点に対応する複数の最大円は所定の点と交わる。

2.直線上にない点に対応する最大円はその所定の点を通らない。

以下は図面を参照しながら二つの特性を詳細に説明する。

第一の特性について、同一直線上の複数の点は第一パラメータ空間にマッピングされた後にそれぞれ複数の最大円となり、これら最大円は共通の交点（α_ｏ，β_ｏ）を持ち、かつこの交点は一意で球面上のこの直線で表示できる。

図6A、6Bは本発明に係る第一パラメータ空間の特性を説明するための概略図である。図6Aに示すように、直線l₁上には3つの点p₁、p₂、p₃がある。上述のように、球面歪曲画像上の各点は第一パラメータ空間上でそれぞれの一つの最大円にマッピングされるが、図6Bに示すように、これら3つの点は第一パラメータ空間中で3つの最大円が共通に持つ交点（α_ｏ，β_ｏ）にマッピングされる。よって同一直線l₁上の3つの点p₁、p₂、p₃に対応する3つの最大円は所定の点（α_ｏ，β_ｏ）と交わることが分かる。

第二の特性について、図6A、6Bに示すように、球面歪曲画像上には直線ｌ_１とは異なる直線l₂上の点p₄があり、かつ点p₄は第一パラメータ空間中で対応する最大円は、（α_ｏ，β_ｏ）を通らない。よって、直線l₁上にない点に対応する最大円はその所定の点（α_ｏ，β_ｏ）を通らないことが分かる。

第一パラメータ空間のこれらの特性を利用して、直接的に球面歪曲画像上の直線検出ができ、画像に対する分割及び補正が不要なので、根本的に直線の連続性を保証でき、短めの直線が失われることもない。

（画像処理方法）
以下は図面を参照しながら本発明の画像処理方法を詳細に説明する。図7は本発明に係る実施例の画像処理方法のフローチャートである。図7に示すように、当該方法には以下が含まれる。

まず、球面歪曲画像（ステップS710）を取得する。球面歪曲画像は例えば超広角レンズあるいはパノラマモードにより取得した画像である。上述したように、実際の直線は球体歪み画像上所定球体の最大円上のソリ曲線としてレンダリングされる（現れる）。通常の状況下で、球面歪曲画像中の各点の座標は経緯度で表す。

続いて、その球面歪曲画像中の複数の線を認識する（ステップS720）。複数の線は球面歪曲画像中の対象のエッジ情報から取得でき、これにより図2に示すような線画像を取得できる。Canny演算子あるいはSobel演算子等、いかなる従来の方法を用いてもエッジ検出を行うことができるので、その詳細についてはここでは述べない。

最後に、第一パラメータ空間に基づき前記線が直線であるか否かを決定する（ステップS730）。上述のように、球面歪曲画像は三次元の所定球体に投影され、かつ実際の直線は球面歪曲画像上で所定球体上の最大円上のソリ曲線としてレンダリングされる。よって、認識した線が第一パラメータ空間中のある一点に対応する最大円上のソリ曲線でありさえすれば、当該の線が実際に直線であると決定できる。

第一パラメータ空間の特性に基づき、同一直線上の複数の点に対応する複数の最大円は所定の点に交わり、かつ直線上に位置しない点に対応する最大円は当該所定の点を通らない。よって、ある線が直線か否かを判断する時、当該直線から複数のエッジ点を抽出し、その後再び第一パラメータ空間の特性に基づきこれらのエッジ点が対応する最大円が所定の点を通るか否か判断し、それにより複数の特定のエッジ点が特定の直線上にあるか否かを決定できる。

具体的に言えば、式（1）により球面歪曲画像上の各エッジ点の経度及び緯度を球体上の三次元座標に変換でき、かつ以下の処理を行う。

まず、球面歪曲画像上の各点はすべて第一パラメータ空間中の一つの最大円に対応するので、式（4）により第一パラメータ空間中の各エッジ点に対応する最大円のベクトルの集合を取得できる。ここで、各最大円上には無限のベクトルがあるものの、計算し易くするため、これら無限のベクトルを離散化し、所定の間隔に従って値を取ることができる。例えば、方位角α及びピッチ角βはすべて1°の間隔で値を取り、こうしてベクトルの集合を取得する。

その後、前記の複数のエッジ点に対し前記第一パラメータ空間内の各ベクトルの累計数を統計する。この時、累積行列を使用してこれら最大円が第一パラメータ空間中で一点に交わるか否か検証できる。図8は統計した第一パラメータ空間内の各ベクトルの累計数の累計行列である。図8に示すように、累積行列のX軸及びY軸はそれぞれ第一パラメータ空間の各一点（ベクトル）の方位角α及びピッチ角βを表すことができ、-π≦α≦π、0≦β≦π/2となる。Z軸は累積数を表すことができる。例えば、30個のエッジ点を取り出し、かつこれらのエッジ点が特定の直線上にあるか否かを判断する時、式（4）によってこの30個のエッジ点に対応する30個の最大円を取得し、かつこれら最大円を順次累積行列の中に蓄積することができる。具体的には、上述の離散化したベクトルの集合を上述の累積行列の中に表すことができる。球面歪曲画像上の各点は第一パラメータ空間の最大円に対応するので、離散化された当該の最大円は累積行列の中で複数の点として表示され、図9に示すように、それぞれの点は一つのベクトルを代表する。この30個のエッジ点に対応するベクトルの集合を順次累積行列の中に追加し、パラメータ（α、β）が一回出現するたびに、累積行列中の（α、β）がZ軸上で一つ加わり、このようにして最終的に図10に示すような累積行列を取得できる。取り出すエッジ点の数は30個に限らず、他のいかなる数のエッジ点でも取り出してよいことは言うまでもない。

最後に、累積数が所定閾値よりも大きいベクトルに対応するエッジ点の集合を特定の直線上にあるものとして決定する。Z軸はベクトルの累積数を表すので、累積の高さが高いほど、さらに多くの最大円がその点で交わることを意味する。第一パラメータ空間の特性に基づき、同一直線上の複数のエッジ点に対応する複数の最大円は所定の点で交わるので、所定の閾値を設定し、かつ複数のエッジ点がその対応する最大円とその点（すなわちその点の方位角α及びピッチ角βに対応する第一パラメータ空間上のベクトル）で交わる数が所定閾値よりも大きい場合、その点に対応するエッジ点の集合を特定の直線上にあるものと決定できる。

その他、上述の方法により第一パラメータ空間に基づき複数のエッジが特定の直線上にあるか否かを決定した後、球面歪曲画像上に決定した特定の直線を表示できる。例えば、上述の処理により複数のエッジ点が特定の直線に属することを決定した後、式（2）によりこれらエッジ点の三次元座標を球面歪曲画像上の経緯度に変換し、かつ特定の色を使用し球面歪曲画像上でこれらのエッジ点を表し、これによりユーザーに対し決定した特定の直線をレンダリングすることができる。

以上の方法により、画像に対して分割及び補正を行うことなく、第一パラメータ空間に基づき直接的に球面歪曲画像上の直線を検出できるので、直線検出の過程で直線の連続性を損なうことなく、かつ短めの直線も検出することができる。

以上、本発明の画像処理方法の多数の実施例を説明した。当業者であれば本発明の精神と範囲内を逸脱することなく上述の実施例に対して様々な組み合わせ、修正あるいは変形を行うことが可能であるのは言うまでもない。当業者が創造的労働を行わない前提の下で取得するその他全ての実施例は、みな本発明の保護範囲に属する。

（画像処理装置）
以下は図面を参照しながら本発明の画像処理装置について詳細に説明する。本発明の画像処理装置は例えばデジタルカメラ、ドライブレコーダー等の撮像機能を主とする装置でよく、スマートフォン、タブレットパソコン等の撮像機能を備える演算機能を主とする装置でもよく、また撮像機能を備えない単純な画像処理装置でもよく、球面歪曲画像を取得出来さえすればよい。

図11は本発明の実施例に基づく画像処理装置の機能ブロック図である。図11に示すように、本発明の画像処理装置1100は、画像取得モジュール1110、線認識モジュール1120及び直線検出モジュール1130を含む。

以下は図面と合わせて本発明の画像処理装置の各モジュールの操作を詳細に説明する。

画像取得モジュール1110は球面歪曲画像を取得する。球面歪曲画像は例えば超広角レンズあるいはパノラマモードにより取得した画像である。画像処理装置がデジタルカメラなど撮影機能を主とする設備、あるいは撮影機能を備える他の設備である時、当該画像処理装置上のカメラにより球面歪曲画像を取り込むことができる。当然ながら、画像処理装置は他の設備あるいは記憶装置中から球面歪曲画像を取得することもできる。上述したように、実際の直線は球面歪曲画像上で所定球体の最大円上のソリ曲線としてレンダリングされる。通常の状況下で、球面歪曲画像中の各点の座標は経緯度で表す。

線認識モジュール1120は当該球面歪曲画像中の複数の線を認識する。複数の線は球面歪曲画像中の対象のエッジ情報から抽出することができ、それにより図2に示す線画像を取得できる。Canny演算子またはSobel演算子等、いかなる従来の方法を用いてもエッジ検出を行うことができるので、その詳細についてはここでは述べない。

直線検出モジュール1130は第一パラメータ空間に基づいてその線が直線であるか否かを決定する。上述したように、球面歪曲画像は三次元の所定球体に投影でき、かつ実際の直線は球面歪曲画像上で所定球体の最大円上のソリ曲線としてレンダリングされる。よって認識した線が第一パラメータ空間中のある一点に対応する最大円上のソリ曲線でありさえすれば、その線が実際に直線であると決定できる。

第一パラメータ空間の特性に基づき、同一直線上の複数の点に対応する複数の最大円は所定の点と交わり、かつ直線上に位置しない点に対応する最大円はその所定の点を通らない。よって、ある線が直線であるか否か判断する時、当該の線から複数のエッジ点を抽出し、その後再び第一パラメータ空間の特性に基づきこれらのエッジ点が対応する最大円が所定の点を通るか否か判断し、これにより複数の特定のエッジ点が特定の直線上にあるか否かを決定できる。

具体的には、式（1）により球面歪曲画像上のエッジ点それぞれの経度及び緯度を球体上の三次元座標に変換し、かつ以下の処理を行う。

その後、その複数のエッジ点に対し前記第一パラメータ空間内の各ベクトルの累計数を統計する。この時、累積行列を使用してこれら最大円が第一パラメータ空間中で一点に交わるか否か検証できる。図8は統計した第一パラメータ空間内の各ベクトルの累計数の累計行列である。図8に示すように、累積行列のX軸及びY軸はそれぞれ第一パラメータ空間の各一点（ベクトル）の方位角α及びピッチ角βを表すことができ、-π≦α≦π、0≦β≦π/2となる。Z軸は累積数を表すことができる。例えば、30個のエッジ点を取り出し、かつこれらのエッジ点が特定の直線上にあるか否かを判断する時、式（4）によってこの30個のエッジ点に対応する30個の最大円を取得し、かつこれら最大円を順次累積行列の中に蓄積することができる。具体的には、上述の離散化したベクトルの集合を上述の累積行列の中に表すことができる。球面歪曲画像上の各点は第一パラメータ空間の最大円に対応するので、離散化された当該の最大円は累積行列の中で複数の点として表示され、図9に示すように、それぞれの点は一つのベクトルを代表する。この30個のエッジ点に対応するベクトルの集合を順次累積行列の中に追加し、パラメータ（α、β）が一回出現するたびに、累積行列中の（α、β）がZ軸上で一つ加わり、このようにして最終的に図10に示すような累積行列を取得できる。取り出すエッジ点の数は30個に限らず、他のいかなる数のエッジ点でも取り出してよいことは言うまでもない。

最後に、累積数が所定閾値を上回るベクトルに対応するエッジ点の集合を特定の直線上にあるものとして決定する。Z軸はベクトルの累積数を表すので、累積の高さが高いほど、さらに多くの最大円がその点で交わることを意味する。第一パラメータ空間の特性に基づき、同一直線上の複数のエッジ点に対応する複数の最大円は所定の点で交わるので、所定の閾値を設定し、かつ複数のエッジ点がその対応する最大円とその点（すなわちその点の方位角α及びピッチ角βに対応する第一パラメータ空間上のベクトル）で交わる数が所定閾値よりも大きい場合、当該点に対応するエッジ点の集合を特定の直線上にあるものとして決定できる。

その他、画像処理装置1100はさらにレンダリング（表示）モジュールを含み、第一パラメータ空間に基づき複数のエッジが特定の直線上にあるか否かを決定した後、球面歪曲画像上にその決定した特定の直線をレンダリング（表示）する。例えば、上述の処理により複数のエッジ点が特定の直線に属することを決定した後、式（2）によりこれらエッジ点の三次元座標を球面歪曲画像上の経緯度に変換し、かつ特定の色を使用し球面歪曲画像上でこれらのエッジ点を表し、これによりユーザーに対し決定した特定の直線をレンダリングすることができる。

以上の処理により、画像に対して分割及び補正を行うことなく、第一パラメータ空間に基づき直接的に球面歪曲画像上の直線を検出できるので、直線検出の過程で直線の連続性を損なうことなく、かつ短めの直線も検出することができる。

以上の実施方式の説明によって、当業者であれば本発明はソフトウェアに不可欠なハードウェアを加えたプラットホームの方法で実現できること、また当然すべてをハードウェアによって実施できることもはっきり理解できる。こうした理解に基づき、本発明の技術案は背景技術が寄与するすべてあるいは一部に対してソフトウェア製品の形式で実現でき、当該コンピュータソフトウェア製品はROM/RAM、磁気ディスク、コンパクトディスクのような記憶媒体に記憶でき、幾らかのコマンドを含んだコンピュータ機器（パーソナルコンピュータ、サーバ、あるいはネットワークデバイスなどでよい）に本発明の各実施例あるいは実施例のある部分の方法を実行させることができる。

以上、本発明の画像処理装置の多数の実施例を説明した。明らかに、当業者は本発明の精神及び範囲内を逸脱することなく上述の実施例に対して様々な組み合わせ、修正あるいは変形を行うことができる。当業者が創造的労働を行わない前提の下で取得したその他すべての実施例は、みな本発明の保護範囲に属する。

Claims

第一画像を取得するステップであって、直線は前記第一画像において所定球体の最大の円上のソリ曲線として現れる、ステップと、
前記第一画像における複数の線を認識するステップと、
第一パラメータ空間に基づき、前記線が直線であるか否かを決定するステップと、を含み、
前記第一パラメータ空間における各点は前記所定球体の最大の円に対応し、前記第一画像における各点は前記第一パラメータ空間における最大の円に対応し、前記第一画像における同一直線上の複数の点に対応する複数の最大の円は前記第一パラメータ空間の所定の点で交わり、前記直線上に位置しない点に対応する最大の円は前記所定の点を通らない、画像処理方法。
前記所定球体の最大の円の所在する平面に垂直なベクトルの方位角α及びピッチ角βを用いて前記第一パラメータ空間における各点を表し、-π≦α≦π、0≦β≦π/2とする、請求項１に記載の画像処理方法。
前記第一パラメータ空間に基づき、前記線が直線であるか否かを決定するステップは、
前記線から複数のエッジ点を抽出するステップと、
第一パラメータ空間に基づき、複数の特定のエッジ点が特定の直線上にあるか否かを決定するステップと、を含む、請求項１に記載の画像処理方法。
前記第一パラメータ空間に基づき、複数の特定のエッジ点が特定の直線上にあるか否かを決定するステップは、
前記第一パラメータ空間における前記エッジ点に対応する最大の円のベクトルの集合を取得するステップと、
前記複数のエッジ点に対して前記第一パラメータ空間内の各ベクトルの累積数を統計するステップと、
累積数が所定閾値よりも大きいベクトルに対応するエッジ点の集合を特定の直線上にあるものとして決定するステップと、を含む、請求項３に記載の画像処理方法。
前記第一パラメータ空間に基づき、複数の特定のエッジ点が特定の直線上にあるか否かを決定した後に、
前記第一画像において、決定された特定の直線を表示するステップ、をさらに含む、請求項３に記載の画像処理方法。
第一画像を取得する画像取得モジュールであって、直線は前記第一画像において所定球体の最大の円上のソリ曲線として現れる、画像取得モジュールと、
前記第一画像における複数の線を認識する線認識モジュールと、
第一パラメータ空間に基づき、前記線が直線であるか否かを決定する直線検出モジュールと、を含み、
前記第一パラメータ空間における各点は前記所定球体の最大の円に対応し、前記第一画像における各点は前記第一パラメータ空間における最大の円に対応し、前記第一画像における同一直線上の複数の点に対応する複数の最大の円は前記第一パラメータ空間の所定の点で交わり、前記直線上に位置しない点に対応する最大の円は前記所定の点を通らない、画像処理装置。
前記所定球体の最大の円の所在する平面に垂直なベクトルの方位角α及びピッチ角βを用いて前記第一パラメータ空間における各点を表し、-π≦α≦π、0≦β≦π/2とする、請求項６に記載の画像処理装置。
前記直線検出モジュールは、前記線から複数のエッジ点を抽出し、かつ第一パラメータ空間に基づき、複数の特定のエッジ点が特定の直線上にあるか否かを決定することにより、前記線が直線であるか否かを決定する、請求項６に記載の画像処理装置。
前記直線検出モジュールは、前記第一パラメータ空間における前記エッジ点に対応する最大の円のベクトルの集合を取得し、前記複数のエッジ点に対して前記第一パラメータ空間内の各ベクトルの累積数を統計し、かつ累積数が所定閾値よりも大きいベクトルに対応するエッジ点の集合を特定の直線上にあるものとして決定することによって、複数の特定のエッジ点が特定の直線上にあるか否かを決定する、請求項８に記載の画像処理装置。
前記第一画像において、決定された特定の直線を表示する表示モジュール、をさらに含む、請求項８に記載の画像処理装置。
第一画像を取得するステップであって、直線は前記第一画像において所定球体の最大の円上のソリ曲線として現れる、ステップと、
前記第一画像における複数の線を認識するステップと、
第一パラメータ空間に基づき、前記線が直線であるか否かを決定するステップと、をコンピュータに実行させるためのプログラムであって、
前記第一パラメータ空間における各点は前記所定球体の最大の円に対応し、前記第一画像における各点は前記第一パラメータ空間における最大の円に対応し、前記第一画像における同一直線上の複数の点に対応する複数の最大の円は前記第一パラメータ空間の所定の点で交わり、前記直線上に位置しない点に対応する最大の円は前記所定の点を通らない、プログラム。
第一画像を取得するステップであって、直線は前記第一画像において所定球体の最大の円上のソリ曲線として現れる、ステップと、
前記第一画像における複数の線を認識するステップと、
第一パラメータ空間に基づき、前記線が直線であるか否かを決定するステップと、をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
前記第一パラメータ空間における各点は前記所定球体の最大の円に対応し、前記第一画像における各点は前記第一パラメータ空間における最大の円に対応し、前記第一画像における同一直線上の複数の点に対応する複数の最大の円は前記第一パラメータ空間の所定の点で交わり、前記直線上に位置しない点に対応する最大の円は前記所定の点を通らない、記録媒体。