JPH05165957A - 画像処理方法 - Google Patents
画像処理方法Info
- Publication number
- JPH05165957A JPH05165957A JP3327723A JP32772391A JPH05165957A JP H05165957 A JPH05165957 A JP H05165957A JP 3327723 A JP3327723 A JP 3327723A JP 32772391 A JP32772391 A JP 32772391A JP H05165957 A JPH05165957 A JP H05165957A
- Authority
- JP
- Japan
- Prior art keywords
- polar
- image
- receptive field
- plane
- conversion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【目的】 高速化と小型化が可能で、しかも他に干渉さ
れずに精度よく線分を抽出すること。 【構成】 N×Nサイズの対象物体画像IMGをm×m
の小領域である受容野に分割し、受容野メモリ15に順
次記憶される各受容野内の画像に対して極変換部16で
極変換を施して出力(ハイパーコラム像)をハイパーコ
ラムメモリ17に記憶し、極変換出力に基づいて特徴抽
出部18で画像処理を行って特徴を抽出する。極変換と
しては球面上の極変換または円筒上の極変換または平面
上の極変換など任意の曲面上の極変換が適用できる。
れずに精度よく線分を抽出すること。 【構成】 N×Nサイズの対象物体画像IMGをm×m
の小領域である受容野に分割し、受容野メモリ15に順
次記憶される各受容野内の画像に対して極変換部16で
極変換を施して出力(ハイパーコラム像)をハイパーコ
ラムメモリ17に記憶し、極変換出力に基づいて特徴抽
出部18で画像処理を行って特徴を抽出する。極変換と
しては球面上の極変換または円筒上の極変換または平面
上の極変換など任意の曲面上の極変換が適用できる。
Description
【0001】
【産業上の利用分野】本発明は画像処理方法に係わり、
特に対象物体の三次元的な特徴を抽出する画像処理方法
に関する。ロボットが障害物を回避して移動したり、対
象物に対して的確な作業を行うためには、障害物や対象
物までの距離を空間的に計測する必要がある。特に、プ
ラントや倉庫等の狭隘な環境内で移動するためには、こ
れまでのロボット用視覚の視野(50度)では不十分で
あり、人間並の視野(180度近く)で周囲まで把握し
ながら立体計測を行う必要がある。このため、ロボット
の眼として魚眼レンズが用いられるが、魚眼レンズで取
り込んだ画像は歪んだ画像となるため、特殊な画像処理
が求められる。
特に対象物体の三次元的な特徴を抽出する画像処理方法
に関する。ロボットが障害物を回避して移動したり、対
象物に対して的確な作業を行うためには、障害物や対象
物までの距離を空間的に計測する必要がある。特に、プ
ラントや倉庫等の狭隘な環境内で移動するためには、こ
れまでのロボット用視覚の視野(50度)では不十分で
あり、人間並の視野(180度近く)で周囲まで把握し
ながら立体計測を行う必要がある。このため、ロボット
の眼として魚眼レンズが用いられるが、魚眼レンズで取
り込んだ画像は歪んだ画像となるため、特殊な画像処理
が求められる。
【0002】
【従来の技術】このような要請に対して、球面写像法に
よる運動立体視を考案し、既に提案している(例えば特
公平3-52106号または川上著、科学朝日 June 1987 参
照)。運動立体視は移動することによって生じる運動視
差から立体感をつかむもので、魚眼カメラを移動しなが
ら入力した画像を、球面上で処理して線分・点・円柱等
を三次元的に計測する。
よる運動立体視を考案し、既に提案している(例えば特
公平3-52106号または川上著、科学朝日 June 1987 参
照)。運動立体視は移動することによって生じる運動視
差から立体感をつかむもので、魚眼カメラを移動しなが
ら入力した画像を、球面上で処理して線分・点・円柱等
を三次元的に計測する。
【0003】図27は球面写像の説明図である。魚眼レ
ンズを通して入力する画像は、球面上に投影されて歪ん
でいる。従って、球面上の処理に適した球面写像(球面
上の極変換)という操作が必要となる。この球面写像
は、図27(a)に示すように、球面上の任意の点Pを、
それを極とする大円(球面上の最大の円で赤道に相当す
る)Rに変換する操作である。この球面写像によれば、
図27(b)に示すように、線分Lを構成する点P1,
P2,P3・・・について、それらが球面上に投影された
点P1′,P2′,P3′・・・を極とする大円R1,
R2,R3・・・を描いていくと、各大円は常に一点Sで
交差する。この交差点Sが線分Lに1対1に対応した固
有の点になる。そして、線分Lが長い程Lの要素である
点の数は多く、従って大円の数も増え、Sでの大円の重
なりの度合が高くなる。こうして、線分はそれと対応す
る球面上の点として抽出され、又、各点での大円の交差
度のヒストグラムをとると線分の長さも計測できる。
尚、線分Lに対応する点Sの幾何学的意味は、「線分L
の球面上への投影L′を大円とする極である」といえ
る。
ンズを通して入力する画像は、球面上に投影されて歪ん
でいる。従って、球面上の処理に適した球面写像(球面
上の極変換)という操作が必要となる。この球面写像
は、図27(a)に示すように、球面上の任意の点Pを、
それを極とする大円(球面上の最大の円で赤道に相当す
る)Rに変換する操作である。この球面写像によれば、
図27(b)に示すように、線分Lを構成する点P1,
P2,P3・・・について、それらが球面上に投影された
点P1′,P2′,P3′・・・を極とする大円R1,
R2,R3・・・を描いていくと、各大円は常に一点Sで
交差する。この交差点Sが線分Lに1対1に対応した固
有の点になる。そして、線分Lが長い程Lの要素である
点の数は多く、従って大円の数も増え、Sでの大円の重
なりの度合が高くなる。こうして、線分はそれと対応す
る球面上の点として抽出され、又、各点での大円の交差
度のヒストグラムをとると線分の長さも計測できる。
尚、線分Lに対応する点Sの幾何学的意味は、「線分L
の球面上への投影L′を大円とする極である」といえ
る。
【0004】図28は球面写像を用いた運動立体視によ
る三次元計測するシステムの構成図である。球面カメラ
1に内蔵された魚眼レンズから画像IMGが入力される
と、輪郭抽出部2は輪郭のみを抽出して情報を圧縮し、
内蔵の球面投影画像メモリ2aに書き込む。尚、物体の
輪郭は、画面内の明るさ変化が最大となるところを微分
で検出することにより取り出せる。
る三次元計測するシステムの構成図である。球面カメラ
1に内蔵された魚眼レンズから画像IMGが入力される
と、輪郭抽出部2は輪郭のみを抽出して情報を圧縮し、
内蔵の球面投影画像メモリ2aに書き込む。尚、物体の
輪郭は、画面内の明るさ変化が最大となるところを微分
で検出することにより取り出せる。
【0005】次に、線分抽出部3で球面上の線分(以
下、大円と記す)を球面写像法により、”一点”に濃縮
して抽出する。この線分抽出が三次元計測システムの重
要なプロセスであり、また処理時間の大半を占める部分
である。線分抽出は、例えば、各輪郭点を球面写像によ
り極変換部3aで大円に変換し、各大円の情報を写像メ
モリ3bに書き込む。写像メモリ3bのアドレスは図2
9に示すごとく球面CB上の一点Pを表す経度α及び緯
度βによって与えられる。このアドレスにより指定され
る写像メモリの各セルは、例えばカウンタで構成され、
書き込まれる毎に1づつインクリメントするようになっ
ている。従って、全輪郭点を球面写像で大円に変換後、
S点検出部3cで写像メモリの各セルをスキャンして、
カウント値のピーク位置を求めれば、該ピーク位置が図
27(b)で説明したように線分の極(S点)となり、線分
が抽出できる。
下、大円と記す)を球面写像法により、”一点”に濃縮
して抽出する。この線分抽出が三次元計測システムの重
要なプロセスであり、また処理時間の大半を占める部分
である。線分抽出は、例えば、各輪郭点を球面写像によ
り極変換部3aで大円に変換し、各大円の情報を写像メ
モリ3bに書き込む。写像メモリ3bのアドレスは図2
9に示すごとく球面CB上の一点Pを表す経度α及び緯
度βによって与えられる。このアドレスにより指定され
る写像メモリの各セルは、例えばカウンタで構成され、
書き込まれる毎に1づつインクリメントするようになっ
ている。従って、全輪郭点を球面写像で大円に変換後、
S点検出部3cで写像メモリの各セルをスキャンして、
カウント値のピーク位置を求めれば、該ピーク位置が図
27(b)で説明したように線分の極(S点)となり、線分
が抽出できる。
【0006】以上により線分が一点に濃縮して抽出され
た”点”データにより、以降の三次元計測は簡単に行わ
れる(例えば、特願平1−157906号参照)。”
点”データが線分計測部4に入力されると、画面内の直
線部分の三次元データ(方向・距離)が出力される。例
えば、線分の方位を測定するには、線分に対し球面カメ
ラ1を直線移動させる。そして、次々に得られる画像か
ら、前述の線分抽出を繰り返す。図30は、球面カメラ
を直線移動させたときの、線分とカメラの相対的な位置
関係を示す。線分が相対的に動いたL,L′,L″・・
・に対する球面上の極S,S′,S″・・・は大円上を
移動して行く。その各点について球面写像を行い、大円
R,R′,R″・・・を描いて行くと、各大円の交点S
s は、極S,S′,S″・・・の乗っている大円の極で
ある。そして、球の中心からSs点へのベクトルが、実
際の線分Lと平行になっており、これより線分の方位が
わかる。Ss点の幾何学的意味は、元の線分の無限遠の
消失点が球面に映ったものである。つまり、この方法は
遠近投影法の理屈から線の方向を決定しているわけであ
る。すなわち、抽出された各極S,S′,S″・・・を
それぞれ球面写像により大円に変換し、各大円情報を写
像メモリに書き込み、該メモリをスキャンしてカウント
値のピーク位置を求めれば、該ピーク位置方向が線分方
向として検出される。尚、図30から明らかなようにカ
メラを移動させないで得られたSs点は平行線の集まり
である。
た”点”データにより、以降の三次元計測は簡単に行わ
れる(例えば、特願平1−157906号参照)。”
点”データが線分計測部4に入力されると、画面内の直
線部分の三次元データ(方向・距離)が出力される。例
えば、線分の方位を測定するには、線分に対し球面カメ
ラ1を直線移動させる。そして、次々に得られる画像か
ら、前述の線分抽出を繰り返す。図30は、球面カメラ
を直線移動させたときの、線分とカメラの相対的な位置
関係を示す。線分が相対的に動いたL,L′,L″・・
・に対する球面上の極S,S′,S″・・・は大円上を
移動して行く。その各点について球面写像を行い、大円
R,R′,R″・・・を描いて行くと、各大円の交点S
s は、極S,S′,S″・・・の乗っている大円の極で
ある。そして、球の中心からSs点へのベクトルが、実
際の線分Lと平行になっており、これより線分の方位が
わかる。Ss点の幾何学的意味は、元の線分の無限遠の
消失点が球面に映ったものである。つまり、この方法は
遠近投影法の理屈から線の方向を決定しているわけであ
る。すなわち、抽出された各極S,S′,S″・・・を
それぞれ球面写像により大円に変換し、各大円情報を写
像メモリに書き込み、該メモリをスキャンしてカウント
値のピーク位置を求めれば、該ピーク位置方向が線分方
向として検出される。尚、図30から明らかなようにカ
メラを移動させないで得られたSs点は平行線の集まり
である。
【0007】又、対象点までの奥行きの測定原理は以下
の如くである。まず、図31(a)に示すように、二次元
平面上でカメラから点Pまでの距離を測定する方法につ
いて考える。カメラをC0,C1,C2・・・と並進させ
てゆくと、点Pの見える方向がSk0,Sk1,Sk2・・・と
変化して行く。各時点におけるカメラの位置から点Pが
見える方向に直線を引くと、これらの直線は一点すなわ
ちPで交差する。そこで、交点Pを求めれば、カメラの
最初の位置C0から目的の点Pまでの距離は線分C0Pの
長さで与えられる。同様の操作を球面上で行う。図31
(b)において、右の平面は図31(a)と同じものであり、
線分OΣと垂直に置かれている。又、平面から球面への
対応を点線で示している。カメラの移動方向をVとす
る。カメラをΔx0進める毎に点PがP0,P1,P2・・
・と移動して見えたとし、球面へのそれらの投影をS
k0,Sk1,Sk2・・・とする。点Σは、点Pの軌跡を球面
に投影した大円Rの極であり、Sk0,Sk1,Sk2・・・を
球面写像した大円群の交点として得られる。ベクトルV
の端点vと点Σを通る大円R′の、点Σから点vに到る
1/4円周上に時間軸(τ軸)をとり、点Σをτ=0す
なわち、点C0とする。以下、点C0からの長さが τ=arctan (iη) i=1,2,・・・ となる点C1,C2・・・とする。ただし、η=Δx0/R
0である。この操作は、図31(b)の右側の平面上にある
C0,C1,C2・・・の間隔を1/R0倍して球面上にプロ
ットすることに相当する。上式で、i→∞とすればわか
るように、端点vは無限遠点である。
の如くである。まず、図31(a)に示すように、二次元
平面上でカメラから点Pまでの距離を測定する方法につ
いて考える。カメラをC0,C1,C2・・・と並進させ
てゆくと、点Pの見える方向がSk0,Sk1,Sk2・・・と
変化して行く。各時点におけるカメラの位置から点Pが
見える方向に直線を引くと、これらの直線は一点すなわ
ちPで交差する。そこで、交点Pを求めれば、カメラの
最初の位置C0から目的の点Pまでの距離は線分C0Pの
長さで与えられる。同様の操作を球面上で行う。図31
(b)において、右の平面は図31(a)と同じものであり、
線分OΣと垂直に置かれている。又、平面から球面への
対応を点線で示している。カメラの移動方向をVとす
る。カメラをΔx0進める毎に点PがP0,P1,P2・・
・と移動して見えたとし、球面へのそれらの投影をS
k0,Sk1,Sk2・・・とする。点Σは、点Pの軌跡を球面
に投影した大円Rの極であり、Sk0,Sk1,Sk2・・・を
球面写像した大円群の交点として得られる。ベクトルV
の端点vと点Σを通る大円R′の、点Σから点vに到る
1/4円周上に時間軸(τ軸)をとり、点Σをτ=0す
なわち、点C0とする。以下、点C0からの長さが τ=arctan (iη) i=1,2,・・・ となる点C1,C2・・・とする。ただし、η=Δx0/R
0である。この操作は、図31(b)の右側の平面上にある
C0,C1,C2・・・の間隔を1/R0倍して球面上にプロ
ットすることに相当する。上式で、i→∞とすればわか
るように、端点vは無限遠点である。
【0008】次に、平面上の直線が球面上では大円に相
当することを考慮すると、i=0,1,2,・・・につ
いて点C0と点Sk0、点C1と点Sk1、点C2と点Sk2、
・・・をそれぞれ大円で結ぶ。すると、これらの大円は
一点すなわちQで交差する。これより、カメラの最初の
位置C0から点Pまでの距離はR0tan(弧C0Qの長さ)
で与えられる。
当することを考慮すると、i=0,1,2,・・・につ
いて点C0と点Sk0、点C1と点Sk1、点C2と点Sk2、
・・・をそれぞれ大円で結ぶ。すると、これらの大円は
一点すなわちQで交差する。これより、カメラの最初の
位置C0から点Pまでの距離はR0tan(弧C0Qの長さ)
で与えられる。
【0009】次に、同じ”点”データが円柱計測部5に
入力されると、円柱部分の三次元データ(方向、距離、
直径)が出力される。すなわち、前述のように平行線が
求まるから、これより円柱、その直径を求めることがで
き、又、線分の場合と同様に方向、距離を求めることが
できる。プラントなどの人工環境では、上記の直線と円
柱で殆ど計測されるが、それ以外の部分を把握する必要
が生じた場合には、生の点データを点計測部6に入力し
て空間内の各点の位置を三次元的に計測する。
入力されると、円柱部分の三次元データ(方向、距離、
直径)が出力される。すなわち、前述のように平行線が
求まるから、これより円柱、その直径を求めることがで
き、又、線分の場合と同様に方向、距離を求めることが
できる。プラントなどの人工環境では、上記の直線と円
柱で殆ど計測されるが、それ以外の部分を把握する必要
が生じた場合には、生の点データを点計測部6に入力し
て空間内の各点の位置を三次元的に計測する。
【0010】
【発明が解決しようとする課題】上記従来の三次元計測
システムには以下の課題がある。その1つは高速化と小
型化の課題であり、他は干渉抑制の課題である。高速化と小型化の両立 前述のように、魚眼レンズを用いた三次元計測では処理
時間の大半が線分抽出に占められている。その主因は、
線分を抽出するためには入力画像中の各点を、球面写
像、すなわち、球面上の大円へと次元を拡大して写像す
ることにある。入力画像のサイズをN×Nとすれば、球
面写像で各点を長さNの大円に変換するには、入力画像
のN倍のN3の処理が必要となり高速化の障害となる。
これをハードウェアの並列化である程度の改良はできる
が本質的な解決ではなく、高速化と小型化を両立させた
線分抽出法の改良が望まれる。
システムには以下の課題がある。その1つは高速化と小
型化の課題であり、他は干渉抑制の課題である。高速化と小型化の両立 前述のように、魚眼レンズを用いた三次元計測では処理
時間の大半が線分抽出に占められている。その主因は、
線分を抽出するためには入力画像中の各点を、球面写
像、すなわち、球面上の大円へと次元を拡大して写像す
ることにある。入力画像のサイズをN×Nとすれば、球
面写像で各点を長さNの大円に変換するには、入力画像
のN倍のN3の処理が必要となり高速化の障害となる。
これをハードウェアの並列化である程度の改良はできる
が本質的な解決ではなく、高速化と小型化を両立させた
線分抽出法の改良が望まれる。
【0011】干渉の抑制 球面写像による線分抽出では、着目する大円の延長戦上
に、それと方向の近い大円があると、それらが干渉して
抽出される線分の精度を劣化させる。例えば、図32に
示すように立体A,Bの稜線AL,BLが浅い角度で交
差するような場合には、球面上において着目する大円の
延長線上に、それに近い大円が存在してしまう。複雑な
環境の中から対象物を的確に計測するには、干渉の少な
い線分抽出が必要であり、高速化・小型化と両立する改
良策が望まれる。
に、それと方向の近い大円があると、それらが干渉して
抽出される線分の精度を劣化させる。例えば、図32に
示すように立体A,Bの稜線AL,BLが浅い角度で交
差するような場合には、球面上において着目する大円の
延長線上に、それに近い大円が存在してしまう。複雑な
環境の中から対象物を的確に計測するには、干渉の少な
い線分抽出が必要であり、高速化・小型化と両立する改
良策が望まれる。
【0012】以上から本発明の目的は、高速化と小型化
が可能な画像処理方法を提供することである。本発明の
別の目的は、他の線分に干渉されずに精度よく線分を抽
出できる画像処理方法を提供することである。
が可能な画像処理方法を提供することである。本発明の
別の目的は、他の線分に干渉されずに精度よく線分を抽
出できる画像処理方法を提供することである。
【0013】
【課題を解決するための手段】図1は本発明の原理説明
図である。12は所定入力プレーンに投影されたN×N
サイズの対象物体画像(入力画像)IMGを記憶する入
力メモリ、15は入力プレーンをm×mの小領域である
受容野に分割した時、各受容野内の画像を記憶する受容
野メモリ、16は各受容野の画像(受容野像)に極変換
を施す極変換部、17は極変換された双対プレーン(ハ
イパーコラムプレーン)上の画像(ハイパーコラム像)
を記憶するハイパーコラムメモリ、18は画像の線、円
柱、点などの特徴を抽出する特徴抽出部である。
図である。12は所定入力プレーンに投影されたN×N
サイズの対象物体画像(入力画像)IMGを記憶する入
力メモリ、15は入力プレーンをm×mの小領域である
受容野に分割した時、各受容野内の画像を記憶する受容
野メモリ、16は各受容野の画像(受容野像)に極変換
を施す極変換部、17は極変換された双対プレーン(ハ
イパーコラムプレーン)上の画像(ハイパーコラム像)
を記憶するハイパーコラムメモリ、18は画像の線、円
柱、点などの特徴を抽出する特徴抽出部である。
【0014】
【作用】N×Nサイズの対象物体画像IMGの入力プレ
ーンをm×mの小領域である受容野に分割し、各受容野
像に極変換を施し、極変換を施した出力(ハイパーコラ
ム像)に基づいて画像処理を行って特徴を抽出する。
尚、極変換としては球面上の極変換(球面写像)または
円筒上の極変換または平面上の極変換など任意の曲面上
の極変換が適用できる。このように、m×mの受容野内
の画像について極変換を施すだけでよいため、球面上の
極変換の場合には、受容野内の各画素について長さmの
大円を描くだけでよく、処理量がm×N2になり、Nの
大円を描く従来例(N3の処理量が必要)に比べて大幅
に減少し、しかもハードウェアの小型化が可能となる。
又、他の受容野の画像と独立に処理できるため、干渉も
抑制することができる。更に、受容野毎に独立のしきい
値を設定できるため、暗い部分や輝度変化の少ない部分
も検出できる。
ーンをm×mの小領域である受容野に分割し、各受容野
像に極変換を施し、極変換を施した出力(ハイパーコラ
ム像)に基づいて画像処理を行って特徴を抽出する。
尚、極変換としては球面上の極変換(球面写像)または
円筒上の極変換または平面上の極変換など任意の曲面上
の極変換が適用できる。このように、m×mの受容野内
の画像について極変換を施すだけでよいため、球面上の
極変換の場合には、受容野内の各画素について長さmの
大円を描くだけでよく、処理量がm×N2になり、Nの
大円を描く従来例(N3の処理量が必要)に比べて大幅
に減少し、しかもハードウェアの小型化が可能となる。
又、他の受容野の画像と独立に処理できるため、干渉も
抑制することができる。更に、受容野毎に独立のしきい
値を設定できるため、暗い部分や輝度変化の少ない部分
も検出できる。
【0015】又、所定の投影曲面、例えば、球面(魚眼
レンズ)、円筒面(シリンドリカルレンズ)または平面
(標準、望遠レンズ)に投影される画像を小領域である
受容野毎に分割し、各受容野内の画像に極変換を施し、
極変換を施した出力に基づいて画像処理を行うことによ
り、対象物を任意のレンズで補足した場合にも、高速化
・小型化処理が可能で、しかも干渉を抑制することがで
きる。
レンズ)、円筒面(シリンドリカルレンズ)または平面
(標準、望遠レンズ)に投影される画像を小領域である
受容野毎に分割し、各受容野内の画像に極変換を施し、
極変換を施した出力に基づいて画像処理を行うことによ
り、対象物を任意のレンズで補足した場合にも、高速化
・小型化処理が可能で、しかも干渉を抑制することがで
きる。
【0016】
(a) 本発明の概略受容野分割 動物の網膜や大脳では、神経細胞が伸ばせる配線の長さ
が数ミリ以下と小さいため、画像を小さく切り分けて処
理している。切り分けられた網膜の領域は受容野と呼ば
れ、各受容野には約1000個の網膜細胞が含まれてい
る。次に、その受容野内の網膜細胞は、大脳の視覚野に
接続されて線分を抽出する処理がなされるが、その視覚
野も受容野に対応した部分領域に分割されており、その
単位領域はハイパーコラムと呼ばれている。この”部分
構造に切り分けた処理”は眼球やハイパーコラムだけで
なく、大脳の一般的な構造であり、処理に要する配線
(シナップス)を全体として節約する生体の知恵と思わ
れる。
が数ミリ以下と小さいため、画像を小さく切り分けて処
理している。切り分けられた網膜の領域は受容野と呼ば
れ、各受容野には約1000個の網膜細胞が含まれてい
る。次に、その受容野内の網膜細胞は、大脳の視覚野に
接続されて線分を抽出する処理がなされるが、その視覚
野も受容野に対応した部分領域に分割されており、その
単位領域はハイパーコラムと呼ばれている。この”部分
構造に切り分けた処理”は眼球やハイパーコラムだけで
なく、大脳の一般的な構造であり、処理に要する配線
(シナップス)を全体として節約する生体の知恵と思わ
れる。
【0017】これにヒントを得て、カメラに入力された
N×Nの画像をm×m画素に切り分けたとき、線分抽出
の処理量がどのように変わるか考察する。図2は受容野
分割しないときの極変換処理量の説明図である。ただ
し、極変換としては最も簡単な平面投影入力に円筒上極
変換を施す場合である。1はN×N画素よりなる平面投
影画像メモリであり、小さなマス目2はm×m画素より
なる受容野、3は平面投影された線分、4,5は線分上
の2点A,Bを円筒上極変換した時の正弦波であり、正
弦波は一点Pで交差し、線分3は円筒上の極変換により
該交差点に濃縮される。
N×Nの画像をm×m画素に切り分けたとき、線分抽出
の処理量がどのように変わるか考察する。図2は受容野
分割しないときの極変換処理量の説明図である。ただ
し、極変換としては最も簡単な平面投影入力に円筒上極
変換を施す場合である。1はN×N画素よりなる平面投
影画像メモリであり、小さなマス目2はm×m画素より
なる受容野、3は平面投影された線分、4,5は線分上
の2点A,Bを円筒上極変換した時の正弦波であり、正
弦波は一点Pで交差し、線分3は円筒上の極変換により
該交差点に濃縮される。
【0018】受容野に分割しない時(m=N)の処理量
Pm=Nは、入力画素の数だけ大円(近似的に正弦波)を
描くから前述のように、 Pm=N=(入力画素の数)×(大円の長さ) =N2×N =N3 (1) となる。一方、N×N画像メモリを一辺がmの正方形2
に切り分けると、各ハイパーコラム内での大円描画とな
るから Pm=m={(受容野内の入力画素数)×(ハイパーコラ
ム内に描く大円の長さ)} ={(m2)×(m)}×
{(N/m)2} =m×N2 (2) =Pm=N/(N/m) (3) となり、領域分割によって1/(N/m)の処理量に減
少する。
Pm=Nは、入力画素の数だけ大円(近似的に正弦波)を
描くから前述のように、 Pm=N=(入力画素の数)×(大円の長さ) =N2×N =N3 (1) となる。一方、N×N画像メモリを一辺がmの正方形2
に切り分けると、各ハイパーコラム内での大円描画とな
るから Pm=m={(受容野内の入力画素数)×(ハイパーコラ
ム内に描く大円の長さ)} ={(m2)×(m)}×
{(N/m)2} =m×N2 (2) =Pm=N/(N/m) (3) となり、領域分割によって1/(N/m)の処理量に減
少する。
【0019】以上の入力画像を切り分けて球面写像(正
確には球面上の極変換)を行う方法を、以後受容野法あ
るいはハイパーコラム法と言うことにする。従来の切り
分けない方法は球面全体に大円を描くことになり、元の
三次元空間に逆投影すると無限長の線に相当することか
ら無限受容野法と記す。違いを明瞭にするために、前記
受容野法を”有限受容野法”と言うこともある。又、ハ
イパーコラム法と名付けた理由は、その構造と機能が大
脳視覚野に存在するハイパーコラム細胞と非常に似てい
るからである。
確には球面上の極変換)を行う方法を、以後受容野法あ
るいはハイパーコラム法と言うことにする。従来の切り
分けない方法は球面全体に大円を描くことになり、元の
三次元空間に逆投影すると無限長の線に相当することか
ら無限受容野法と記す。違いを明瞭にするために、前記
受容野法を”有限受容野法”と言うこともある。又、ハ
イパーコラム法と名付けた理由は、その構造と機能が大
脳視覚野に存在するハイパーコラム細胞と非常に似てい
るからである。
【0020】受容野法の基本方式 以上により、本発明に係わる受容野法の具体的な手続き
を、最も簡単な極変換、すなわち、「平面投影入力+円
筒上極変換(後述)」で説明すると、次のようになる。
すなわち、「入力画像をm×mに分割(一般には隙間が
空かないように重畳した分割をする)した各受容野内の
画素を、円筒上極変換し、得られた曲線(円筒上極変換
では正弦波)を双対プレーン上に描く」であり、図3に
そのイメージを示す。図3において、IMGは平面に投
影されたN×Nサイズの対象物体画像(入力画像)、I
MG′は入力画像をm×mの小領域(受容野)に分割し
た時の受容野像、HIMGは受容野像(画素A,B,・
・)に円筒上極変換を施した時の双対プレーン(ハイパ
ーコラムプレーン)上の画像である。
を、最も簡単な極変換、すなわち、「平面投影入力+円
筒上極変換(後述)」で説明すると、次のようになる。
すなわち、「入力画像をm×mに分割(一般には隙間が
空かないように重畳した分割をする)した各受容野内の
画素を、円筒上極変換し、得られた曲線(円筒上極変換
では正弦波)を双対プレーン上に描く」であり、図3に
そのイメージを示す。図3において、IMGは平面に投
影されたN×Nサイズの対象物体画像(入力画像)、I
MG′は入力画像をm×mの小領域(受容野)に分割し
た時の受容野像、HIMGは受容野像(画素A,B,・
・)に円筒上極変換を施した時の双対プレーン(ハイパ
ーコラムプレーン)上の画像である。
【0021】以上は、「平面投影入力+円筒上極変換」
の場合であるが、「球面投影入力+球面上極変換」の場
合には、上記において、極線を正弦曲線から大円に変更
すればよい。主なフローを以下に示す。 (a) 球面上に投影された画像を小領域(受容野)に分割 (b) 受容野内の各画素を球面上で極変換する(画素に対
応する大円を描く) (c) 受容野全体は球面上の帯に極変換されるが、受容野
は一般的に小さいので、この帯を平面に展開する。これ
が、各受容野に対応する双対プレーン(ハイパーコラム
プレーン)である。
の場合であるが、「球面投影入力+球面上極変換」の場
合には、上記において、極線を正弦曲線から大円に変更
すればよい。主なフローを以下に示す。 (a) 球面上に投影された画像を小領域(受容野)に分割 (b) 受容野内の各画素を球面上で極変換する(画素に対
応する大円を描く) (c) 受容野全体は球面上の帯に極変換されるが、受容野
は一般的に小さいので、この帯を平面に展開する。これ
が、各受容野に対応する双対プレーン(ハイパーコラム
プレーン)である。
【0022】(b)の極変換は、「画素→正弦波」に近似さ
れ、受容野とハイパーコラムとの変換は、「受容野の各
画素を、ハイパーコラム上の対応する正弦曲線に変換す
る」となる。ハイパーコラムプレーンにおける各軸は受
容野内における線の位置ρと方向θを示すもので、画像
プレーン(受容野)内の線分は正弦波の交点に濃縮さ
れ、該交点座標ρ0、θ0が受容野内における線分の位置
と方向を示すことになる。尚、以上のフローは後述する
ように、一般の極変換でも同様に成立して、高速化や干
渉抑制に効果を発揮できる。
れ、受容野とハイパーコラムとの変換は、「受容野の各
画素を、ハイパーコラム上の対応する正弦曲線に変換す
る」となる。ハイパーコラムプレーンにおける各軸は受
容野内における線の位置ρと方向θを示すもので、画像
プレーン(受容野)内の線分は正弦波の交点に濃縮さ
れ、該交点座標ρ0、θ0が受容野内における線分の位置
と方向を示すことになる。尚、以上のフローは後述する
ように、一般の極変換でも同様に成立して、高速化や干
渉抑制に効果を発揮できる。
【0023】生体モデル 生体のハイパーコラムでも以上と同様の処理が行われて
いる。図4は生体とそのシュミレーションモデルの説明
図であり、(a)は生体、(b)はそのモデルである。生体で
は、円い眼球上の受容野分割からハイパーコラムHPC
への変換までのフローは以下のように理解されている。
すなわち、 (a) 円い眼球EYEの内面に情景が投影され、180度近い広い視野が得られ る。・・画像入力 (b) ついで、網膜と外側膝状体KNEの同心円拮抗受容野で二次微分が行われ 、画像の輪郭が強調される。その受容野は円錐状に発散する結線で表現できる。 ・・輪郭強調 (c) 第一次視覚野(ハイパーコラム)で画像内の線分(線・縁・隙間)が約1 0度毎に抽出される。 ・・線分抽出
いる。図4は生体とそのシュミレーションモデルの説明
図であり、(a)は生体、(b)はそのモデルである。生体で
は、円い眼球上の受容野分割からハイパーコラムHPC
への変換までのフローは以下のように理解されている。
すなわち、 (a) 円い眼球EYEの内面に情景が投影され、180度近い広い視野が得られ る。・・画像入力 (b) ついで、網膜と外側膝状体KNEの同心円拮抗受容野で二次微分が行われ 、画像の輪郭が強調される。その受容野は円錐状に発散する結線で表現できる。 ・・輪郭強調 (c) 第一次視覚野(ハイパーコラム)で画像内の線分(線・縁・隙間)が約1 0度毎に抽出される。 ・・線分抽出
【0024】神経細胞は数千本の軸索を出し、又逆に数
千本の軸策から信号を受けており、数学的には多価写像
と考えられる。この多価写像は、”次元の拡大と縮小”
を伴うため、線型写像などの常套的な変換では表現でき
ないが、線分の抽出に限定すると、その多価写像は極変
換で表現でき、極変換により、点(0次元)と直線(一
次元)とは次元を変えながら互いに変換される。
千本の軸策から信号を受けており、数学的には多価写像
と考えられる。この多価写像は、”次元の拡大と縮小”
を伴うため、線型写像などの常套的な変換では表現でき
ないが、線分の抽出に限定すると、その多価写像は極変
換で表現でき、極変換により、点(0次元)と直線(一
次元)とは次元を変えながら互いに変換される。
【0025】従って、生体をモデル化すると図4(b)に
示すようになる。IMIは画像入力部であり、球面CB
上に投影された画像を、受容野RC毎に切り分ける。受
容野中心ピッチと受容野直径はそれぞれ16及び16√
2画素である。OLDは輪郭抽出部であり、次式で示す
Sチャンネルの二次元DOGフィルタ(σ=2画素)と
する。このフィルタと入力画像を積和演算して輪郭を強
調する。 f(r)=exp(-r2/σ2)-0.57exp(-r2/(1.75σ)2)
示すようになる。IMIは画像入力部であり、球面CB
上に投影された画像を、受容野RC毎に切り分ける。受
容野中心ピッチと受容野直径はそれぞれ16及び16√
2画素である。OLDは輪郭抽出部であり、次式で示す
Sチャンネルの二次元DOGフィルタ(σ=2画素)と
する。このフィルタと入力画像を積和演算して輪郭を強
調する。 f(r)=exp(-r2/σ2)-0.57exp(-r2/(1.75σ)2)
【0026】PTRは極変換部であり、輪郭強調された
受容野は、極変換部に入力される。「外側膝状体細胞と
ハイパーコラム細胞との間の極変換(受容野法)」及び
「線分抽出の原理」は図5に従って説明すると以下のよ
うになる。すなわち、受容野RC内の点Pは、極変換に
より次元を増やして大円(直線)Rに写像される。これ
を繰り返すと受容野全体は球面上の帯BLTに写像され
る(図5(a))。この帯を切り開いて平面に展開すると
(図5(b))、線の方向θと線の位置ρを座標軸とする長
方形格子となる。これが、数学的に解釈したハイパーコ
ラムの構造であり、帯BLTがハイパーコラム、各格子
点がハイパーコラム細胞である。
受容野は、極変換部に入力される。「外側膝状体細胞と
ハイパーコラム細胞との間の極変換(受容野法)」及び
「線分抽出の原理」は図5に従って説明すると以下のよ
うになる。すなわち、受容野RC内の点Pは、極変換に
より次元を増やして大円(直線)Rに写像される。これ
を繰り返すと受容野全体は球面上の帯BLTに写像され
る(図5(a))。この帯を切り開いて平面に展開すると
(図5(b))、線の方向θと線の位置ρを座標軸とする長
方形格子となる。これが、数学的に解釈したハイパーコ
ラムの構造であり、帯BLTがハイパーコラム、各格子
点がハイパーコラム細胞である。
【0027】次に、受容野内の線分の抽出原理を説明す
る。この極変換で受容野内の各細胞は、ハイパーコラム
の複数の格子点(正弦波状)に多価写像される。これを
繰り返すと、受容野内の線分は、それを構成する点列が
極変換された”正弦波群の交点”として抽出される。す
なわち、交点Qが受容野内の線分L(図5(c))を濃縮し
たものとなり、そのθ軸及びρ軸座標値θ0,ρ0が受容
野における線分の方向と位置を示すことになる。
る。この極変換で受容野内の各細胞は、ハイパーコラム
の複数の格子点(正弦波状)に多価写像される。これを
繰り返すと、受容野内の線分は、それを構成する点列が
極変換された”正弦波群の交点”として抽出される。す
なわち、交点Qが受容野内の線分L(図5(c))を濃縮し
たものとなり、そのθ軸及びρ軸座標値θ0,ρ0が受容
野における線分の方向と位置を示すことになる。
【0028】図4に戻って、FDFは一次微分部であ
る。以上の処理(DOGフィルタ→極変換)では、”細
い線”が検知されるが、入力情報の大半を示す”縁(輝
度変化部)”を検知するには、引き続いて一次微分フィ
ルタをρ方向に積和演算すればよい。輝度変化の緩い縁
も検知するため、マルチフィルタ(フィルタ幅/ρ細胞
ピッチ=1,2,4,8)を使用する。
る。以上の処理(DOGフィルタ→極変換)では、”細
い線”が検知されるが、入力情報の大半を示す”縁(輝
度変化部)”を検知するには、引き続いて一次微分フィ
ルタをρ方向に積和演算すればよい。輝度変化の緩い縁
も検知するため、マルチフィルタ(フィルタ幅/ρ細胞
ピッチ=1,2,4,8)を使用する。
【0029】以上のモデルで、入力画像サイズ512×
512画素、ハイパーコラムサイズをθ方向22×ρ方
向22細胞としたシュミレーションを実行すると、以下
の結果が得られる。すなわち、図6の原画像における○
部分の受容野像(図7(a)に拡大図を示す)に、図4(b)
の「DOGフィルタ→極変換→一次微分」を施して得られた
ハイパーコラム細胞の応答は、等高線で示すと図7(b)
に示すようになる。受容野中の4本の縁が、4つの鋭い
ピークP1〜P4として抽出されている。
512画素、ハイパーコラムサイズをθ方向22×ρ方
向22細胞としたシュミレーションを実行すると、以下
の結果が得られる。すなわち、図6の原画像における○
部分の受容野像(図7(a)に拡大図を示す)に、図4(b)
の「DOGフィルタ→極変換→一次微分」を施して得られた
ハイパーコラム細胞の応答は、等高線で示すと図7(b)
に示すようになる。受容野中の4本の縁が、4つの鋭い
ピークP1〜P4として抽出されている。
【0030】又、全ハイパーコラム内の上記ピークを抽
出して、線分を再生(角度、位置、長さ)すると、図8
に示すようになる。縁が正確に抽出され、又、原画像中
に輝度変化の緩い部分も含まれているが、マルチフィル
タにより安定に抽出されている。
出して、線分を再生(角度、位置、長さ)すると、図8
に示すようになる。縁が正確に抽出され、又、原画像中
に輝度変化の緩い部分も含まれているが、マルチフィル
タにより安定に抽出されている。
【0031】(b) 本発明の実施例構成図全体の構成 図9は本発明方法を具現化した三次元計測システムの実
施例構成図である。10は魚眼レンズを内蔵した球面カ
メラ、11は三次元計測システム全体を制御する制御
部、12は所定入力プレーン(魚眼レンズ)に投影され
たN×Nサイズの対象物体画像(入力画像)を記憶する
入力メモリ、14はN×Nサイズの画像を順次m×mの
小領域である受容野毎に切り出す受容野切り出し回路、
15は各受容野内の画像(受容野像)を記憶する受容野
メモリ、16は各受容野像に極変換を施す極変換回路、
16′はハイパーコラムプレーン毎に最大信号を求め、
最大輝度の所定割合値をしきい値として各受容野毎に設
定し、該しきい値以上の画像を出力するしきい値設定
部、17は極変換された双対プレーン(ハイパーコラム
プレーン)上の画像(ハイパーコラム像)であってしき
い値以上の画像を記憶する極変換ハイパーコラムメモ
リ、18は極変換により得られたハイパーコラム像に一
次元フィルタ処理を施す一次元フィルタ回路、19はフ
ィルタ処理を施されたハイパーコラム像を記憶する要素
ハイパーコラムメモリ、20は全ハイパーコラム像を記
憶する全ハイパーコラムメモリ、21は要素ハイパーコ
ラムメモリ19のハイパーコラム像を全ハイパーコラム
メモリ20に転送して所定の記憶域に記憶する転送回
路、22は円柱、点等の特徴を抽出する特徴抽出部すな
わち三次元計測部である。尚、しきい値設定回路16′
は図9に示す位置に限らず、例えば、全ハイパーコラム
メモリ20の出力側に設けることもできる。
施例構成図である。10は魚眼レンズを内蔵した球面カ
メラ、11は三次元計測システム全体を制御する制御
部、12は所定入力プレーン(魚眼レンズ)に投影され
たN×Nサイズの対象物体画像(入力画像)を記憶する
入力メモリ、14はN×Nサイズの画像を順次m×mの
小領域である受容野毎に切り出す受容野切り出し回路、
15は各受容野内の画像(受容野像)を記憶する受容野
メモリ、16は各受容野像に極変換を施す極変換回路、
16′はハイパーコラムプレーン毎に最大信号を求め、
最大輝度の所定割合値をしきい値として各受容野毎に設
定し、該しきい値以上の画像を出力するしきい値設定
部、17は極変換された双対プレーン(ハイパーコラム
プレーン)上の画像(ハイパーコラム像)であってしき
い値以上の画像を記憶する極変換ハイパーコラムメモ
リ、18は極変換により得られたハイパーコラム像に一
次元フィルタ処理を施す一次元フィルタ回路、19はフ
ィルタ処理を施されたハイパーコラム像を記憶する要素
ハイパーコラムメモリ、20は全ハイパーコラム像を記
憶する全ハイパーコラムメモリ、21は要素ハイパーコ
ラムメモリ19のハイパーコラム像を全ハイパーコラム
メモリ20に転送して所定の記憶域に記憶する転送回
路、22は円柱、点等の特徴を抽出する特徴抽出部すな
わち三次元計測部である。尚、しきい値設定回路16′
は図9に示す位置に限らず、例えば、全ハイパーコラム
メモリ20の出力側に設けることもできる。
【0032】極変換回路16は、受容野内の各画素を球
面上で極変換し、すなわち画素を対応する大円に変換し
て極変換ハイパーコラムメモリ17に記憶する。尚、実
際には、極変換は「画素→正弦波」に近似され、受容野の
各画素をハイパーコラム上の対応する正弦曲線に変換し
て極変換ハイパーコラムメモリ17に記憶する。
面上で極変換し、すなわち画素を対応する大円に変換し
て極変換ハイパーコラムメモリ17に記憶する。尚、実
際には、極変換は「画素→正弦波」に近似され、受容野の
各画素をハイパーコラム上の対応する正弦曲線に変換し
て極変換ハイパーコラムメモリ17に記憶する。
【0033】一次元フィルタ回路18は尖鋭な線分抽出
を少ない処理量で行うためのものである。輪郭強調や特
徴抽出を行うために、通常、画像データに二次元コンボ
リューションフィルタをかけ、しかる後、極変換を施し
ている。しかし、コンボリューション法によれば、フィ
ルタサイズをaとすると各入力点に対してa2の処理が
必要となり、フィルタサイズの増大とともに処理量が増
加する。しかし、本発明者等は「二次元コンボリューシ
ョンフィルタ+極変換」が「極変換後にρ方向に一次元
フィルタ処理を行うこと」と等価であることを見出し
て、図9の実施例では極変換後に一次元フィルタを掛け
ている。このようにすれば、処理量は一次元フィルタの
ため各入力点に対してaと少なく、コンボリューション
法に比べて約2/aに処理量が減少する。
を少ない処理量で行うためのものである。輪郭強調や特
徴抽出を行うために、通常、画像データに二次元コンボ
リューションフィルタをかけ、しかる後、極変換を施し
ている。しかし、コンボリューション法によれば、フィ
ルタサイズをaとすると各入力点に対してa2の処理が
必要となり、フィルタサイズの増大とともに処理量が増
加する。しかし、本発明者等は「二次元コンボリューシ
ョンフィルタ+極変換」が「極変換後にρ方向に一次元
フィルタ処理を行うこと」と等価であることを見出し
て、図9の実施例では極変換後に一次元フィルタを掛け
ている。このようにすれば、処理量は一次元フィルタの
ため各入力点に対してaと少なく、コンボリューション
法に比べて約2/aに処理量が減少する。
【0034】極変換回路 極変換回路は図10に示すように、受容野メモリ15の
番地から順次1画素づつ受容野像(振幅)を読み出し、
該番地と振幅値を出力する読み出し制御部16aと、各
画素に対して極変換(画素番地→正弦波番地への変換)
を施す極変換部16bと、極変換により得られた正弦波
番地が示す極変換ハイパーコラムメモリ17の複数の記
憶位置に読み取った振幅を書き込む書き込み制御部16
cを備えている。極変換部16bは受容野メモリ15の
画素番地を極変換ハイパーコラムメモリ17の複数の番
地に対応させる番地変換テーブルメモリ16b-1と、受容
野メモリ15の番地を極変換ハイパーコラムメモリ17
の番地に変換する番地変換回路16b-2を備えている。番
地変換テーブルメモリ16b-1に記憶されている番地変換
テーブルは、受容野像における点をハイパーコラムプレ
ーン上の正弦波に極変換するためのもので、受容野像の
点に応じた番地を、正弦波を構成する点列の各点が位置
する極変換ハイパーコラムメモリ上の多数の番地に変換
するものである。
番地から順次1画素づつ受容野像(振幅)を読み出し、
該番地と振幅値を出力する読み出し制御部16aと、各
画素に対して極変換(画素番地→正弦波番地への変換)
を施す極変換部16bと、極変換により得られた正弦波
番地が示す極変換ハイパーコラムメモリ17の複数の記
憶位置に読み取った振幅を書き込む書き込み制御部16
cを備えている。極変換部16bは受容野メモリ15の
画素番地を極変換ハイパーコラムメモリ17の複数の番
地に対応させる番地変換テーブルメモリ16b-1と、受容
野メモリ15の番地を極変換ハイパーコラムメモリ17
の番地に変換する番地変換回路16b-2を備えている。番
地変換テーブルメモリ16b-1に記憶されている番地変換
テーブルは、受容野像における点をハイパーコラムプレ
ーン上の正弦波に極変換するためのもので、受容野像の
点に応じた番地を、正弦波を構成する点列の各点が位置
する極変換ハイパーコラムメモリ上の多数の番地に変換
するものである。
【0035】読み出し制御部16aは、受容野メモリ1
5の第1番地から振幅データを読み取り、該振幅データ
と番地データ(第1番地)を極変換部16bに入力す
る。極変換部16bは受容野メモリの第1番地(画素)
を極変換ハイパーコラムメモリ17の正弦波点列の多数
のアドレスに変換し、該アドレスと振幅を出力する。書
き込み制御部16cは、極変換部16bより入力された
振幅データを同様に入力された極変換ハイパーコラムメ
モリ17aの各アドレスの内容(初期値は0)に加算し
て該アドレスに書き込む。以後、順次、受容野メモリ1
5の全番地に対して上記処理を行えば、受容野像に対す
る極変換が終了する。
5の第1番地から振幅データを読み取り、該振幅データ
と番地データ(第1番地)を極変換部16bに入力す
る。極変換部16bは受容野メモリの第1番地(画素)
を極変換ハイパーコラムメモリ17の正弦波点列の多数
のアドレスに変換し、該アドレスと振幅を出力する。書
き込み制御部16cは、極変換部16bより入力された
振幅データを同様に入力された極変換ハイパーコラムメ
モリ17aの各アドレスの内容(初期値は0)に加算し
て該アドレスに書き込む。以後、順次、受容野メモリ1
5の全番地に対して上記処理を行えば、受容野像に対す
る極変換が終了する。
【0036】(c) 受容野法の評価 次に、受容野分割による改良の効果を評価してみる。 (1) 高速化/小型化容野分割の直接効果 N=512画素、m=16画素とすると、(3)式から Pm=m/Pm=N=1/(N/m)=1/32 (4) となり、無限受容野法に比べて線分抽出の処理量は1/
32と大幅に削減される。これは、自分の受容野内だけ
で極変換を行うことにより極変換の配線数が減少したも
のである。又、他の受容野と独立のため干渉も抑制でき
るとの効果も同時に生じる。 生体の大脳(ハイパーコ
ラム細胞)でも、同様の分割がなされている。配線をハ
イパーコラム内に限ることにより、配線数を大幅に節約
すると共に、干渉も回避する知恵が感ぜられる。
32と大幅に削減される。これは、自分の受容野内だけ
で極変換を行うことにより極変換の配線数が減少したも
のである。又、他の受容野と独立のため干渉も抑制でき
るとの効果も同時に生じる。 生体の大脳(ハイパーコ
ラム細胞)でも、同様の分割がなされている。配線をハ
イパーコラム内に限ることにより、配線数を大幅に節約
すると共に、干渉も回避する知恵が感ぜられる。
【0037】受容野法の処理量を、画像強調のために広
く使用されているコンボリューション・フィルタと比較
してみる。コンボリューション・フィルタでは、画像の
各点を一辺がaの正方形に展開するから、その処理量P
2Dconvは P2Dconv=(入力素子の数)×(フィルタサイズ) =N2×a2 (5) となる。一方、受容野法の処理量は 受容野分割→極変換→一次元フィルタ と、二次元コンボリューションに相当する一次元フィル
タを行う必要があり、その処理量を加えて PRF+1Dconv=(極変換の処理量)+(一次元フィルタの処理量) =mN2+aN2 =(m+a)N2 (6) となり、(5)式と比較すると PRF+1Dconv/P2Dconv=(m+a)/a2 となる。
く使用されているコンボリューション・フィルタと比較
してみる。コンボリューション・フィルタでは、画像の
各点を一辺がaの正方形に展開するから、その処理量P
2Dconvは P2Dconv=(入力素子の数)×(フィルタサイズ) =N2×a2 (5) となる。一方、受容野法の処理量は 受容野分割→極変換→一次元フィルタ と、二次元コンボリューションに相当する一次元フィル
タを行う必要があり、その処理量を加えて PRF+1Dconv=(極変換の処理量)+(一次元フィルタの処理量) =mN2+aN2 =(m+a)N2 (6) となり、(5)式と比較すると PRF+1Dconv/P2Dconv=(m+a)/a2 となる。
【0038】画面全体の特徴を把握するには、ピントの
甘い部分も抽出する必要があり、a=mが望まれるか
ら、 PRF+1Dconv/P2Dconv=2/m (7) となる。以上より、画像強調だけで線分抽出機能のない
コンボリューションフィルタよりも、処理量が少ないと
の改良効果が得られる。これは、コンボリューションフ
ィルタが二次元展開(正方形)するのに対して、一次元
展開(大円)で済むことに由来する。
甘い部分も抽出する必要があり、a=mが望まれるか
ら、 PRF+1Dconv/P2Dconv=2/m (7) となる。以上より、画像強調だけで線分抽出機能のない
コンボリューションフィルタよりも、処理量が少ないと
の改良効果が得られる。これは、コンボリューションフ
ィルタが二次元展開(正方形)するのに対して、一次元
展開(大円)で済むことに由来する。
【0039】並列処理による高速化 更に高速化するには並列処理が必要である。並列処理の
単位ユニットの大きさは大円の長さに比例するため、受
容野サイズが大きいとハードウェアの規模も増大する。
最大の受容野はm=Nの無限受容野であり、並列処理の
単位ハードウェアの大きさはNに比例し非常に大きい。
有限受容野法では、mが小さいため並列処理の単位ユニ
ットも非常に小さく、無限受容野法の1/(N/m)と
なる。
単位ユニットの大きさは大円の長さに比例するため、受
容野サイズが大きいとハードウェアの規模も増大する。
最大の受容野はm=Nの無限受容野であり、並列処理の
単位ハードウェアの大きさはNに比例し非常に大きい。
有限受容野法では、mが小さいため並列処理の単位ユニ
ットも非常に小さく、無限受容野法の1/(N/m)と
なる。
【0040】一方、小型化を図るには並列処理の単位を
LSI化する必要があるが、現状のLSI技術では無限
受容野法の並列処理ユニットは大きすぎて搭載が困難で
ある。しかし、有限受容野法では、上述の如く並列処理
の単位が小さいため、十分に搭載でき、更に受容野全体
の処理数もm3と小さく受容野全体をも搭載できる可能
性もある。要約すれば、受容野法はLSI化に適合して
おり、ハードウェア規模を増やさずに並列化でき、速度
を更にm倍に高速化できる。
LSI化する必要があるが、現状のLSI技術では無限
受容野法の並列処理ユニットは大きすぎて搭載が困難で
ある。しかし、有限受容野法では、上述の如く並列処理
の単位が小さいため、十分に搭載でき、更に受容野全体
の処理数もm3と小さく受容野全体をも搭載できる可能
性もある。要約すれば、受容野法はLSI化に適合して
おり、ハードウェア規模を増やさずに並列化でき、速度
を更にm倍に高速化できる。
【0041】一次元フィルタによる高速フィルタリング 尖鋭な線分抽出にはフィルタ処理が必要であり、一般に
は二次元フィルタが使用される。フィルタの一辺をaと
すると各入力点に対してa2の処理が必要となり、フィ
ルタサイズと共に処理量が急増する。そのため、実用化
されているフィルタサイズは5×5以下と小さく、照明
やピントを調整した綺麗な画像の処理に限られる。
は二次元フィルタが使用される。フィルタの一辺をaと
すると各入力点に対してa2の処理が必要となり、フィ
ルタサイズと共に処理量が急増する。そのため、実用化
されているフィルタサイズは5×5以下と小さく、照明
やピントを調整した綺麗な画像の処理に限られる。
【0042】ところで、本発明者等は、「二次元コンボ
リューションフィルタ+極変換」は「極変換+ρ方向の
一次元フィルタ」と等価であることを見出して、極変換
後に一次元フィルタリングを行うようにしている。この
ようにすれば、処理量は一次元フィルタのため各入力点
に対してaと少なく、コンボリューション法に比べて約
2/aに処理量が減少する。この特徴は、「入力画像を
受容野像に分割して、各受容野像に極変換する」ことか
ら導かれる性質であり、重要な性質の1つである。従っ
て、フィルタサイズaが受容野の一辺mに等しい場合に
は、、「二次元フィルタを一次元で行える」特徴によ
り、コンボリューション法の約2/mのフィルタ処理量
に軽減される。
リューションフィルタ+極変換」は「極変換+ρ方向の
一次元フィルタ」と等価であることを見出して、極変換
後に一次元フィルタリングを行うようにしている。この
ようにすれば、処理量は一次元フィルタのため各入力点
に対してaと少なく、コンボリューション法に比べて約
2/aに処理量が減少する。この特徴は、「入力画像を
受容野像に分割して、各受容野像に極変換する」ことか
ら導かれる性質であり、重要な性質の1つである。従っ
て、フィルタサイズaが受容野の一辺mに等しい場合に
は、、「二次元フィルタを一次元で行える」特徴によ
り、コンボリューション法の約2/mのフィルタ処理量
に軽減される。
【0043】総合評価 以上の高速化/小型化に対する改良要因は、個別にもそ
れぞれ大きな寄与をするが、それらを総合した改良効果
は更に大きい。個々の改良要因は、 1.受容野分割の直接効果:処理量が1/(N/m)に
削減 2.並列処理による高速化:処理量が1/mに削減 3.一次元フィルタによる高速フィルタリング:処理量
が約2/mに削減 の3つである。これらを総合化した処理量を正確に見積
もって従来法と比較検討する。尚、従来法では、「フィ
ルタサイズm×mの二次元フィルタを掛けた後、無限受
容野法で線分を抽出する」ものとし、本願発明の総合改
良法では「有限受容野法で線分を抽出した後、一次元フ
ィルタで先鋭化すると共に、並列度mのLSIで処理」
するものとする。
れぞれ大きな寄与をするが、それらを総合した改良効果
は更に大きい。個々の改良要因は、 1.受容野分割の直接効果:処理量が1/(N/m)に
削減 2.並列処理による高速化:処理量が1/mに削減 3.一次元フィルタによる高速フィルタリング:処理量
が約2/mに削減 の3つである。これらを総合化した処理量を正確に見積
もって従来法と比較検討する。尚、従来法では、「フィ
ルタサイズm×mの二次元フィルタを掛けた後、無限受
容野法で線分を抽出する」ものとし、本願発明の総合改
良法では「有限受容野法で線分を抽出した後、一次元フ
ィルタで先鋭化すると共に、並列度mのLSIで処理」
するものとする。
【0044】それぞれの処理量は 従来法の処理量=(二次元フィルタの処理量)+(無限受容野極変換) =m2N2+N3 総合改良法の処理量 =(極変換の処理量+ 一次元フィルタの処理量)/(並列度) となる。ここで、 極変換の処理量=(受容野の数)・(受容野内の極変換処理) =((N/m)2)・(m3) =mN2 一次元フィルタの処理量 =(受容野の数)・(一次元フィルタの処理)・(方向数) =((N/m)2)・(m・m)・(m) =mN2 であるから、 改良法の処理量=(mN2+mN2)/m =2N2 (8) となる。以上から、総合的な改良比は、 (総合改良法の処理量)/(従来法の処理量) =2N2/(m2N2+N3) =2/(m2+N) (9) と大幅に処理量が削減される。実用的なN=512画
素、m=16画素の場合には、その削減量は、1/38
4となる。これが全て実現されるわけではなく上限削減
量ではあるが、有限受容野法の 効果は極めて大きいと
言える。又、この高速化の資源はハードウェアの削減に
もつながり、小型化への寄与も大きい。
素、m=16画素の場合には、その削減量は、1/38
4となる。これが全て実現されるわけではなく上限削減
量ではあるが、有限受容野法の 効果は極めて大きいと
言える。又、この高速化の資源はハードウェアの削減に
もつながり、小型化への寄与も大きい。
【0045】(2) 干渉の抑制 有限受容野法は、高速化/小型化に大きな寄与をするこ
とが判ったが、もう1つの課題(干渉抑制)についても
その効果を評価する。干渉の原因は、「球面写像による
線分抽出では、着目する大円の延長線上に、方向の近い
他の大円があると、それらが干渉して線分の抽出精度を
劣化させる」ことである。この課題に対して、入力画像
を分割して処理する受容野法では、遠くの大円は対象受
容野に含まれないため、全く干渉することはない。以上
により、高速化/小型化の課題と干渉抑制の課題の両方
が本発明の受容野法により解決されたことになる。尚、
この「受容野分割+球面写像」の効果は、球面写像(球
面上の極変換)に限らず、任意の極変換でも同様に成立
する。
とが判ったが、もう1つの課題(干渉抑制)についても
その効果を評価する。干渉の原因は、「球面写像による
線分抽出では、着目する大円の延長線上に、方向の近い
他の大円があると、それらが干渉して線分の抽出精度を
劣化させる」ことである。この課題に対して、入力画像
を分割して処理する受容野法では、遠くの大円は対象受
容野に含まれないため、全く干渉することはない。以上
により、高速化/小型化の課題と干渉抑制の課題の両方
が本発明の受容野法により解決されたことになる。尚、
この「受容野分割+球面写像」の効果は、球面写像(球
面上の極変換)に限らず、任意の極変換でも同様に成立
する。
【0046】(3) 受容野法による間接効果の評価 受容野法による高速化は、画像処理機能の高度化にも寄
与する。ボケ画像の処理 入力される画像の中には、輝度変化の緩やかな線や縁が
含まれており、これらが重要な手掛かりとなることが多
い。しかし、現状のコンボリューション・フィルタでは
二次元フィルタのため、処理量がフィルタサイズの二乗
で急激に増大して大フィルタの処理は難しく、輝度変化
の緩い部分を検出することは難しい。
与する。ボケ画像の処理 入力される画像の中には、輝度変化の緩やかな線や縁が
含まれており、これらが重要な手掛かりとなることが多
い。しかし、現状のコンボリューション・フィルタでは
二次元フィルタのため、処理量がフィルタサイズの二乗
で急激に増大して大フィルタの処理は難しく、輝度変化
の緩い部分を検出することは難しい。
【0047】この受容野法では、「二次元フィルタを一
次元で実行」できるため、少ない処理量で大きなフィル
タを掛けることができる。二次元コンボリューション・
フィルタでは5×5が実用的な限界であるが、受容野法
では同じ処理量で直径13画素迄のフィルタリングが可
能となる。以上より、受容野法では、従来のコンボリュ
ーションフィルタに比べて、遥かに大きなフィルタを掛
けることができ、画像中の輝度変化の緩やかな部分(ボ
ケ)も的確に抽出することができる。
次元で実行」できるため、少ない処理量で大きなフィル
タを掛けることができる。二次元コンボリューション・
フィルタでは5×5が実用的な限界であるが、受容野法
では同じ処理量で直径13画素迄のフィルタリングが可
能となる。以上より、受容野法では、従来のコンボリュ
ーションフィルタに比べて、遥かに大きなフィルタを掛
けることができ、画像中の輝度変化の緩やかな部分(ボ
ケ)も的確に抽出することができる。
【0048】低コントラスト画像の処理 入力画像中には、照明の関係で暗い部分や輝度変化の少
ない部分もある。従来の画像処理では、全画面に一様の
しきい値を掛けるため重要な手掛かりなのに、暗い部分
や輝度変化の少ない部分が除去されてしまう。受容野法
では、m×mの領域を独立して扱い、全画面に共通のし
きい値を用いないため、上記のような支障は生じず、暗
い部分や輝度変化の少ない部分も検出される。尚、各受
容野内のしきい値は、受容野のサイズが小さくて照明条
件はほぼ一定と考えられるため、一様な値で支障はな
い。以上により、受容野法では、従来のしきい値処理と
異なり、照明の関係で暗い部分や輝度変化の少ない部分
が混在しても切り捨てられることはなく、的確に抽出さ
れる。
ない部分もある。従来の画像処理では、全画面に一様の
しきい値を掛けるため重要な手掛かりなのに、暗い部分
や輝度変化の少ない部分が除去されてしまう。受容野法
では、m×mの領域を独立して扱い、全画面に共通のし
きい値を用いないため、上記のような支障は生じず、暗
い部分や輝度変化の少ない部分も検出される。尚、各受
容野内のしきい値は、受容野のサイズが小さくて照明条
件はほぼ一定と考えられるため、一様な値で支障はな
い。以上により、受容野法では、従来のしきい値処理と
異なり、照明の関係で暗い部分や輝度変化の少ない部分
が混在しても切り捨てられることはなく、的確に抽出さ
れる。
【0049】照明条件に鈍感 従来の画像処理では照明の強さや当てる角度が変化する
と、抽出される特徴が大きく影響され、特に、輝度が天
候で左右される屋外作業ロボットでは支障となる。この
原因は、照明変動に依存しないしきい値表現が困難なた
めである。本発明では画面を小領域に分割して処理する
ため、領域内では輝度に依存しないパラメータ(例えば
領域内処理された出力のピーク値の5割など)をしきい
値とすることが可能であり、照明の変化に影響されない
特徴抽出が可能となる。以上より、受容野法では照明の
強さや当てる方向が変化しても、線分等の特徴を安定に
抽出できる。
と、抽出される特徴が大きく影響され、特に、輝度が天
候で左右される屋外作業ロボットでは支障となる。この
原因は、照明変動に依存しないしきい値表現が困難なた
めである。本発明では画面を小領域に分割して処理する
ため、領域内では輝度に依存しないパラメータ(例えば
領域内処理された出力のピーク値の5割など)をしきい
値とすることが可能であり、照明の変化に影響されない
特徴抽出が可能となる。以上より、受容野法では照明の
強さや当てる方向が変化しても、線分等の特徴を安定に
抽出できる。
【0050】(d) 各種極変換への拡張 以上では、判り易くするために、球面写像(球面上の極
変換)について説明してきたが、本発明はこれに限るも
のではなく、一般的な極変換に広く活用できるものであ
る。任意の入力プレーンを小領域に分割して、それに対
して以下に述べる各種の極変換を施すと、球面に限らず
上記の効果を期待できる。極変換の各種バリエーション
を以下に系統的に説明する。
変換)について説明してきたが、本発明はこれに限るも
のではなく、一般的な極変換に広く活用できるものであ
る。任意の入力プレーンを小領域に分割して、それに対
して以下に述べる各種の極変換を施すと、球面に限らず
上記の効果を期待できる。極変換の各種バリエーション
を以下に系統的に説明する。
【0051】(1) 二次元射影空間の極変換 画像処理を問題とするときには、入力は二次元曲面であ
り、二次元射影空間での極変換を活用することになる。
その極変換は「三次元アフィン空間内の原点を通る平
面」と「それに直交する原点を通るベクトル(点)」と
の変換となる。これを二次元で表現するには、任意の曲
面を設定してそれとの交点で表現すればよい。そこでは
広義の”直線”と点が次元を拡大/縮小しながら互いに
変換される。前記任意の曲面としては球面、円筒面、平
面等が考えられる。
り、二次元射影空間での極変換を活用することになる。
その極変換は「三次元アフィン空間内の原点を通る平
面」と「それに直交する原点を通るベクトル(点)」と
の変換となる。これを二次元で表現するには、任意の曲
面を設定してそれとの交点で表現すればよい。そこでは
広義の”直線”と点が次元を拡大/縮小しながら互いに
変換される。前記任意の曲面としては球面、円筒面、平
面等が考えられる。
【0052】球面上の極変換(球面写像) 図11に示すように、原点Oを中心とする単位球CUB
と前記ベクトルとの交点で表現するのが「球面上の極変
換(球面写像)」であり、直線(大円)と点とがお互い
に移り変わる。すなわち、原点Oを通る平面PL上の直
線Sを球面上に投影した大円(極線)CIRは、平面P
Lの法線NLと球との交点である極Pに極変換され、極
Pは逆に大円CIRに極変換される。二次元射影空間の
中で最も綺麗な極変換であり、世界は有限に閉じてお
り、全てが循環する角度で表される。リーマンの楕円的
非ユークリッド幾何は代表的な例である。
と前記ベクトルとの交点で表現するのが「球面上の極変
換(球面写像)」であり、直線(大円)と点とがお互い
に移り変わる。すなわち、原点Oを通る平面PL上の直
線Sを球面上に投影した大円(極線)CIRは、平面P
Lの法線NLと球との交点である極Pに極変換され、極
Pは逆に大円CIRに極変換される。二次元射影空間の
中で最も綺麗な極変換であり、世界は有限に閉じてお
り、全てが循環する角度で表される。リーマンの楕円的
非ユークリッド幾何は代表的な例である。
【0053】運動立体視は、この球面上の極変換に着目
した立体計測方法であり、これまで説明してきた本発明
の受容野法は入力プレーンである球面を受容野に分割
し、各受容野像に極変換を施すものであり、高速化や干
渉などに大きな効果がある。尚、入力投影曲面に適合す
るのは球面入力(魚眼レンズ)のみである。
した立体計測方法であり、これまで説明してきた本発明
の受容野法は入力プレーンである球面を受容野に分割
し、各受容野像に極変換を施すものであり、高速化や干
渉などに大きな効果がある。尚、入力投影曲面に適合す
るのは球面入力(魚眼レンズ)のみである。
【0054】円筒上の極変換 図12にに示すように、中心軸が原点Oを通る円筒CY
Rと前記ベクトルとの交点で表現するのが「円筒上の極
変換」であり、直線(楕円の交線)と点とが互いに移り
変わる。すなわち、原点Oを通る平面PL上の直線Sを
円筒上に投影した楕円(極線)ELPは、平面PLの法
線NLと円筒との交点である極Pに極変換され、極Pは
逆に極線ELPに極変換される。
Rと前記ベクトルとの交点で表現するのが「円筒上の極
変換」であり、直線(楕円の交線)と点とが互いに移り
変わる。すなわち、原点Oを通る平面PL上の直線Sを
円筒上に投影した楕円(極線)ELPは、平面PLの法
線NLと円筒との交点である極Pに極変換され、極Pは
逆に極線ELPに極変換される。
【0055】この円筒を軸に平行に切り開くと平面に展
開できる。この平面上では、直線(正弦曲線)と点とが
互いに移り変わり、同じ平面上でも次に説明する平面上
の極変換と性質が異なる極変換となる。
開できる。この平面上では、直線(正弦曲線)と点とが
互いに移り変わり、同じ平面上でも次に説明する平面上
の極変換と性質が異なる極変換となる。
【0056】平面上の極変換 図13に示すように、原点Oから単位距離はなれた平面
PLNとの交点で表現するのが「平面上の極変換」であ
り、直線と点とが互いに移り変わる。すなわち、原点O
を通る平面PL上の直線Sを平面PLN上に投影した直
線(極線)LLNは、平面PLN上に任意の二次曲線S
CVを設定すると、極Pに極変換され、極Pは逆に極線
ELPに極変換される。尚、極線LLN上の任意の点P
iから二次曲線SCVに接する2つの接線TL1,TL2
を求め、その接点TP1,TP2を結ぶと1つの点で交差
する。この交差点が極Pであり、逆に極Pを通る任意の
直線が二次曲線SCVと交差する2つの点で接する接線
が交差する点をつなぐと極線LLNが得られる。二次曲
線SCVの具体的な例としては楕円(円錐曲線)、円、
放物線等があり、図13に示す円錐曲線への極と極線が
最も有名であり、極と極線は次元を変えながら移り変わ
る。
PLNとの交点で表現するのが「平面上の極変換」であ
り、直線と点とが互いに移り変わる。すなわち、原点O
を通る平面PL上の直線Sを平面PLN上に投影した直
線(極線)LLNは、平面PLN上に任意の二次曲線S
CVを設定すると、極Pに極変換され、極Pは逆に極線
ELPに極変換される。尚、極線LLN上の任意の点P
iから二次曲線SCVに接する2つの接線TL1,TL2
を求め、その接点TP1,TP2を結ぶと1つの点で交差
する。この交差点が極Pであり、逆に極Pを通る任意の
直線が二次曲線SCVと交差する2つの点で接する接線
が交差する点をつなぐと極線LLNが得られる。二次曲
線SCVの具体的な例としては楕円(円錐曲線)、円、
放物線等があり、図13に示す円錐曲線への極と極線が
最も有名であり、極と極線は次元を変えながら移り変わ
る。
【0057】任意曲面上の極変換 以上では、具体的な極変換面として、球面、円筒、平面
を取り上げて、「線分を一点に抽出でき、又その極変換
の高速化に受容野分割の効果が大きい」ことを説明した
が、回転楕円体(楕円をその長軸を中心に回転してなる
もの)、回転双曲面体(双曲線を回転してなるもの)、
回転放物面体(放物線を回転してなるもの)、その他の
任意の曲面を極変換面としても全く同様に成立する。
を取り上げて、「線分を一点に抽出でき、又その極変換
の高速化に受容野分割の効果が大きい」ことを説明した
が、回転楕円体(楕円をその長軸を中心に回転してなる
もの)、回転双曲面体(双曲線を回転してなるもの)、
回転放物面体(放物線を回転してなるもの)、その他の
任意の曲面を極変換面としても全く同様に成立する。
【0058】(2) n次元射影空間の極変換 以上、2次元射影空間の極変換について説明したが、本
発明の受容野法は一般にn次元射影空間の極変換にも適
用できるものである。n次元射影空間の極変換は、
「(n+1)次元アフィン空間内の原点を通る平面」と
「それに直交する原点を通るベクトル(点)」との変換
である。原点を通るベクトル(0次元)は、原点を通る
n次元平面上の各点に次元を増やして多価写像される。
又、逆に、n次元平面上の各点は次元を縮小して、それ
と直交する原点を通るベクトルに写像される。その逆変
換の手続きは、上記n次元平面上の各点を、その点と原
点を結ぶベクトルを法線とする平面の全点に多価写像す
る。それらの交線は原点を通るベクトルとなるから、n
次元平面は次元を縮小して原点を通るベクトルに写像さ
れることになる。
発明の受容野法は一般にn次元射影空間の極変換にも適
用できるものである。n次元射影空間の極変換は、
「(n+1)次元アフィン空間内の原点を通る平面」と
「それに直交する原点を通るベクトル(点)」との変換
である。原点を通るベクトル(0次元)は、原点を通る
n次元平面上の各点に次元を増やして多価写像される。
又、逆に、n次元平面上の各点は次元を縮小して、それ
と直交する原点を通るベクトルに写像される。その逆変
換の手続きは、上記n次元平面上の各点を、その点と原
点を結ぶベクトルを法線とする平面の全点に多価写像す
る。それらの交線は原点を通るベクトルとなるから、n
次元平面は次元を縮小して原点を通るベクトルに写像さ
れることになる。
【0059】(3) 入力投影面と極変換方式を組み合わせ
た総合極変換 上記の極変換は任意の形態の入力に対して適用できる。
カメラからの入力を扱う時には、上記の極変換のバリエ
ーションに加えて、画像入力にも3種の投影方式があ
り、それらを組み合わせた各種の総合極変換が存在す
る。
た総合極変換 上記の極変換は任意の形態の入力に対して適用できる。
カメラからの入力を扱う時には、上記の極変換のバリエ
ーションに加えて、画像入力にも3種の投影方式があ
り、それらを組み合わせた各種の総合極変換が存在す
る。
【0060】入力投影面の種類とレンズ 入力画像はカメラ中心からの視線を、各種の投影面で切
断したものである。その投影面としては、球面投影、円
筒面投影、平面投影があり、それらに対応したレンズが
あり、レンズと投影面の関係図表を図14に示す。球面
投影は、球面上に投影するもので、魚眼レンズで等価の
画像が得られる。最も広い視野が得られ、動物や魚の眼
球の投影方式である。
断したものである。その投影面としては、球面投影、円
筒面投影、平面投影があり、それらに対応したレンズが
あり、レンズと投影面の関係図表を図14に示す。球面
投影は、球面上に投影するもので、魚眼レンズで等価の
画像が得られる。最も広い視野が得られ、動物や魚の眼
球の投影方式である。
【0061】円筒面投影は、円筒面に投影するものであ
り、シリンドリカル・レンズで等価の画像が得られる。
円筒の軸方向は限られた視野となるが、角度方向に広い
視野が得られる。平面投影は、平面状に投影するもの
で、標準/望遠レンズで等価の画像が得られる。この平
面投影は以上の投影と違って、空間内の直線が画面上で
もやはり直線となるため、広く使用されるものである
が、視野は最も狭くなっている。
り、シリンドリカル・レンズで等価の画像が得られる。
円筒の軸方向は限られた視野となるが、角度方向に広い
視野が得られる。平面投影は、平面状に投影するもの
で、標準/望遠レンズで等価の画像が得られる。この平
面投影は以上の投影と違って、空間内の直線が画面上で
もやはり直線となるため、広く使用されるものである
が、視野は最も狭くなっている。
【0062】投影方式と極変換方式との組み合わせ 入力投影面から出力プレーンへの総合極変換は、3種類
の極変換曲面(球面、円筒面、平面)と各種変換方式と
の組み合わせが可能であり、それぞれ次元を拡大・縮小
しながら広義の線分を抽出でき、各組み合わせは図15
〜図17に示す特質を有している。
の極変換曲面(球面、円筒面、平面)と各種変換方式と
の組み合わせが可能であり、それぞれ次元を拡大・縮小
しながら広義の線分を抽出でき、各組み合わせは図15
〜図17に示す特質を有している。
【0063】1) 平面投影と極変換の組み合せ 図15は標準/望遠レンズ(平面投影)画像からの線分
抽出に適用できる極変換の特質説明図表であり、(a-1)
平面上の極変換、(a-2)円筒上の極変換、(a-3)球面上の
極変換、(a-4)平面上の合成反転変換がある。図18は
(a-1)の平面投影・平面上の極変換説明図であり、直線
Sは投影平面PLNに投影され、該投影された直線LL
Nは極Pに極変換され、極Pは直線LLNに平面上で極
変換される。
抽出に適用できる極変換の特質説明図表であり、(a-1)
平面上の極変換、(a-2)円筒上の極変換、(a-3)球面上の
極変換、(a-4)平面上の合成反転変換がある。図18は
(a-1)の平面投影・平面上の極変換説明図であり、直線
Sは投影平面PLNに投影され、該投影された直線LL
Nは極Pに極変換され、極Pは直線LLNに平面上で極
変換される。
【0064】図19は(a-2)の平面投影・円筒上の極変換
説明図であり、直線Sは投影平面PLNに投影され、平
面PL(原点Oと投影直線LLNを含む)上の投影直線
LLNを円筒面CRY上に投影した楕円(極線)ELP
は、平面PLの法線NLと円筒面CRYとの交点である
極Pに極変換され、極Pは逆に極線ELPに極変換され
る。
説明図であり、直線Sは投影平面PLNに投影され、平
面PL(原点Oと投影直線LLNを含む)上の投影直線
LLNを円筒面CRY上に投影した楕円(極線)ELP
は、平面PLの法線NLと円筒面CRYとの交点である
極Pに極変換され、極Pは逆に極線ELPに極変換され
る。
【0065】図20は(a-3)の平面投影・球面上の極変換
説明図であり、直線Sは投影平面PLNに投影され、平
面PL(原点Oと投影直線LLNを含む)上の投影直線
LLNを球面CUB上に投影した大円(極線)CIR
は、平面PLの法線NLと球面CUBとの交点である極
Pに極変換され、該極Pは逆に極線CIRに極変換され
る。尚、(a-4)の合成反転変換は、極変換に更に反転変
換を施したもので、”原点を通る円”と点との極変換に
なる。
説明図であり、直線Sは投影平面PLNに投影され、平
面PL(原点Oと投影直線LLNを含む)上の投影直線
LLNを球面CUB上に投影した大円(極線)CIR
は、平面PLの法線NLと球面CUBとの交点である極
Pに極変換され、該極Pは逆に極線CIRに極変換され
る。尚、(a-4)の合成反転変換は、極変換に更に反転変
換を施したもので、”原点を通る円”と点との極変換に
なる。
【0066】2) 円筒投影と極変換の組み合せ 図16はシリンドリカル・レンズ(円筒投影)画像から
の線分抽出に適用できる極変換の特質説明図表であり、
(b-1)平面上の極変換、(b-2)円筒上の極変換、(b-3)球
面上の極変換がある。
の線分抽出に適用できる極変換の特質説明図表であり、
(b-1)平面上の極変換、(b-2)円筒上の極変換、(b-3)球
面上の極変換がある。
【0067】図21は(b-3)の円筒投影・球面上の極変
換説明図であり、直線Sは投影面である円筒面CRYに
投影され、原点Oと投影曲線(楕円)ELPを含む平面
PL上の楕円ELPを球面CUB上に投影した大円(極
線)CIRは、平面PLの法線NLと球面CUBとの交
点である極Pに極変換され、極Pは逆に極線CIRに極
変換される。
換説明図であり、直線Sは投影面である円筒面CRYに
投影され、原点Oと投影曲線(楕円)ELPを含む平面
PL上の楕円ELPを球面CUB上に投影した大円(極
線)CIRは、平面PLの法線NLと球面CUBとの交
点である極Pに極変換され、極Pは逆に極線CIRに極
変換される。
【0068】3) 球面投影と極変換の組み合せ 図17は魚眼レンズ(球面投影)画像からの線分抽出に
適用できる極変換の特質説明図表であり、(c-1)平面上
の極変換、(c-2)円筒上の極変換、(c-3)球面上の極変
換、(c-4)球面上の合成反転変換がある。
適用できる極変換の特質説明図表であり、(c-1)平面上
の極変換、(c-2)円筒上の極変換、(c-3)球面上の極変
換、(c-4)球面上の合成反転変換がある。
【0069】図22は(c-1)の球面投影・平面上の極変
換説明図であり、直線Sは投影面である球面CUBに投
影され、原点Oと投影曲線(大円)CIRを含む平面P
L上の該大円CIRを平面PLN上に投影した直線(極
線)LLNは極Pに極変換され、極Pは直線LLNにそ
れぞれ平面上で極変換される。
換説明図であり、直線Sは投影面である球面CUBに投
影され、原点Oと投影曲線(大円)CIRを含む平面P
L上の該大円CIRを平面PLN上に投影した直線(極
線)LLNは極Pに極変換され、極Pは直線LLNにそ
れぞれ平面上で極変換される。
【0070】図23は(c-2)の球面投影・円筒上の極変
換説明図であり、直線Sは投影面である球面CUBに投
影され、原点Oと投影曲線(大円)CIRを含む平面P
L上の大円CIRを円筒面CRY上に投影した楕円(極
線)ELPは、平面PLの法線NLと円筒面との交点で
ある極Pに極変換され、極Pは逆に極線ELPに極変換
される。尚、(c-4)の合成反転変換は、極変換に更に反
転変換を施したもので、”原点を通る大円”と点との極
変換になる。
換説明図であり、直線Sは投影面である球面CUBに投
影され、原点Oと投影曲線(大円)CIRを含む平面P
L上の大円CIRを円筒面CRY上に投影した楕円(極
線)ELPは、平面PLの法線NLと円筒面との交点で
ある極Pに極変換され、極Pは逆に極線ELPに極変換
される。尚、(c-4)の合成反転変換は、極変換に更に反
転変換を施したもので、”原点を通る大円”と点との極
変換になる。
【0071】4) 任意投影画像からの線分抽出 以上では、具体的な投影面として、球面、円筒面、平面
投影を取り上げて、「線分を一点に抽出でき、またその
極変換の高速化に受容野分割の効果が大きい」ことを説
明したが、回転楕円体や回転双曲面体、更には一般的に
任意の曲面を投影面としてもよい。
投影を取り上げて、「線分を一点に抽出でき、またその
極変換の高速化に受容野分割の効果が大きい」ことを説
明したが、回転楕円体や回転双曲面体、更には一般的に
任意の曲面を投影面としてもよい。
【0072】極変換面との適合性については、投影・極
変換の領域の整合性から、一般には投影曲面と同じ形の
極変換面で処理することが望ましいと言える。以上要約
すると、 ・どの総合極変換でも、広義の平面に投影された画像か
ら、広義の線分を抽出することができる、 ・カメラのレンズに適合した極変換がある(図24参
照)、 ・どの総合極変換でも、受容野に分割することにより、
高速化と干渉抑制の効果が得られることである。
変換の領域の整合性から、一般には投影曲面と同じ形の
極変換面で処理することが望ましいと言える。以上要約
すると、 ・どの総合極変換でも、広義の平面に投影された画像か
ら、広義の線分を抽出することができる、 ・カメラのレンズに適合した極変換がある(図24参
照)、 ・どの総合極変換でも、受容野に分割することにより、
高速化と干渉抑制の効果が得られることである。
【0073】図24は極変換面とレンズの適合性を示す
図表であり、平面上の極変換には標準/望遠レンズが、
円筒上の極変換にはシリンドリカルレンズが、球面上の
極変換には魚眼レンズが特に適合する。
図表であり、平面上の極変換には標準/望遠レンズが、
円筒上の極変換にはシリンドリカルレンズが、球面上の
極変換には魚眼レンズが特に適合する。
【0074】(e) シュミレーション 図9において、N×N(N=512画素)の球面投影画
像(魚眼レンズで捕捉した画像)を受容野法により、m
×m(m=16画素)の受容野に分割し、各受容野の各
点に極変換回路16で球面上の極変換を施し、出力ハイ
パーコラムからピーク値を抽出して受容野内の線分を抽
出した結果を図25、図26に示す。尚、原画は図6に
示すものと同一である。図25(a)は図6の○印で示す
部分の拡大図、図25(b)は○印部分に対応する要素受
容野の応答を等高線で示したもの、図26は全受容野の
応答図(再生像)である。
像(魚眼レンズで捕捉した画像)を受容野法により、m
×m(m=16画素)の受容野に分割し、各受容野の各
点に極変換回路16で球面上の極変換を施し、出力ハイ
パーコラムからピーク値を抽出して受容野内の線分を抽
出した結果を図25、図26に示す。尚、原画は図6に
示すものと同一である。図25(a)は図6の○印で示す
部分の拡大図、図25(b)は○印部分に対応する要素受
容野の応答を等高線で示したもの、図26は全受容野の
応答図(再生像)である。
【0075】図25(b)より明らかなように、縦と横の
2本の線C1、R1(図25(a)参照)が極変換されて、
ハイパーコラムメモリ内ではそれに対応する2つのシャ
ープなピークP1,P2として抽出される。又、図26よ
り明らかなように、各受容野で抽出したピークから全体
像が安定に再生され、しかも、低コントラスト部分やボ
ケ部分も確実に抽出される。以上の説明では、主にカメ
ラあるいはレンズより入力された画像を小領域に分割
し、各小領域毎に極変換し、極変換結果に基づいて画像
処理する場合であるが、本発明はかかる場合に限らず任
意の画像であっても適用できる。例えば、ハイパーコラ
ム像を更に小領域に分割し、各小領域毎に極変換し、極
変換結果に基づいて特徴抽出等の画像処理を行うことも
できる。又、以上では、画素密度が均一な場合である
が、画像における位置(中心、周辺等)に応じて画素密
度が異なる場合には、小領域である受容野の大きさを変
えて受容野の画素数を同一数にする。このようにすると
画素密度が異なる場合でも処理が簡単になる。以上、本
発明を実施例により説明したが、本発明は請求の範囲に
記載した本発明の主旨に従い種々の変形が可能であり、
本発明はこれらを排除するものではない。
2本の線C1、R1(図25(a)参照)が極変換されて、
ハイパーコラムメモリ内ではそれに対応する2つのシャ
ープなピークP1,P2として抽出される。又、図26よ
り明らかなように、各受容野で抽出したピークから全体
像が安定に再生され、しかも、低コントラスト部分やボ
ケ部分も確実に抽出される。以上の説明では、主にカメ
ラあるいはレンズより入力された画像を小領域に分割
し、各小領域毎に極変換し、極変換結果に基づいて画像
処理する場合であるが、本発明はかかる場合に限らず任
意の画像であっても適用できる。例えば、ハイパーコラ
ム像を更に小領域に分割し、各小領域毎に極変換し、極
変換結果に基づいて特徴抽出等の画像処理を行うことも
できる。又、以上では、画素密度が均一な場合である
が、画像における位置(中心、周辺等)に応じて画素密
度が異なる場合には、小領域である受容野の大きさを変
えて受容野の画素数を同一数にする。このようにすると
画素密度が異なる場合でも処理が簡単になる。以上、本
発明を実施例により説明したが、本発明は請求の範囲に
記載した本発明の主旨に従い種々の変形が可能であり、
本発明はこれらを排除するものではない。
【0076】
【発明の効果】以上本発明によれば、N×Nサイズの対
象物体画像の入力プレーンをm×mの小領域である受容
野に分割し、各受容野内の画像に極変換を施し、極変換
を施した出力に基づいて画像処理を行って特徴を抽出す
るように構成したから、m×mの受容野内の画像につい
て極変換を施すだけでよいため、受容野内の各画素につ
いて長さmの極線を描くだけでよく、Nの極線を描く従
来例に比べて処理量を大幅に減少でき、しかもハードウ
ェアの小型化が可能となる。
象物体画像の入力プレーンをm×mの小領域である受容
野に分割し、各受容野内の画像に極変換を施し、極変換
を施した出力に基づいて画像処理を行って特徴を抽出す
るように構成したから、m×mの受容野内の画像につい
て極変換を施すだけでよいため、受容野内の各画素につ
いて長さmの極線を描くだけでよく、Nの極線を描く従
来例に比べて処理量を大幅に減少でき、しかもハードウ
ェアの小型化が可能となる。
【0077】又、本発明の受容野法によれば、他の受容
野の画像と独立に処理できるため、干渉も抑制すること
ができる。更に、受容野毎に独立のしきい値を設定でき
るため、暗い部分や輝度変化の少ない部分も的確に検出
でき、しかも、照明の強さや当てる方向などが変化して
も特徴を安定に抽出できる。
野の画像と独立に処理できるため、干渉も抑制すること
ができる。更に、受容野毎に独立のしきい値を設定でき
るため、暗い部分や輝度変化の少ない部分も的確に検出
でき、しかも、照明の強さや当てる方向などが変化して
も特徴を安定に抽出できる。
【0078】又、本発明の受容野法によれば、球面上の
極変換または円筒上の極変換または平面上の極変換など
任意の曲面上の極変換が適用でき、応用分野の拡大が可
能である。更に、本発明の受容野法に一次元フィルタ法
を適用することにより、少ない演算量で、コンボリュー
ション・フィルタに比べて遥かに大きなフィルタを高速
に掛けることができ、輝度変化の緩いボケ画像から的確
に特徴を抽出することができる。
極変換または円筒上の極変換または平面上の極変換など
任意の曲面上の極変換が適用でき、応用分野の拡大が可
能である。更に、本発明の受容野法に一次元フィルタ法
を適用することにより、少ない演算量で、コンボリュー
ション・フィルタに比べて遥かに大きなフィルタを高速
に掛けることができ、輝度変化の緩いボケ画像から的確
に特徴を抽出することができる。
【0079】又、本発明によれば、所定の投影曲面、例
えば、球面(魚眼レンズ)、円筒面(シリンドリカルレ
ンズ)または平面(標準、望遠レンズ)に投影される画
像を小領域である受容野毎に分割し、各受容野内の画像
に任意の極変換を施し、極変換を施した出力に基づいて
画像処理を行うように構成したから、対象物を任意のレ
ンズで補足した場合にも、高速化・小型化処理が可能
で、しかも干渉を抑制することができる。
えば、球面(魚眼レンズ)、円筒面(シリンドリカルレ
ンズ)または平面(標準、望遠レンズ)に投影される画
像を小領域である受容野毎に分割し、各受容野内の画像
に任意の極変換を施し、極変換を施した出力に基づいて
画像処理を行うように構成したから、対象物を任意のレ
ンズで補足した場合にも、高速化・小型化処理が可能
で、しかも干渉を抑制することができる。
【図1】本発明の原理説明図である。
【図2】受容野を分割しない時の処理量の説明図であ
る。
る。
【図3】本発明の受容野法の説明図である。
【図4】生体とそのモデル説明図である。
【図5】ハイパーコラム内の極変換説明図である。
【図6】生体モデルに基づくシュミレーションに使用し
た原画である。
た原画である。
【図7】シュミレーション結果説明図である。
【図8】シュミレーションにより得られた再生像であ
る。
る。
【図9】本発明の実施例構成図である。
【図10】極変換回路の構成図である。
【図11】球面上の極変換の説明図である。
【図12】円筒上の極変換説明図である。
【図13】平面上の極変換説明図である。
【図14】レンズと投影面の関係図表である。
【図15】標準/望遠レンズ(平面投影)画像からの線
分抽出説明図表である。
分抽出説明図表である。
【図16】シリンドリカル・レンズ(円筒投影)画像か
らの線分抽出説明図表である。
らの線分抽出説明図表である。
【図17】魚眼レンズ(球面投影)画像からの線分抽出
説明図表である。
説明図表である。
【図18】平面投影・平面上の極変換説明図である。
【図19】平面投影・円筒上の極変換説明図である。
【図20】平面投影・球面上の極変換説明図である。
【図21】円筒投影・球面上の極変換説明図である。
【図22】球面投影・平面上の極変換説明図である。
【図23】球面投影・円筒上の極変換説明図である。
【図24】極変換面とレンズの適合性の説明図表であ
る。
る。
【図25】シュミレーション結果説明図(要素受容野応
答)である。
答)である。
【図26】シュミレーション結果説明図(再生像)であ
る。
る。
【図27】球面写像(球面上の極変換)説明図である。
【図28】従来の三次元計測システムの構成図である。
【図29】写像メモリアドレス説明図である。
【図30】線分の方向計測説明図である。
【図31】対象点までの奥行き計測説明図である。
【図32】背景の干渉説明図である。
12・・入力メモリ 15・・受容野メモリ 16・・極変換部 17・・ハイパーコラムメモリ 18・・特徴抽出部 IMG・・対象物体画像(入力画像)
───────────────────────────────────────────────────── フロントページの続き (72)発明者 稲本 康 神奈川県川崎市中原区上小田中1015番地 富士通株式会社内 (72)発明者 森田 俊彦 神奈川県川崎市中原区上小田中1015番地 富士通株式会社内 (72)発明者 岡本 浩明 神奈川県川崎市中原区上小田中1015番地 富士通株式会社内
Claims (8)
- 【請求項1】 画像の特徴を抽出する画像処理方法にお
いて、 画像を小領域に分割し、 各小領域内の画像に極変換を施し、 極変換を施した出力に基づいて画像処理を行うことを特
徴とする画像処理方法。 - 【請求項2】 前記極変換は球面上の極変換(球面写
像)または円筒上の極変換または平面上の極変換のいず
れかであることを特徴とする請求項1記載の画像処理方
法。 - 【請求項3】 小領域毎に独立のしきい値を設定し、極
変換を施してからしきい値以下の信号を除去することを
特徴とする請求項1記載の画像処理方法。 - 【請求項4】 入力画像の特徴を抽出する画像処理方法
において、 所定の投影曲面に投影される画像を小領域である受容野
毎に分割し、 各受容野内の画像に極変換を施し、 極変換を施した出力に基づいて画像処理を行うことを特
徴とする画像処理方法。 - 【請求項5】 前記投影曲面は球面であり、前記極変換
は球面上の極変換または円筒上の極変換または平面上の
極変換であることを特徴とする請求項4記載の画像処理
方法。 - 【請求項6】 前記投影曲面は円筒であり、前記極変換
は球面上の極変換または円筒上の極変換または平面上の
極変換であることを特徴とする請求項4記載の画像処理
方法。 - 【請求項7】 前記投影曲面は平面であり、前記極変換
は球面上の極変換または円筒上の極変換または平面上の
極変換であることを特徴とする請求項4記載の画像処理
方法。 - 【請求項8】 受容野毎に独立のしきい値を設定し、極
変換を施してから、該しきい値以下の信号を除去するこ
とを特徴とする請求項4記載の画像処理方法。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP03327723A JP3089069B2 (ja) | 1991-12-11 | 1991-12-11 | 画像処理方法及び画像処理装置 |
| US07/987,954 US6005984A (en) | 1991-12-11 | 1992-12-11 | Process and apparatus for extracting and recognizing figure elements using division into receptive fields, polar transformation, application of one-dimensional filter, and correlation between plurality of images |
| US08/470,061 US5901252A (en) | 1991-12-11 | 1995-06-06 | Process and apparatus for extracting and recognizing figure elements using division into receptive fields, polar transformation, application of one-dimensional filter, and correlation between plurality of images |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP03327723A JP3089069B2 (ja) | 1991-12-11 | 1991-12-11 | 画像処理方法及び画像処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH05165957A true JPH05165957A (ja) | 1993-07-02 |
| JP3089069B2 JP3089069B2 (ja) | 2000-09-18 |
Family
ID=18202274
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP03327723A Expired - Fee Related JP3089069B2 (ja) | 1991-12-11 | 1991-12-11 | 画像処理方法及び画像処理装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3089069B2 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2068280A2 (en) | 2007-12-07 | 2009-06-10 | Honda Motor Co., Ltd. | Image processing apparatus, image processing method, image processing program and position detecting apparatus as well as mobile object having the same |
| EP2148304A2 (en) | 1999-04-12 | 2010-01-27 | Fujitsu Limited | Image measurement method, image measurement apparatus and image measurement program storage medium |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AU631661B2 (en) | 1989-06-20 | 1992-12-03 | Fujitsu Limited | Method for measuring position and posture of object |
-
1991
- 1991-12-11 JP JP03327723A patent/JP3089069B2/ja not_active Expired - Fee Related
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2148304A2 (en) | 1999-04-12 | 2010-01-27 | Fujitsu Limited | Image measurement method, image measurement apparatus and image measurement program storage medium |
| EP2068280A2 (en) | 2007-12-07 | 2009-06-10 | Honda Motor Co., Ltd. | Image processing apparatus, image processing method, image processing program and position detecting apparatus as well as mobile object having the same |
| US8295587B2 (en) | 2007-12-07 | 2012-10-23 | Honda Motor Co., Ltd. | Image processing apparatus, image processing method, image processing program and position detecting apparatus as well as mobile object having the same |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3089069B2 (ja) | 2000-09-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5901252A (en) | Process and apparatus for extracting and recognizing figure elements using division into receptive fields, polar transformation, application of one-dimensional filter, and correlation between plurality of images | |
| CN111243093B (zh) | 三维人脸网格的生成方法、装置、设备及存储介质 | |
| CN111932673A (zh) | 一种基于三维重建的物体空间数据增广方法及系统 | |
| Chen et al. | PCT: Large-scale 3D point cloud representations via graph inception networks with applications to autonomous driving | |
| CN107705252B (zh) | 适用于双目鱼眼图像拼接展开校正的方法及系统 | |
| CN106464780B (zh) | Xslit相机 | |
| TW201342304A (zh) | 用於超廣角透鏡圖像的自我調整透視修正的方法和系統 | |
| CN105513063B (zh) | Veronese映射和棋盘格标定拋物折反射摄像机的方法 | |
| CN107025659B (zh) | 基于单位球面坐标映射的全景目标跟踪方法 | |
| CN114766039B (zh) | 对象检测方法、对象检测设备、终端设备、以及介质 | |
| CN107851196A (zh) | 一种图像模式匹配的方法及装置 | |
| CN114119607A (zh) | 基于深度神经网络的酒瓶缺陷样本生成方法及系统 | |
| JP3089069B2 (ja) | 画像処理方法及び画像処理装置 | |
| KR101673144B1 (ko) | 부분 선형화 기반의 3차원 영상 정합 방법 | |
| CN107610184A (zh) | 利用一条直线及圆环点的像标定拋物折反射摄像机的方法 | |
| CN109360247B (zh) | 单个球的公共自极三角形及正交消失点标定抛物摄像机 | |
| KR100490885B1 (ko) | 직각 교차 실린더를 이용한 영상기반 렌더링 방법 | |
| JPH0757089A (ja) | 形状復元装置 | |
| CN107644394A (zh) | 一种3d图像的处理方法及装置 | |
| Salfelder et al. | Markerless 3D spatio-temporal reconstruction of microscopic swimmers from video | |
| Zhang et al. | Design of a 3D reconstruction model of multiplane images based on stereo vision | |
| Wong et al. | FPGA implementation of log-polar mapping | |
| CN117372244A (zh) | 基于二维阵列表示的大场景特征立体匹配方法 | |
| CN109872371A (zh) | 一种基于改进Sift算法的单目视觉三维重建方法 | |
| CN116934819A (zh) | 基于低秩特征图的多源影像高精度配准数据增广方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20000704 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080714 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090714 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |