JPH0727529A - 両眼視方式 - Google Patents
両眼視方式Info
- Publication number
- JPH0727529A JPH0727529A JP5172801A JP17280193A JPH0727529A JP H0727529 A JPH0727529 A JP H0727529A JP 5172801 A JP5172801 A JP 5172801A JP 17280193 A JP17280193 A JP 17280193A JP H0727529 A JPH0727529 A JP H0727529A
- Authority
- JP
- Japan
- Prior art keywords
- image
- frame memory
- results
- region
- functions
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000006870 function Effects 0.000 claims abstract description 16
- 238000009499 grossing Methods 0.000 claims abstract description 6
- 230000003287 optical effect Effects 0.000 claims abstract description 5
- 238000003384 imaging method Methods 0.000 claims description 7
- 238000000034 method Methods 0.000 claims description 6
- 230000001629 suppression Effects 0.000 claims 1
- 230000015654 memory Effects 0.000 abstract description 30
- 238000004364 calculation method Methods 0.000 abstract description 11
- 239000000284 extract Substances 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 6
- 230000010354 integration Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【目的】 空間のある一点を注視させた二つの撮像カメ
ラから得られた像を用いて、その注視点と同じ奥行きを
持つ画像を切り出す。 【構成】 左右の画像から演算器および局所平滑器によ
り、両眼視差が小さい領域と大きい領域に分離して取り
出す。それらの結果を用いることにより、演算器により
両眼視差の小さい領域での画像を効率よく切り出す。
ラから得られた像を用いて、その注視点と同じ奥行きを
持つ画像を切り出す。 【構成】 左右の画像から演算器および局所平滑器によ
り、両眼視差が小さい領域と大きい領域に分離して取り
出す。それらの結果を用いることにより、演算器により
両眼視差の小さい領域での画像を効率よく切り出す。
Description
【０００１】
【産業上の利用分野】本発明は、両眼視方式に関し、特
に認識させたい三次元的な物体に光軸を指向させた左右
２つの撮像カメラで得た左右２つの画像を利用し、その
中の三次元的な奥行き、すなわち空間距離が、２つのカ
メラの注視している点の距離に近い奥行きにある三次元
物体の像を切り出す為の両眼視方式に関する。
に認識させたい三次元的な物体に光軸を指向させた左右
２つの撮像カメラで得た左右２つの画像を利用し、その
中の三次元的な奥行き、すなわち空間距離が、２つのカ
メラの注視している点の距離に近い奥行きにある三次元
物体の像を切り出す為の両眼視方式に関する。
【０００２】
【従来の技術】撮像カメラで捕捉した三次元的な物体の
認識のためには、まず、目的とする物体の像をその他の
背景から切り出す必要がある。多くの場合、背景は三次
元物体とは異なる存在距離すなわち奥行きを持つ。従っ
て、特定の奥行きに存在する像を切り出すことにより、
後の物体認識のための処理を単純化することができる。
この目的に対し、撮像カメラ２つを用いて得られる左右
２つの静的な像から両眼視差を求め、この両眼視差に基
づいて所望の奥行きにある物体の像のみを切り出すこと
が試みられている。
認識のためには、まず、目的とする物体の像をその他の
背景から切り出す必要がある。多くの場合、背景は三次
元物体とは異なる存在距離すなわち奥行きを持つ。従っ
て、特定の奥行きに存在する像を切り出すことにより、
後の物体認識のための処理を単純化することができる。
この目的に対し、撮像カメラ２つを用いて得られる左右
２つの静的な像から両眼視差を求め、この両眼視差に基
づいて所望の奥行きにある物体の像のみを切り出すこと
が試みられている。
【０００３】
【発明が解決しようとする課題】上述の試みにおいて、
自然画像等のノイズの多い画像から両眼視差を計測する
場合、ノイズに起因する誤差を減少させるためにＧａｂ
ｏｒ関数をフイルターに用いる方式が提案されている。
しかし、入力画像の中で明暗が大きく変化する部分で
は、結果に含まれる誤差が大きくなると言う欠点があっ
た。
自然画像等のノイズの多い画像から両眼視差を計測する
場合、ノイズに起因する誤差を減少させるためにＧａｂ
ｏｒ関数をフイルターに用いる方式が提案されている。
しかし、入力画像の中で明暗が大きく変化する部分で
は、結果に含まれる誤差が大きくなると言う欠点があっ
た。
【０００４】本発明の目的は、このような欠点を除去し
た両眼視方式を提供することにある。
た両眼視方式を提供することにある。
【０００５】
【課題を解決するための手段】本発明の両眼視方式は、
三次元的物体に光軸を指向せしめた左右２つの撮像カメ
ラで捕捉した左右２つの画像に対して、三角関数部分の
位相が４５度異なる４つのＧａｂｏｒ関数を畳み込んで
得られた左右計８つの画像を加算または減算した結果に
対して、更に局所的な平滑化を施すことにより、両眼視
差が小さい領域を抽出することを特徴とする。
三次元的物体に光軸を指向せしめた左右２つの撮像カメ
ラで捕捉した左右２つの画像に対して、三角関数部分の
位相が４５度異なる４つのＧａｂｏｒ関数を畳み込んで
得られた左右計８つの画像を加算または減算した結果に
対して、更に局所的な平滑化を施すことにより、両眼視
差が小さい領域を抽出することを特徴とする。
【０００６】
【実施例】次に、本発明の実施例について図面を参照し
て説明する。
て説明する。
【０００７】（実施例１）図１は本発明の第１の実施例
の構成図である。図１に示す実施例は、それぞれ光軸
を、切り出し対象の三次元的物体に指向させた撮像カメ
ラで捕捉した左画像および右画像と、それらの左右の画
像に対して適当なＧａｂｏｒ関数を畳み込み積分する演
算器３と演算器４、およびそれらの計算結果を保持する
フレームメモリ９とフレームメモリ１０、それらの演算
結果を用いて三次元的な物体の切り出しに必要な計算を
行う演算器５、局所平滑器８、演算器６、および、それ
ら演算の中間結果を保持するためのフレームメモリ１
１、フレームメモリ１２、フレームメモリ１３、そし
て、画像を抽出する為の演算器７と、その抽出された画
像を保持するためのフレームメモリ１４を備えている。
の構成図である。図１に示す実施例は、それぞれ光軸
を、切り出し対象の三次元的物体に指向させた撮像カメ
ラで捕捉した左画像および右画像と、それらの左右の画
像に対して適当なＧａｂｏｒ関数を畳み込み積分する演
算器３と演算器４、およびそれらの計算結果を保持する
フレームメモリ９とフレームメモリ１０、それらの演算
結果を用いて三次元的な物体の切り出しに必要な計算を
行う演算器５、局所平滑器８、演算器６、および、それ
ら演算の中間結果を保持するためのフレームメモリ１
１、フレームメモリ１２、フレームメモリ１３、そし
て、画像を抽出する為の演算器７と、その抽出された画
像を保持するためのフレームメモリ１４を備えている。
【０００８】次に、本実施例の動作について説明する。
【０００９】まず、左の二次元画像ａL （ｘ，ｙ）か
ら、演算器３によって、次式で与えられるように、
ら、演算器３によって、次式で与えられるように、
【００１０】
【外１】
【００１１】個のＧａｂｏｒ関数Ｇ（ｘ，ｙ，ｋi ，θ
j ，φ）；ｉ＝１〜ｎk 、
j ，φ）；ｉ＝１〜ｎk 、
【００１２】
【外２】
【００１３】φ＝−π／４，０，π／４，π／２の畳み
込み積分が計算され、その計算結果ｇ（ｘ，ｙ，ｋi ，
θj ）；ｉ＝１〜ｎk 、
込み積分が計算され、その計算結果ｇ（ｘ，ｙ，ｋi ，
θj ）；ｉ＝１〜ｎk 、
【００１４】
【外３】
【００１５】がフレームメモリ９に蓄えられる。
【００１６】
【数１】
【００１７】
【数２】
【００１８】但し、ｎk ＝１とする。
【００１９】同様に、右の二次元画像ａR （ｘ，ｙ）に
対しても、演算器４により次式で与えられるようにＧａ
ｂｏｒ関数の畳み込み積分が計算され、その計算結果ｇ
R （ｘ，ｙ，ｋi ，θj ）がフレームメモリ１０に蓄え
られる。
対しても、演算器４により次式で与えられるようにＧａ
ｂｏｒ関数の畳み込み積分が計算され、その計算結果ｇ
R （ｘ，ｙ，ｋi ，θj ）がフレームメモリ１０に蓄え
られる。
【００２０】
【数３】
【００２１】フレームメモリ９およびフレームメモリ１
０に蓄えられたｇL （ｘ，ｙ，ｋi ，θj ，φ）、ｇR
（ｘ，ｙ，ｋi ，θj ，φ）を用いて、演算器５でＴＩ
（ｘ，ｙ，ｋi ，φ）；φ＝０、π／２が次式で示すよ
うに計算され、その結果がフレームメモリ１４に蓄えら
れる。
０に蓄えられたｇL （ｘ，ｙ，ｋi ，θj ，φ）、ｇR
（ｘ，ｙ，ｋi ，θj ，φ）を用いて、演算器５でＴＩ
（ｘ，ｙ，ｋi ，φ）；φ＝０、π／２が次式で示すよ
うに計算され、その結果がフレームメモリ１４に蓄えら
れる。
【００２２】
【数４】
【００２３】但し、Φ＝π／２の場合、ｇ（ｘ，ｙ，ｋ
i ，３π／４）は−ｇ（ｘ，ｙ，ｋi，−π／４）で与
える。
i ，３π／４）は−ｇ（ｘ，ｙ，ｋi，−π／４）で与
える。
【００２４】フレームメモリ１１に蓄えられたＴＩ
（ｘ，ｙ，ｋi ，Φ）を用いて局所平滑器８によって、
ＴＩ０（ｘ，ｙ，ｋi ，Φ）が次のように計算され、フ
レームメモリ１２に蓄えられる。
（ｘ，ｙ，ｋi ，Φ）を用いて局所平滑器８によって、
ＴＩ０（ｘ，ｙ，ｋi ，Φ）が次のように計算され、フ
レームメモリ１２に蓄えられる。
【００２５】
【数５】
【００２６】ここで、局所平滑化の際の重みＷ（ｘ，
ｙ）は、例えば以下のように与える。
ｙ）は、例えば以下のように与える。
【００２７】
【数６】
【００２８】但し、先の場合を含め、二次元の畳み込み
積分（＊＊）は使用する演算器に最も適したあるアリズ
ムにより実行するものとする。
積分（＊＊）は使用する演算器に最も適したあるアリズ
ムにより実行するものとする。
【００２９】フレームメモリ１２に蓄えられたＴＩ０
（ｘ，ｙ，ｋi ，Φ）を用いて、演算器６でＱt （ｘ，
ｙ，ｋi ，Φ）が次式に示すように計算され、その結果
がフレームメモリ１３に転送される。
（ｘ，ｙ，ｋi ，Φ）を用いて、演算器６でＱt （ｘ，
ｙ，ｋi ，Φ）が次式に示すように計算され、その結果
がフレームメモリ１３に転送される。
【００３０】
【数７】
【００３１】式（８）の定数Ｔは０．０１〜０．１程度
の適当な値に設定する。この様にして計算されたＱは、
両眼視差が１／４ｋi より大きいときには１に近く、１
／ｋiより小さいときには０に近い値をとる。
の適当な値に設定する。この様にして計算されたＱは、
両眼視差が１／４ｋi より大きいときには１に近く、１
／ｋiより小さいときには０に近い値をとる。
【００３２】フレームメモリ１３に蓄えられたＱ
t （ｘ，ｙ，ｋi ，Φ）を用いて、左右の入力画像
ａL ，ａR から以下のようにして両眼視差の大きな領域
を取り除いた画像Ｒ（ｘ，ｙ，ｋi ）を得る。
t （ｘ，ｙ，ｋi ，Φ）を用いて、左右の入力画像
ａL ，ａR から以下のようにして両眼視差の大きな領域
を取り除いた画像Ｒ（ｘ，ｙ，ｋi ）を得る。
【００３３】
【数８】
【００３４】以上のようにして、左右２つの撮像カメラ
で捕捉した左右２つの画像に対して、それぞれＧａｂｏ
ｒ関数を畳み込み積分し、その結果得られた左右２つの
画像を加算および減算した後に局所的な平滑化を施すこ
とにより、両眼視差がゼロ近傍の領域のみを効果的に切
り出すことができる。
で捕捉した左右２つの画像に対して、それぞれＧａｂｏ
ｒ関数を畳み込み積分し、その結果得られた左右２つの
画像を加算および減算した後に局所的な平滑化を施すこ
とにより、両眼視差がゼロ近傍の領域のみを効果的に切
り出すことができる。
【００３５】（実施例２）図２は、本発明の第２の実施
例の構成図である。図１の第１の実施例に対応する構成
要素には同一の参照番号を付して示してある。
例の構成図である。図１の第１の実施例に対応する構成
要素には同一の参照番号を付して示してある。
【００３６】この実施例では、第１の実施例でのＴＩ０
（ｘ，ｙ，ｋi ，Φ）を求めた後、以下の処理を行う。
（ｘ，ｙ，ｋi ，Φ）を求めた後、以下の処理を行う。
【００３７】まず、フレームメモリ１２に蓄えられたＴ
Ｉ０（ｘ，ｙ，ｋi ，Φ）から、フレームメモリ１３に
蓄えられているＰt-1 （ｘ，ｙ，ｋi ，Φ）とフレーム
メモ１４に蓄えられているＱt-1 （ｘ，ｙ，ｋi ，Φ）
を用いて、演算器１６でＰt（ｘ，ｙ，ｋi ，Φ）が次
式で示すように計算され、その結果がフレームメモリ１
８に蓄えられる。
Ｉ０（ｘ，ｙ，ｋi ，Φ）から、フレームメモリ１３に
蓄えられているＰt-1 （ｘ，ｙ，ｋi ，Φ）とフレーム
メモ１４に蓄えられているＱt-1 （ｘ，ｙ，ｋi ，Φ）
を用いて、演算器１６でＰt（ｘ，ｙ，ｋi ，Φ）が次
式で示すように計算され、その結果がフレームメモリ１
８に蓄えられる。
【００３８】
【数９】
【００３９】ただし、メモリ２０から読み出される式
（５）の定数ａ1 ，ａ2 は、適当に選ばれる。
（５）の定数ａ1 ，ａ2 は、適当に選ばれる。
【００４０】次に、フレームメモリ１８に蓄えられたＰ
t （ｘ，ｙ，ｋi ，Φ）を用いて、演算器１７でＱ
t （ｘ，ｙ，ｋi ，Φ）が次式で示すように計算され、
その結果がフレームメモリ１４に転送される。
t （ｘ，ｙ，ｋi ，Φ）を用いて、演算器１７でＱ
t （ｘ，ｙ，ｋi ，Φ）が次式で示すように計算され、
その結果がフレームメモリ１４に転送される。
【００４１】
【数１０】
【００４２】また、フレームメモリ１３には演算器１７
での一画面分の計算が一通り終わった後にフレームメモ
リ１８の内容が転送される。
での一画面分の計算が一通り終わった後にフレームメモ
リ１８の内容が転送される。
【００４３】以上において、Ｐt-1 （ｘ，ｙ，ｋi ，
Φ）は、フレームメモリ１８に蓄えられるＰt （ｘ，
ｙ，ｋi ，Φ）の１フレーム前の演算結果である。
Φ）は、フレームメモリ１８に蓄えられるＰt （ｘ，
ｙ，ｋi ，Φ）の１フレーム前の演算結果である。
【００４４】以上の処理を適当な回数反復することによ
り収束したＱt （ｘ，ｙ，ｋi ，Φ）を用いて演算器１
５により両眼視差の過大な領域を抑制した画像Ｒ（ｘ，
ｙ，ｋi ）を計算し、その結果をフレームメモリ１９に
出力する。
り収束したＱt （ｘ，ｙ，ｋi ，Φ）を用いて演算器１
５により両眼視差の過大な領域を抑制した画像Ｒ（ｘ，
ｙ，ｋi ）を計算し、その結果をフレームメモリ１９に
出力する。
【００４５】
【数１１】
【００４６】以上のようにして、計算時間に余裕がある
場合には、第１の実施例に反復演算を取り入れることに
より計算誤差をより少なくすることができる。
場合には、第１の実施例に反復演算を取り入れることに
より計算誤差をより少なくすることができる。
【００４７】（実施例３）図３は、本発明の第３の実施
例の構成図である。この実施例では、第２の実施例での
ｎk を２以上に設定し、式（１０）を以下で置き換え
る。このことにより、複数の空間周波数チャンネルにお
ける結果を統合し、両眼視差がゼロ近傍の領域を切り出
すことができる。
例の構成図である。この実施例では、第２の実施例での
ｎk を２以上に設定し、式（１０）を以下で置き換え
る。このことにより、複数の空間周波数チャンネルにお
ける結果を統合し、両眼視差がゼロ近傍の領域を切り出
すことができる。
【００４８】
【数１２】
【００４９】ここで、ｋi+1 ＝２ｋi とする。
【００５０】図２の回路は、ｎk ＝２の場合を示し、１
００および２００は、図２において点線で囲んだ回路を
示している。
００および２００は、図２において点線で囲んだ回路を
示している。
【００５１】
【発明の効果】以上説明したように本発明は、左右２つ
の撮像カメラから入力した２つの画像に対して、それぞ
れに三角関数部分の位相が９０度異なる２つの型のＧａ
ｂｏｒ関数を畳み込んで得られる４つの画像を加減算し
たものを局所的な平滑化を施すことにより、三次元的な
物体像から左右２つのカメラの注視した点の奥行きと同
程度の奥行きにある領域を、簡単な構成の装置を用いて
効率よく切り出し取得することができる。
の撮像カメラから入力した２つの画像に対して、それぞ
れに三角関数部分の位相が９０度異なる２つの型のＧａ
ｂｏｒ関数を畳み込んで得られる４つの画像を加減算し
たものを局所的な平滑化を施すことにより、三次元的な
物体像から左右２つのカメラの注視した点の奥行きと同
程度の奥行きにある領域を、簡単な構成の装置を用いて
効率よく切り出し取得することができる。
【図面の簡単な説明】
【図１】第１の実施例の構成図である。
【図２】第２の実施例の構成図である。
【図３】第３の実施例の構成図である。
【符号の説明】 ３〜７ 演算器 ８ 局所平滑器 ９〜１４ フレームメモリ
Claims (3)
- 【請求項１】三次元的物体に光軸を指向せしめた左右２
つの撮像カメラで捕捉した左右２つの画像に対して、三
角関数部分の位相が４５度異なる４つのＧａｂｏｒ関数
を畳み込んで得られた左右計８つの画像を加算または減
算した結果に対して、更に局所的な平滑化を施すことに
より、両眼視差が小さい領域を抽出することを特徴とす
る両眼視方式。 - 【請求項２】請求項１の処理の際に、反復演算を施すこ
とを特徴とする請求項１記載の両眼視方式。 - 【請求項３】請求項１または２の処理の際に、関数の空
間的広がりの大きさが等比関係にある二つ以上のＧａｂ
ｏｒ関数を用い、その各々の系において、より大きなＧ
ａｂｏｒ関数の系からの抑制を取り入れることにより、
両眼視差が小さい領域を抽出することを特徴とする請求
項１または２記載の両眼視方式。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP5172801A JPH087048B2 (ja) | 1993-07-13 | 1993-07-13 | 両眼視方式 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP5172801A JPH087048B2 (ja) | 1993-07-13 | 1993-07-13 | 両眼視方式 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0727529A true JPH0727529A (ja) | 1995-01-27 |
| JPH087048B2 JPH087048B2 (ja) | 1996-01-29 |
Family
ID=15948627
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP5172801A Expired - Fee Related JPH087048B2 (ja) | 1993-07-13 | 1993-07-13 | 両眼視方式 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH087048B2 (ja) |
-
1993
- 1993-07-13 JP JP5172801A patent/JPH087048B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH087048B2 (ja) | 1996-01-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20250104202A1 (en) | Image noise reduction | |
| Riemens et al. | Multistep joint bilateral depth upsampling | |
| Cho et al. | Motion blur removal with orthogonal parabolic exposures | |
| EP3067863B1 (en) | Image noise reduction | |
| JP2024041895A (ja) | モジュール式画像補間方法 | |
| CN110738677A (zh) | 相机全清晰成像方法、装置与电子设备 | |
| Weickert | Fast segmentation methods based on partial differential equations and the watershed transformation | |
| JP2795148B2 (ja) | 動画像処理方法および装置 | |
| CN108234826B (zh) | 图像处理方法及装置 | |
| Deschenes et al. | An unified approach for a simultaneous and cooperative estimation of defocus blur and spatial shifts | |
| Liu et al. | Robust guided image filtering | |
| JPH0727529A (ja) | 両眼視方式 | |
| CN118135613A (zh) | 一种基于混合深度神经网络的舌象图像分割方法及系统 | |
| CN114972119B (zh) | 一种图像处理方法、装置、电子设备及存储介质 | |
| Iwanowski | Image contrast enhancement based on Laplacian-of-Gaussian filter combined with morphological reconstruction | |
| Joseph Raj et al. | Video-rate calculation of depth from defocus on a FPGA | |
| Sevcenco et al. | Seamless stitching of images based on a Haar wavelet 2D integration method | |
| JP2848048B2 (ja) | 両眼視方式 | |
| Tico | Adaptive block-based approach to image stabilization | |
| EP4298550A1 (en) | Reflection removal from an image | |
| CN111833259A (zh) | 图像清晰度确定方法、装置、设备及存储介质 | |
| JP2848004B2 (ja) | 両眼視方式 | |
| CN119831888B (zh) | 图像降噪方法、系统及可读存储介质 | |
| Ali et al. | Enforcing spatially coherent structures for accurate 3d shape recovery | |
| CN118297832B (zh) | 一种低照度条件下的视觉slam系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313115 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080129 Year of fee payment: 12 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090129 Year of fee payment: 13 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100129 Year of fee payment: 14 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110129 Year of fee payment: 15 |
|
| LAPS | Cancellation because of no payment of annual fees |