JPH01312411A - 画像を用いた物体位置推定方法及びセンサ状態推定方法 - Google Patents
画像を用いた物体位置推定方法及びセンサ状態推定方法Info
- Publication number
- JPH01312411A JPH01312411A JP63141705A JP14170588A JPH01312411A JP H01312411 A JPH01312411 A JP H01312411A JP 63141705 A JP63141705 A JP 63141705A JP 14170588 A JP14170588 A JP 14170588A JP H01312411 A JPH01312411 A JP H01312411A
- Authority
- JP
- Japan
- Prior art keywords
- image
- sensor
- images
- captured
- estimating
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Analysis (AREA)
- Navigation (AREA)
- Image Processing (AREA)
Abstract
(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。
め要約のデータは記録されません。
Description
【発明の詳細な説明】
〔産業上の利用分野〕
本発明は移動体搭載センサによる画像の処理に係り、特
に複数の画像から１］標物の位置を高精度に推定するの
に好適なデータ処理方法に関する。
に複数の画像から１］標物の位置を高精度に推定するの
に好適なデータ処理方法に関する。
移動体に搭載したセンサにより空間内の相異なる位置か
ら撮影した複数の画像を用いて５画像中の目標物の空間
内の位置を推定する方法はステレオ撮影と呼ばれ従来か
ら知られている。その方法は例えば、電気学会論文誌Ｃ
第１０７巻７号（昭和（３２年７月）の第６１３頁から
第６１８頁において論じられている。以下これを文献１
と呼ぶことにする。
ら撮影した複数の画像を用いて５画像中の目標物の空間
内の位置を推定する方法はステレオ撮影と呼ばれ従来か
ら知られている。その方法は例えば、電気学会論文誌Ｃ
第１０７巻７号（昭和（３２年７月）の第６１３頁から
第６１８頁において論じられている。以下これを文献１
と呼ぶことにする。
Ｅ記従来技術では、同一目標物を撮影した画像２枚を１
組にし、各画像中の該目標物の像である点の位置を検出
し、それと各画像を撮影した時のセンサの空間内の位置
、姿勢を表わすパラメータとから各画像の該像点に対す
る空間内の視線の位置、方向を求め、２画像の２視線の
交点として所望の目標物の空間内位置を算出する。
組にし、各画像中の該目標物の像である点の位置を検出
し、それと各画像を撮影した時のセンサの空間内の位置
、姿勢を表わすパラメータとから各画像の該像点に対す
る空間内の視線の位置、方向を求め、２画像の２視線の
交点として所望の目標物の空間内位置を算出する。
この方法では目標物の位置推定精度はセンサの位置、姿
勢を表わすパラメータの精度に依存する。
勢を表わすパラメータの精度に依存する。
そこで空間内の位置が既知の基準点を複数用意し、それ
らの画像中の像位置から上記パラメータを高精度に推定
する方法が知られており、文献１に記されている。
らの画像中の像位置から上記パラメータを高精度に推定
する方法が知られており、文献１に記されている。
またパラメータの誤差のため、同一の目標物に対して算
出した２画像の２視線は一般に交わらなくなる。これに
対して、２視線上の点の距離が最小となる条件を求め、
この時の２点を結ぶ線分の中央点を所望の目標物の推定
位置とする方法が。
出した２画像の２視線は一般に交わらなくなる。これに
対して、２視線上の点の距離が最小となる条件を求め、
この時の２点を結ぶ線分の中央点を所望の目標物の推定
位置とする方法が。
リチャード・ドゥーダ及びピータ−・ハートによる「パ
ターン・クラシフィケーション・アンド・シーン・アナ
リシス」 （ジョン・ワイリー・アンド・サンズ社、１
９７３年）の第３９９頁から第４００頁に記されている
。ＣＲｉｃｈａｒｄ Ｄｕｄａ ａｎｄＰｅｔｅｒ
Ｈａｒｔ “Ｐａｔｔｅｒｎ Ｃ１ａｓｓｉｆｉｃ
ａｔｉｏｎ ａｎｄＳｃｅｎｅ Ａｎａｌｙｓｉｓ
” Ｊｏｈｎ Ｗｉｌｅｙ ＆ ５ｏｎｓ。
ターン・クラシフィケーション・アンド・シーン・アナ
リシス」 （ジョン・ワイリー・アンド・サンズ社、１
９７３年）の第３９９頁から第４００頁に記されている
。ＣＲｉｃｈａｒｄ Ｄｕｄａ ａｎｄＰｅｔｅｒ
Ｈａｒｔ “Ｐａｔｔｅｒｎ Ｃ１ａｓｓｉｆｉｃ
ａｔｉｏｎ ａｎｄＳｃｅｎｅ Ａｎａｌｙｓｉｓ
” Ｊｏｈｎ Ｗｉｌｅｙ ＆ ５ｏｎｓ。
１９７３、）
以上をここでは従来技術の第１と呼ぶことにする。次に
従来技術の第２を示す。
従来技術の第２を示す。
ステレオ撮影の１組２画像が与えられたとき、両画像中
で空間内の物体の同一点の像を成す対応点の組を複数検
出する。この対応点の画像中の位置から、２画像を撮影
したセンサの相対的な位置。
で空間内の物体の同一点の像を成す対応点の組を複数検
出する。この対応点の画像中の位置から、２画像を撮影
したセンサの相対的な位置。
姿勢を推定する方法が知られており、プロシーディング
ズ・イメージ・アンダスタンディング・ワークショップ
、１９７９年１１月の第１０１頁から第１０８頁（Ｐ
ｒｏｃ 、 Ｉｍａｇｅ Ｕ ｎｄｅｒｓｔａｎｄｉｎ
ｇＷｏｒｋｓｈｏｐ、 Ｎｏｖ、、１９７９． ｐｐ、
１０１−１０８）に記されている。この方法は基準点を
用いることなく、ステレオ撮影により推定した複数の目
標点位置の相対的関係の精度を高めようとするものであ
る。そこで目標点位置の精度は１組の２画像のいずれか
基準となるもののセンサパラメータの精度に支配される
。
ズ・イメージ・アンダスタンディング・ワークショップ
、１９７９年１１月の第１０１頁から第１０８頁（Ｐ
ｒｏｃ 、 Ｉｍａｇｅ Ｕ ｎｄｅｒｓｔａｎｄｉｎ
ｇＷｏｒｋｓｈｏｐ、 Ｎｏｖ、、１９７９． ｐｐ、
１０１−１０８）に記されている。この方法は基準点を
用いることなく、ステレオ撮影により推定した複数の目
標点位置の相対的関係の精度を高めようとするものであ
る。そこで目標点位置の精度は１組の２画像のいずれか
基準となるもののセンサパラメータの精度に支配される
。
上記従来技術のうち第１は、
（１）目標点位置の推定精度がセンサの位置、姿勢パラ
メータの精度に依存し、基準点がない場合にはパラメー
タ精度、従って目標点位置の精度を高めることができな
い。
メータの精度に依存し、基準点がない場合にはパラメー
タ精度、従って目標点位置の精度を高めることができな
い。
（２）２枚の撮影画像から求まる２つの視線を結ぶ最短
距離線分の中点として推定される目標点位置は、各画像
のセンサパラメータの誤差の大きさを反映したものでは
なく最適な推定と言えない。
距離線分の中点として推定される目標点位置は、各画像
のセンサパラメータの誤差の大きさを反映したものでは
なく最適な推定と言えない。
（３）３枚以上の撮影画像が得られる場合に、これらを
用いて目標点位置の推定精度を高めることができない。
用いて目標点位置の推定精度を高めることができない。
という問題があった。また上記従来技術の第２は、上記
（３）の他、 （４）各画像のセンサパラメータの誤差についての先験
情報にもとづいた各目標点位置の最適推定値を与えるも
のではない。
（３）の他、 （４）各画像のセンサパラメータの誤差についての先験
情報にもとづいた各目標点位置の最適推定値を与えるも
のではない。
という問題があった。
本発明の目的は、上記従来技術の問題点を解決し、複数
画像を用いて目標点の空間内位置を推定するシステムに
おいて、 （１）３枚以上の撮影画像を用いて目標位置の推定精度
を高めることを可能とする。
画像を用いて目標点の空間内位置を推定するシステムに
おいて、 （１）３枚以上の撮影画像を用いて目標位置の推定精度
を高めることを可能とする。
（２）各撮影画像のセンサパラメータの精度に基づき、
目標点位置の最適推定値を得る。
目標点位置の最適推定値を得る。
（３）基準点がない場合にも目標点位置の推定精度を高
めることを可能とする。
めることを可能とする。
（４）基準点がある場合にはそれを用いて、また対応点
がある場合にはそれを用いて目標点位置の推定精度を高
めることを可能とする。
がある場合にはそれを用いて目標点位置の推定精度を高
めることを可能とする。
手段を提供することにある。
上記目的は、移動体に搭載された画像センサと、画像メ
モリと、データ処理装置と、メモリとより成る画像処理
システムにおいて、１枚以上の撮影画像中から検出した
同一物体の像点の画像中の座標と、該画像を撮影した時
のセンサの位置、姿勢の先験的確率から該物体の空間内
位置を推定する処理を該データ処理装置に行なわせるこ
と、さらに前記画像処理システムにおいて、複数の撮影
画像中から検出した同一物体の像点の画像中の座標組１
つ以上と、該各画像を撮影した時のセンサの位置、姿勢
の先験的確率から、該１つ以上の物体の空間内位置を同
時に推定する処理をデータ処理装置に行なわせることに
より、達成される。
モリと、データ処理装置と、メモリとより成る画像処理
システムにおいて、１枚以上の撮影画像中から検出した
同一物体の像点の画像中の座標と、該画像を撮影した時
のセンサの位置、姿勢の先験的確率から該物体の空間内
位置を推定する処理を該データ処理装置に行なわせるこ
と、さらに前記画像処理システムにおいて、複数の撮影
画像中から検出した同一物体の像点の画像中の座標組１
つ以上と、該各画像を撮影した時のセンサの位置、姿勢
の先験的確率から、該１つ以上の物体の空間内位置を同
時に推定する処理をデータ処理装置に行なわせることに
より、達成される。
以下、本発明の作用を図を用いて説明する。
第２図は撮影の幾何学的関係を示す図である。
センサ固定座標系２０はＺ軸を光軸２１の方向にとる。
Ｚ軸の負の方向に焦点距Ｍ ｆｏだけ離れた位置にｘｖ
面と平行な焦点面２２を考える。目標点２３の像２４の
座標工を焦点面上の座標系２５で考えると、 で与えられる。ここに Ｒｓ＝（ｘ ｙ ｚ）” （２）式は
センサ系での目標点２３の位置ベクトル２６で、これは により与えられる。ここに １’１：： （ｘｔ ｙｔ ｚｔ）
（４）式は目標点２３の地図系２７での位置ベクトル。
面と平行な焦点面２２を考える。目標点２３の像２４の
座標工を焦点面上の座標系２５で考えると、 で与えられる。ここに Ｒｓ＝（ｘ ｙ ｚ）” （２）式は
センサ系での目標点２３の位置ベクトル２６で、これは により与えられる。ここに １’１：： （ｘｔ ｙｔ ｚｔ）
（４）式は目標点２３の地図系２７での位置ベクトル。
ｐ、： （ｘｖ ｙｖ ｚｖ）’ （５
）式はセンサの地図系２７での位置ベクトル、Ｍ□はセ
ンサ系２０から移動体固定座標系２８への回転行列、Ｍ
２は座標系２８から２７への回転行列である。Ｍ８はセ
ンサの取付角あるいは走査角により、またＭ２は移動体
の姿勢角（ＲＰ Ｙ）により で与えられる。
）式はセンサの地図系２７での位置ベクトル、Ｍ□はセ
ンサ系２０から移動体固定座標系２８への回転行列、Ｍ
２は座標系２８から２７への回転行列である。Ｍ８はセ
ンサの取付角あるいは走査角により、またＭ２は移動体
の姿勢角（ＲＰ Ｙ）により で与えられる。
第３図は複数の撮影画像を用いた１目標点の位置推定の
模式図である。各画像を撮影したセンサの位置、姿勢パ
ラメータ３ｏを ｘｒ＝ （ｘｖ ｙｖ Ｚｖ ＲＰ Ｙ）’
（７）式と表わす、（ｉ＝１．・・・、Ｎ）但しＮを画
像の総数とする。同一の目標点３１工、の像３２の座標
系２５での座標を １１＝ （ｘ ｙ）’ （８）式
とする。これは画像中に検出した像の画素位置から直ち
に求めることができる。但し座標系の単位は焦点距離ｆ
。と共通とする。画像中での１１の検出誤差を互、とす
る。このとき撮影は次のモデルで与えられる。
模式図である。各画像を撮影したセンサの位置、姿勢パ
ラメータ３ｏを ｘｒ＝ （ｘｖ ｙｖ Ｚｖ ＲＰ Ｙ）’
（７）式と表わす、（ｉ＝１．・・・、Ｎ）但しＮを画
像の総数とする。同一の目標点３１工、の像３２の座標
系２５での座標を １１＝ （ｘ ｙ）’ （８）式
とする。これは画像中に検出した像の画素位置から直ち
に求めることができる。但し座標系の単位は焦点距離ｆ
。と共通とする。画像中での１１の検出誤差を互、とす
る。このとき撮影は次のモデルで与えられる。
Ｌｌ＝Ｌ（基３．二ｔ）十旦、（９）式このモデルが与
えられたとき問題は事後確率Ｐ （ｒｔｌｌ工、・・・
、 ＬＮ） （１０）式を最大にする工、を推
定することである。但し条件として、センサパラメータ
の先験情報ｐ（ｘｔ）（ｊ＝１．・・・、Ｎ）、検出誤
差分布ｐ（且１）（ｉ＝１．・・・、Ｎ）と未知の目標
点位置の先験情報ｐ（ｒｔ）が与えられているものとす
る。
えられたとき問題は事後確率Ｐ （ｒｔｌｌ工、・・・
、 ＬＮ） （１０）式を最大にする工、を推
定することである。但し条件として、センサパラメータ
の先験情報ｐ（ｘｔ）（ｊ＝１．・・・、Ｎ）、検出誤
差分布ｐ（且１）（ｉ＝１．・・・、Ｎ）と未知の目標
点位置の先験情報ｐ（ｒｔ）が与えられているものとす
る。
（１０）式は
ｐｊｙ０１皿１）・°ｐＣｙＮｌ ｒｔ）・ｐ（ｒｔ）
／ｐ（ｚ工、・・・、ＩＮ）となるので、各確率分布が
独立なガウス分布であるとすれば、（１０）式の最大化
は Ｊ＝Σ（２＋−工（ル、工ｔ））’Ｑｉ−１（ｚｔ−工
（五ｌ、工υ）ｉ＝１ ＋（旦、−〒υｔＲ−１（工ｔ ｉｔ）
（１１）式の最小化となる。、ここにＱ Ｔ’は
ｐ （ｅｌ ／ ｒ ｔ ）の共分散で。
／ｐ（ｚ工、・・・、ＩＮ）となるので、各確率分布が
独立なガウス分布であるとすれば、（１０）式の最大化
は Ｊ＝Σ（２＋−工（ル、工ｔ））’Ｑｉ−１（ｚｔ−工
（五ｌ、工υ）ｉ＝１ ＋（旦、−〒υｔＲ−１（工ｔ ｉｔ）
（１１）式の最小化となる。、ここにＱ Ｔ’は
ｐ （ｅｌ ／ ｒ ｔ ）の共分散で。
Ｑ ｒ ＝ Ｆ Ｐ ｘ Ｆ ｔ＋ Ｗｉ
（１２）式また７ １．、Ｒはそれぞれ二、の先験情報
による期待値と共分散である。
（１２）式また７ １．、Ｒはそれぞれ二、の先験情報
による期待値と共分散である。
（］１）式の解は次のカルマンフィルタにより与えられ
る。未知変数をＺ ” １７ Ｌ、その誤差共分散をｔ
とおくとき、 初期推定値 Ｐ （０） ＝Ｒ ｆｏｒ ｉ＝１ ｔｏ Ｎ ｂｅｇｉｎ互（ｉ
）＝互（ｉ−１）＋べ（ｉ） ［ｚｔ ｆへ４．互（
ｉ−１）］Ｐ （ｉ）＝ Ｐ （ｉ−１）−基（ｉ）Ｈ
＋ Ｐ （ｉ−１）但しカルマンゲインＫ （ｉ）は、 Ｋ（ｉ）＝Ｐ（ｉ−１）Ｈ＋’ ０（ｔＰ（ｊ、−１
）Ｈｔ’＋Ｑ＋コ −１観ｌ１ｔ１行列１（＋は ｅｎｄ。
る。未知変数をＺ ” １７ Ｌ、その誤差共分散をｔ
とおくとき、 初期推定値 Ｐ （０） ＝Ｒ ｆｏｒ ｉ＝１ ｔｏ Ｎ ｂｅｇｉｎ互（ｉ
）＝互（ｉ−１）＋べ（ｉ） ［ｚｔ ｆへ４．互（
ｉ−１）］Ｐ （ｉ）＝ Ｐ （ｉ−１）−基（ｉ）Ｈ
＋ Ｐ （ｉ−１）但しカルマンゲインＫ （ｉ）は、 Ｋ（ｉ）＝Ｐ（ｉ−１）Ｈ＋’ ０（ｔＰ（ｊ、−１
）Ｈｔ’＋Ｑ＋コ −１観ｌ１ｔ１行列１（＋は ｅｎｄ。
で解が求まる。
次に第４図により複数の撮影画像を用いて複数の目標点
位置を同時に推定する方法を説明する。
位置を同時に推定する方法を説明する。
各画像を撮影したセンサのパラメータ４０を（７）式に
よりＸｔ （１＝ １ ｔ ”・＋ Ｎ）と表わす。ｊ
番目の目標点４に、−の第１画像中の像４２の座標系２
５での座標を（８）式により、ｆｌ、Ｊとする。但しｊ
＝１．・・・、Ｍ、Ｍは目標点の総数である。このとき
撮影のモデル（９）式と同様 、ＬＩＪ＝ ｆ （ｘｔ、 ｒ、） ＋ ｅｔＪ
（１５）式となる。このモデルに対し問題は事後確率
Ｐ（ｒｔｔ＋ ”’＋ ｒｔＨ＋ Ｘ１＊ ”・＊ Ｘ
Ｎ Ｉ ｙ□１ｒ ”’＊ ｙＮＭ） （１６）式
を最大にする二ｔＪ＋ （ｊ：＝ｌ、・・・、Ｍ）と
互、。
よりＸｔ （１＝ １ ｔ ”・＋ Ｎ）と表わす。ｊ
番目の目標点４に、−の第１画像中の像４２の座標系２
５での座標を（８）式により、ｆｌ、Ｊとする。但しｊ
＝１．・・・、Ｍ、Ｍは目標点の総数である。このとき
撮影のモデル（９）式と同様 、ＬＩＪ＝ ｆ （ｘｔ、 ｒ、） ＋ ｅｔＪ
（１５）式となる。このモデルに対し問題は事後確率
Ｐ（ｒｔｔ＋ ”’＋ ｒｔＨ＋ Ｘ１＊ ”・＊ Ｘ
Ｎ Ｉ ｙ□１ｒ ”’＊ ｙＮＭ） （１６）式
を最大にする二ｔＪ＋ （ｊ：＝ｌ、・・・、Ｍ）と
互、。
（ｉ＝１．・・・、Ｎ）を推定することである。但し先
験情報としてｐ（工ＩＬ ｐ（ｒ’ｔＪＬ Ｐ（↓ＩＪ
）（ｉ＝＝１．・・・Ｉ Ｎ）、（ｊ＝ｉ＋・・・、Ｍ
）が与えられているものとする。
験情報としてｐ（工ＩＬ ｐ（ｒ’ｔＪＬ Ｐ（↓ＩＪ
）（ｉ＝＝１．・・・Ｉ Ｎ）、（ｊ＝ｉ＋・・・、Ｍ
）が与えられているものとする。
（１６）式は
ｐ（ｚよ、１λ１．工ｔ工）・ｐ （Ｌ１２１盈１．ｒ
Ｊ“°ｐ（ＹＮ阿１五Ｎ、工ｔ＋）・ｐ（工７、）・・
・ｐ（ｒｔＭ）・ｐ（盈、）・・・ｐ（ｘＮ）／ｐ（ｚ
ユ１．・・・＋ ｚｈｓ）となるので、各確率分布が独
立ながらガウス分布であるとすれば、（１６）式の最大
化は、ｉ＝１ となる。ここに１月は見１．の共分散、−３１１は先験
情報による期待値である。（１７）式の解は次のカルマ
ンフィルタにより与えられる。未知変数を１＝（二０、
′、・・・、ｒｔＨ”、ム、′、・・・、五Ｎ１）１そ
の誤差共分散をＰとおくとき、 初期推定値 ｆｏｒ ｉ＝１ ｔｏ Ｎ ｂｅｇｉ
ｎｆｏｒ ｊ＝１ ｔｏ Ｍ ｂｅｇｉｎ
ｋ＝ （ｉ−１）ｘＭ＋ｊとおけば、 互（ｋ） ｚ （ｋ−１）＋Ｋ（ｋ） ［ｚｔＪｆ吠（
、ｒｗ）］Ｐ（ｋ）＝Ｐ（ｋ−１）−Ｋ（ｋ）ＨＩＪＰ
（ｋ−１）但しカルマンゲインＫ （ｋ）は Ｋ（ｋ）” Ｐ （ｋ−１）Ｈｔ Ｊ” ［ＨＩＪ Ｐ
（ｋ−１）Ｈｔ Ｊ ’ ＋ ＷＩ Ｊ］ −’観測
行列ＨＩ Ｊは ａｒｔａ ａ工ｌ ｎｄ ｅｎｄ。
Ｊ“°ｐ（ＹＮ阿１五Ｎ、工ｔ＋）・ｐ（工７、）・・
・ｐ（ｒｔＭ）・ｐ（盈、）・・・ｐ（ｘＮ）／ｐ（ｚ
ユ１．・・・＋ ｚｈｓ）となるので、各確率分布が独
立ながらガウス分布であるとすれば、（１６）式の最大
化は、ｉ＝１ となる。ここに１月は見１．の共分散、−３１１は先験
情報による期待値である。（１７）式の解は次のカルマ
ンフィルタにより与えられる。未知変数を１＝（二０、
′、・・・、ｒｔＨ”、ム、′、・・・、五Ｎ１）１そ
の誤差共分散をＰとおくとき、 初期推定値 ｆｏｒ ｉ＝１ ｔｏ Ｎ ｂｅｇｉ
ｎｆｏｒ ｊ＝１ ｔｏ Ｍ ｂｅｇｉｎ
ｋ＝ （ｉ−１）ｘＭ＋ｊとおけば、 互（ｋ） ｚ （ｋ−１）＋Ｋ（ｋ） ［ｚｔＪｆ吠（
、ｒｗ）］Ｐ（ｋ）＝Ｐ（ｋ−１）−Ｋ（ｋ）ＨＩＪＰ
（ｋ−１）但しカルマンゲインＫ （ｋ）は Ｋ（ｋ）” Ｐ （ｋ−１）Ｈｔ Ｊ” ［ＨＩＪ Ｐ
（ｋ−１）Ｈｔ Ｊ ’ ＋ ＷＩ Ｊ］ −’観測
行列ＨＩ Ｊは ａｒｔａ ａ工ｌ ｎｄ ｅｎｄ。
で解が得られる。
以上、第３図に示した第１の方法および第４図に示した
第２の方法によれば、 ３枚以上の画像を用いて目標点の位置推定を行なうとい
う目的の（１）が達成できる。
第２の方法によれば、 ３枚以上の画像を用いて目標点の位置推定を行なうとい
う目的の（１）が達成できる。
各撮影画像のセンサパラメータの先験情報ｐ（−３４１
）（ｉ＝１１・・・、Ｎ）を用いて目標点の位置の最適
推定値が得られ、目的の（２）が達成できる。
）（ｉ＝１１・・・、Ｎ）を用いて目標点の位置の最適
推定値が得られ、目的の（２）が達成できる。
また第２の方法によれば、複数画像中の対応点に相当す
る物体点をも目標点に含めてその位置を、各画像のセン
サパラメータと共に推定することによりセンサパラメー
タの精度を高め、従って所望の目標点の推定精度を高め
ることができる。また基準点が与えられた場合には、（
１９）式においてそれを第ｊ目標点とすれば、既知の位
置二ｔＪを未知変数から除き、観測行列ＨＩ Ｊをとお
くことにより同様に扱い、センサパラメータの推定精度
、従って所望の目標点の精度を高めるという目的の（４
）が達成できる。
る物体点をも目標点に含めてその位置を、各画像のセン
サパラメータと共に推定することによりセンサパラメー
タの精度を高め、従って所望の目標点の推定精度を高め
ることができる。また基準点が与えられた場合には、（
１９）式においてそれを第ｊ目標点とすれば、既知の位
置二ｔＪを未知変数から除き、観測行列ＨＩ Ｊをとお
くことにより同様に扱い、センサパラメータの推定精度
、従って所望の目標点の精度を高めるという目的の（４
）が達成できる。
以下１本発明の一実施例を図を用いて説明する。
第１図は、本発明による画像処理システムの全体構成図
である。移動体に搭載されたセンサ１から取り込まれた
撮影画像データは画像メモリ２に蓄えられると同時に、
画像表示装置３に表示される。
である。移動体に搭載されたセンサ１から取り込まれた
撮影画像データは画像メモリ２に蓄えられると同時に、
画像表示装置３に表示される。
データ処理袋＠５は第５図、または第６図に示す手順に
従い推定処理を行なう。第５図は画像中に基準点あるい
は対応点がない場合である。利用者が入力装置４により
装置３の表示画像上で指示した。目標点の画像中の座標
−ｙ−の取り込み５０を行なう。
従い推定処理を行なう。第５図は画像中に基準点あるい
は対応点がない場合である。利用者が入力装置４により
装置３の表示画像上で指示した。目標点の画像中の座標
−ｙ−の取り込み５０を行なう。
次に、メモリ６より読み出した未知目標点座標工とその
共分散Ｐ、センサパラス−タ入とその失分７７１ Ｉ）
ｘと上記取り込んだＬを用いて（］４）式に従い目標
点座標の推定処理５１を行なう。その結果はメモリ６に
書き込み二とＩ゛のΦ新５２に使うとともに、移動体の
制御・操作等の目的に使うため外部８への出力５３を行
なう。第５図の処理はセンサ１により撮影画像が得られ
、るたびに行なう。その結果画像の数が増すに従い［］
標点位置の推定精度が高まる。また初期設定どして−−
とＰ、入とＰ、をメモリ６に外部９より書き込んでおく
。
共分散Ｐ、センサパラス−タ入とその失分７７１ Ｉ）
ｘと上記取り込んだＬを用いて（］４）式に従い目標
点座標の推定処理５１を行なう。その結果はメモリ６に
書き込み二とＩ゛のΦ新５２に使うとともに、移動体の
制御・操作等の目的に使うため外部８への出力５３を行
なう。第５図の処理はセンサ１により撮影画像が得られ
、るたびに行なう。その結果画像の数が増すに従い［］
標点位置の推定精度が高まる。また初期設定どして−−
とＰ、入とＰ、をメモリ６に外部９より書き込んでおく
。
−頌どＰつは例えば移動体搭載の位置、姿勢センサから
、また−じと１）は−ｘ、−、Ｐ ｘ及び地図から算出
することができる。またＷは画像中の位置検出の確度に
応じた複数の値を用意し、装置４より入力した確度に応
じた値を選択しで用いる。
、また−じと１）は−ｘ、−、Ｐ ｘ及び地図から算出
することができる。またＷは画像中の位置検出の確度に
応じた複数の値を用意し、装置４より入力した確度に応
じた値を選択しで用いる。
第６図は画像中に基準点あるいは対応点のある場合の処
理を示す。画像系列のうち第Ｎ番目の画像を取り込み処
理する場合を考える。
理を示す。画像系列のうち第Ｎ番目の画像を取り込み処
理する場合を考える。
初期設定とし７てセンサパラメータの先験情報Ｘ−ｉ、
Ｐｘ （ｉ ＝ １、−、 Ｎ）をメモリ７に書き込
んでおく。またそれまでに画像から検出した目標点（基
準点、対応点を含む）についてその位置の先験情報−ｒ
ｔａ、ＲＪと像の座標ＬＩＪとその共分散ＷＩＪ （１
＝１． ・・・ｒ Ｎ ＩＬ Ｆ＝１＋ ・＝＋ Ｍ
）もメモリ７に書き込んでおく。その準備の上で推定の
初期設定６０により（Ｊ８）式に従いｚ （０）とＰ（
０）をメモリ７から読み出して作る。次に（１９）式に
従いｉ；１．・・、Ｎ−ｔ、、）＝ｉ。
Ｐｘ （ｉ ＝ １、−、 Ｎ）をメモリ７に書き込
んでおく。またそれまでに画像から検出した目標点（基
準点、対応点を含む）についてその位置の先験情報−ｒ
ｔａ、ＲＪと像の座標ＬＩＪとその共分散ＷＩＪ （１
＝１． ・・・ｒ Ｎ ＩＬ Ｆ＝１＋ ・＝＋ Ｍ
）もメモリ７に書き込んでおく。その準備の上で推定の
初期設定６０により（Ｊ８）式に従いｚ （０）とＰ（
０）をメモリ７から読み出して作る。次に（１９）式に
従いｉ；１．・・、Ｎ−ｔ、、）＝ｉ。
・・９Ｍに対し未知変数の推定処理を行なう。すなわち
−７−＋ ＪとＷ ＋ 、のメモリ７かＣ）の読み出し
６１゜未知変数−乙−と共分散Ｉ）の更新６２．そのメ
モリ６への痔き込み更新６；３を繰返ず。そのあと第Ｎ
？ｉｌｊ像の処理に移る。すなわち次の処理を全目標
点（基準点、対応点を含む）に対し繰返す。まず画像中
の座標χ−Ｎ、の取り込み６４を行ない、その値と共分
散Ｗ Ｎ Ｊをメモリ７に書き込む。（６５）そのあと
（１９）式に従い未知変数−Ｌと共分散Ｐの更新６６、
そのメモリ６への書き込み更新６７を行なつ。推定結果
の目標点座標及びセンサパラメータは必要に応じ外部８
への出力６８を行なう。
−７−＋ ＪとＷ ＋ 、のメモリ７かＣ）の読み出し
６１゜未知変数−乙−と共分散Ｉ）の更新６２．そのメ
モリ６への痔き込み更新６；３を繰返ず。そのあと第Ｎ
？ｉｌｊ像の処理に移る。すなわち次の処理を全目標
点（基準点、対応点を含む）に対し繰返す。まず画像中
の座標χ−Ｎ、の取り込み６４を行ない、その値と共分
散Ｗ Ｎ Ｊをメモリ７に書き込む。（６５）そのあと
（１９）式に従い未知変数−Ｌと共分散Ｐの更新６６、
そのメモリ６への書き込み更新６７を行なつ。推定結果
の目標点座標及びセンサパラメータは必要に応じ外部８
への出力６８を行なう。
以北により所望の推定値が得らオ１４ろ９なお座標の取
り込み５０．（″）４を人手で行なう際次のようにＡペ
レータを支援することができる。
り込み５０．（″）４を人手で行なう際次のようにＡペ
レータを支援することができる。
メモリ６から読み出した未知パラメー タ値から（１）
式により該１１標点（またｉ、ｔｔ準点、対応点）の像
中の座標−■−が予測できる。また次式によりその共分
散 ｐ、＝）（ＰＨ’ （２１）式が計算で
きる。その結果に従い、第７図に示すように、Ｆ ｉｌ
ｌ’ｌ中心７１を囲む目標点の１σの存在予測範囲７２
を表示装置３の画面７０中に表示するという処理を処理
装置５に行なわせればよい。また座標の取り込みを人手
によらず処理装置ｉｔ５に行なわせる場合は、例えば上
記予ｆｌｌｌｌ範囲中の輝度の極値を検出する方法が可
能である。
式により該１１標点（またｉ、ｔｔ準点、対応点）の像
中の座標−■−が予測できる。また次式によりその共分
散 ｐ、＝）（ＰＨ’ （２１）式が計算で
きる。その結果に従い、第７図に示すように、Ｆ ｉｌ
ｌ’ｌ中心７１を囲む目標点の１σの存在予測範囲７２
を表示装置３の画面７０中に表示するという処理を処理
装置５に行なわせればよい。また座標の取り込みを人手
によらず処理装置ｉｔ５に行なわせる場合は、例えば上
記予ｆｌｌｌｌ範囲中の輝度の極値を検出する方法が可
能である。
第１図に示すシステムはすべてを移動体に搭載し、自律
移動システムに適用してもよいが、センサ１とメモリ２
の間を有線または無線で結び、センサＩＪ又外を固定し
、環境の計訃、観察システムｔＪ適ＩＩ Ｌ、でもよい 〔発明の効果〕 本発明によれば、複数の撮影画像を用いて像中の物体の
空間内位置の最適推定値に先験情報にもとづいて算出で
きるので、移動体搭載センサによる物体位置推定精度を
高める効果がある。
移動システムに適用してもよいが、センサ１とメモリ２
の間を有線または無線で結び、センサＩＪ又外を固定し
、環境の計訃、観察システムｔＪ適ＩＩ Ｌ、でもよい 〔発明の効果〕 本発明によれば、複数の撮影画像を用いて像中の物体の
空間内位置の最適推定値に先験情報にもとづいて算出で
きるので、移動体搭載センサによる物体位置推定精度を
高める効果がある。
第１図は本発明の−・実施例による画像処理システムの
全体構成図、第２図は礒影の幾何学的関係を説明するた
めの図、第３図は複数画像を用いた１目標点の位置推定
の模式図、第４図は複数画像を用いた複数目標点の位置
推定の模式図、第５図は本発明の画像処理システムにお
ける１目標点位置推定の処理フロー、第６図は同じく複
数目標点位置推定の処理フロー、第７図は表示装置１の
目標点予測位置表示を示す図である。 柔 ／ 図 第２図 ４５図 多２ 第５田 ［田
全体構成図、第２図は礒影の幾何学的関係を説明するた
めの図、第３図は複数画像を用いた１目標点の位置推定
の模式図、第４図は複数画像を用いた複数目標点の位置
推定の模式図、第５図は本発明の画像処理システムにお
ける１目標点位置推定の処理フロー、第６図は同じく複
数目標点位置推定の処理フロー、第７図は表示装置１の
目標点予測位置表示を示す図である。 柔 ／ 図 第２図 ４５図 多２ 第５田 ［田
Claims (1)
- 【特許請求の範囲】 １、移動体に搭載された画像センサと、画像メモリと、
データ処理装置と、メモリとより成る画像処理システム
において、１枚以上の撮影画像中から検出した同一物体
の像点の画像中の座標と、該画像を撮影した時のセンサ
の位置、姿勢の先験的確率から該物体の空間内位置を推
定する処理を該データ処理装置に行なわせることを特徴
とする画像を用いた物体位置推定方法。 ２、複数の撮影画像中から検出した同一物体の像点の画
像中の座標組１つ以上と、該各画像を撮影した時のセン
サの位置、姿勢の先験的確率から、該１つ以上の物体の
空間内位置を同時に推定する処理を前記データ処理装置
に行なわせることを特徴とする請求項１記載の画像を用
いた物体位置推定方法。 ３、撮影画像中に空間内の位置が既知の物体の像がある
場合、該像点の画像中の座標を、前記データ処理装置に
よる該画像撮影時のセンサの位置、姿勢推定に利用する
ことを特徴とする請求項１記載の画像を用いた物体位置
推定方法。 ４、画像を撮影したセンサの位置、姿勢および物体の空
間内位置の先験的確率または事前推定値にもとづいて該
画像中の該物体の像位置を予測し、それを画像表示装置
に表示する処理を前記データ処理装置に行なわせること
を特徴とする請求項１乃至３のいずれかに記載の画像を
用いた物体位置推定方法。 ５、前項記載の像位置の予測と、該予測位置を用いた撮
影画像中の物体像位置検出処理を前記データ処理装置に
行なわせることを特徴とする請求項１乃至３のいずれか
に記載の画像を用いた物体位置推定方法。 ６、複数の撮影画像中から検出した同一物体の像点の画
像中の座標組１つ以上と、該各画像を撮影した時のセン
サの位置、姿勢の先験的確率から、該センサの位置、姿
勢を推定する処理をデータ処理装置に行なわせることを
特徴とするセンサ状態推定方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP63141705A JPH01312411A (ja) | 1988-06-10 | 1988-06-10 | 画像を用いた物体位置推定方法及びセンサ状態推定方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP63141705A JPH01312411A (ja) | 1988-06-10 | 1988-06-10 | 画像を用いた物体位置推定方法及びセンサ状態推定方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH01312411A true JPH01312411A (ja) | 1989-12-18 |
Family
ID=15298283
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP63141705A Pending JPH01312411A (ja) | 1988-06-10 | 1988-06-10 | 画像を用いた物体位置推定方法及びセンサ状態推定方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH01312411A (ja) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06251153A (ja) * | 1993-02-08 | 1994-09-09 | Loral Aerospace Corp | ターゲット追跡のための多重機能型前処理装置 |
| JP2007078409A (ja) * | 2005-09-12 | 2007-03-29 | Mitsubishi Electric Corp | 物体測位装置 |
| JP2008304269A (ja) * | 2007-06-06 | 2008-12-18 | Sony Corp | 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム |
| JP2009186288A (ja) * | 2008-02-05 | 2009-08-20 | Canon Inc | 画像処理装置、画像処理方法 |
| JP2012068481A (ja) * | 2010-09-24 | 2012-04-05 | Asia Air Survey Co Ltd | 拡張現実表現システムおよび方法 |
| WO2020039937A1 (ja) * | 2018-08-23 | 2020-02-27 | 日本電信電話株式会社 | 位置座標推定装置、位置座標推定方法およびプログラム |
-
1988
- 1988-06-10 JP JP63141705A patent/JPH01312411A/ja active Pending
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06251153A (ja) * | 1993-02-08 | 1994-09-09 | Loral Aerospace Corp | ターゲット追跡のための多重機能型前処理装置 |
| JP2007078409A (ja) * | 2005-09-12 | 2007-03-29 | Mitsubishi Electric Corp | 物体測位装置 |
| JP2008304269A (ja) * | 2007-06-06 | 2008-12-18 | Sony Corp | 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム |
| JP2009186288A (ja) * | 2008-02-05 | 2009-08-20 | Canon Inc | 画像処理装置、画像処理方法 |
| JP2012068481A (ja) * | 2010-09-24 | 2012-04-05 | Asia Air Survey Co Ltd | 拡張現実表現システムおよび方法 |
| WO2020039937A1 (ja) * | 2018-08-23 | 2020-02-27 | 日本電信電話株式会社 | 位置座標推定装置、位置座標推定方法およびプログラム |
| JPWO2020039937A1 (ja) * | 2018-08-23 | 2021-02-15 | 日本電信電話株式会社 | 位置座標推定装置、位置座標推定方法およびプログラム |
| CN112601928A (zh) * | 2018-08-23 | 2021-04-02 | 日本电信电话株式会社 | 位置坐标推定装置、位置坐标推定方法以及程序 |
| US12055628B2 (en) | 2018-08-23 | 2024-08-06 | Nippon Telegraph And Telephone Corporation | Position coordinates estimation device, position coordinates estimation method, and program |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111052183B (zh) | 利用事件相机的视觉惯性里程计 | |
| CN111801198B (zh) | 一种手眼标定方法、系统及计算机存储介质 | |
| JP4825980B2 (ja) | 魚眼カメラの校正方法。 | |
| US20180308240A1 (en) | Method for estimating the speed of movement of a camera | |
| CN113330486A (zh) | 深度估计 | |
| CN113436267B (zh) | 视觉惯导标定方法、装置、计算机设备和存储介质 | |
| US20110211081A1 (en) | Image stabilizing apparatus, image pick-up apparatus and image stabilizing method | |
| CN112215880B (zh) | 一种图像深度估计方法及装置、电子设备、存储介质 | |
| JP2016525842A (ja) | カメラ動き予測及び修正のための方法 | |
| CN104345688B (zh) | 工作场所中定位工具的方法、相应系统和计算机可读存储介质 | |
| US7151562B1 (en) | Method and apparatus for external calibration of a camera via a graphical user interface | |
| US20080267453A1 (en) | Method for estimating the pose of a ptz camera | |
| JP2022532206A (ja) | ぼけた画像／ビデオを用いたｓｆｍ／ｓｌａｍへの適用を有する畳み込みニューラルネットワークを使用した画像／ビデオのボケ除去 | |
| JP7082713B2 (ja) | ローリングシャッター画像／ビデオのｓｆｍ／ｓｌａｍに対するアプリケーションで畳み込みニューラルネットワークを用いる画像／ビデオにおけるローリングシャッター補正 | |
| US20190182433A1 (en) | Method of estimating the speed of displacement of a camera | |
| CN108053375A (zh) | 图像数据修正方法、装置及其汽车 | |
| CN115311368B (zh) | 基于不同视野相机的联合标定方法、装置和计算机设备 | |
| KR20190088379A (ko) | 자세 추정 방법, 추정된 자세를 이용하여 가상 객체를 디스플레이하는 방법, 및 이를 수행하는 장치들 | |
| US20230319429A1 (en) | Object distance estimation with camera lens focus calibration | |
| CN108986147B (zh) | 光流传感器、方法、远程控制器装置、可旋转电子装置 | |
| CN113569843B (zh) | 角点检测方法、装置、计算机设备和存储介质 | |
| JPH06249615A (ja) | 位置検出方法 | |
| JPH01312411A (ja) | 画像を用いた物体位置推定方法及びセンサ状態推定方法 | |
| JP2012075088A (ja) | 画像処理システムおよび画像処理方法 | |
| CN110853102A (zh) | 一种新的机器人视觉标定及引导方法、装置及计算机设备 |