JPH0225989A - 移動対象抽出方法 - Google Patents
移動対象抽出方法Info
- Publication number
- JPH0225989A JPH0225989A JP63176433A JP17643388A JPH0225989A JP H0225989 A JPH0225989 A JP H0225989A JP 63176433 A JP63176433 A JP 63176433A JP 17643388 A JP17643388 A JP 17643388A JP H0225989 A JPH0225989 A JP H0225989A
- Authority
- JP
- Japan
- Prior art keywords
- supplied
- depth
- moving object
- image
- moving
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Analysis (AREA)
Abstract
(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。
め要約のデータは記録されません。
Description
【発明の詳細な説明】
〔産業上の利用分野〕
本発明は、例えば産業用ロボットの物体認識に使用して
好適な移動対象抽出方法に関する。
好適な移動対象抽出方法に関する。
本発明は移動対象抽出方法に関し、画像中の時間変化領
域を抽出しこの時間変化領域内でステレオ対応による深
度判別を行うことにより、誤判別のおそれのない極めて
良好な移動対象抽出を行えるようにしたものである。
域を抽出しこの時間変化領域内でステレオ対応による深
度判別を行うことにより、誤判別のおそれのない極めて
良好な移動対象抽出を行えるようにしたものである。
例えば産業用ロボットの物体認識に用いられる移動対象
抽出方法として、本願出願人は先に画像処理を用いる方
法を提案したく特開昭６２−１１３２７９号公報等参照
）。
抽出方法として、本願出願人は先に画像処理を用いる方
法を提案したく特開昭６２−１１３２７９号公報等参照
）。
すなわちこの方法では、例えば撮像カメラが静止してい
る状態を想定し、これによって背景は静止しているもの
とし、このカメラからの画像で輝度の時間的に変化した
領域が移動している対象物体を表現していると考えて抽
出を行う。なお撮像カメラがパン・ズーム・ドリー等の
移動をしている場合には、画像全体の動きを検出して補
正を行い、この補正画像に対して処理を行ってもよい。
る状態を想定し、これによって背景は静止しているもの
とし、このカメラからの画像で輝度の時間的に変化した
領域が移動している対象物体を表現していると考えて抽
出を行う。なお撮像カメラがパン・ズーム・ドリー等の
移動をしている場合には、画像全体の動きを検出して補
正を行い、この補正画像に対して処理を行ってもよい。
〔発明が解決しようとする課題〕
しかしながら上述の方法において、画像の輝度の変化し
た部分は必ずしも対象物体を表現しているとは限らず、
例えば物体の移動によって現われた背景や、物体の影に
よって輝度の変化した背景の部分も含まれている。また
逆に対象物体の範囲でも背景と輝度の等しい部分は背景
として除外されてしまう場合もある。
た部分は必ずしも対象物体を表現しているとは限らず、
例えば物体の移動によって現われた背景や、物体の影に
よって輝度の変化した背景の部分も含まれている。また
逆に対象物体の範囲でも背景と輝度の等しい部分は背景
として除外されてしまう場合もある。
ところで本願出願人は先に複数の撮像装置を用いて画像
の深度地図を作成する装置を出願（特願昭６２−２３０
５８０号）した。しかしこの装置では、背景等に水平に
繰り返し模様があると誤判定を生じるおそれがあり、ま
た視差以上の幅の平坦な物体の判別は困難で事実上物体
の輪郭の抽出しかできないなどの問題があった。
の深度地図を作成する装置を出願（特願昭６２−２３０
５８０号）した。しかしこの装置では、背景等に水平に
繰り返し模様があると誤判定を生じるおそれがあり、ま
た視差以上の幅の平坦な物体の判別は困難で事実上物体
の輪郭の抽出しかできないなどの問題があった。
この出願はこれらの点に鑑みてなされたものである。
本発明は、移動対象を含む動画像からなる主画像（ＩＣ
）とこの主画像に対してステレオ対応の得られる１以上
の副画像（ＩＬ） （ＩＲ）とが供給され、少くとも上
記主画像中の時間変化領域を判別（手段（２））し、こ
の時間変化領域に含まれる（マスキング手段（４Ｃ）
（４Ｌ） （４Ｒ） ）上記主画像及び副画像の上記ス
テレオ対応による深度分布を測定（手段（６））Ｌ、こ
の測定された深度分布を分析（手段（７））して所定の
候補深度値（ｄｌｄ２）を得（手段（８））、この候補
深度値における上記主画像及び副画像の上記ステレオ対
応による深度判別（手段（９））により上記移動対象の
抽出（画像（１０） ）を行うようにした移動対象抽出
方法である。
）とこの主画像に対してステレオ対応の得られる１以上
の副画像（ＩＬ） （ＩＲ）とが供給され、少くとも上
記主画像中の時間変化領域を判別（手段（２））し、こ
の時間変化領域に含まれる（マスキング手段（４Ｃ）
（４Ｌ） （４Ｒ） ）上記主画像及び副画像の上記ス
テレオ対応による深度分布を測定（手段（６））Ｌ、こ
の測定された深度分布を分析（手段（７））して所定の
候補深度値（ｄｌｄ２）を得（手段（８））、この候補
深度値における上記主画像及び副画像の上記ステレオ対
応による深度判別（手段（９））により上記移動対象の
抽出（画像（１０） ）を行うようにした移動対象抽出
方法である。
これによれば、動き抽出とステレオ対応を併用しさらに
候補深度値を選定することにより、誤判別の少ない極め
て良好な移動対象抽出を行うことができる。
候補深度値を選定することにより、誤判別の少ない極め
て良好な移動対象抽出を行うことができる。
第１図において、時間ｔによって順次変化される主画像
（ＩＣ）及びこの主画像に対してステレオ対応の得られ
る例えば左・右の副動画像（ＩＬ） （ＩＲ）が供給さ
れ、これらの動画像の内の主動画像（ＩＣ）が時間変化
領域の判別手段（２）に供給される。これによって例え
ば第２図に示すような時間変化領域が判別される。ここ
で変化領域は、移動対象物体の画像ＣＡ＋Ｂ〕と影ある
いは物体の移動によって現われた背景等の部分〔Ｃ〕の
和から、物体の背景と同一輝度の部分〔Ｂ〕を除いた部
分［： Ａ ＋ Ｃ〕である。
（ＩＣ）及びこの主画像に対してステレオ対応の得られ
る例えば左・右の副動画像（ＩＬ） （ＩＲ）が供給さ
れ、これらの動画像の内の主動画像（ＩＣ）が時間変化
領域の判別手段（２）に供給される。これによって例え
ば第２図に示すような時間変化領域が判別される。ここ
で変化領域は、移動対象物体の画像ＣＡ＋Ｂ〕と影ある
いは物体の移動によって現われた背景等の部分〔Ｃ〕の
和から、物体の背景と同一輝度の部分〔Ｂ〕を除いた部
分［： Ａ ＋ Ｃ〕である。
この判別された時間変化領域がマスク発生手段（３）に
供給されて、例えば第３図Ａに示すような領域の最大Ｘ
座標、最小Ｘ座標、最大Ｙ座標、最小Ｙ座標を求めてそ
れに一定幅（例えば５画素）のマージンを付加した長方
形の閉領域のマスクが発生される。あるいは同図已に示
すような領域をいわゆる膨張のアルゴリズムを用いて拡
大して閉領域のマスクを設定してもよい。
供給されて、例えば第３図Ａに示すような領域の最大Ｘ
座標、最小Ｘ座標、最大Ｙ座標、最小Ｙ座標を求めてそ
れに一定幅（例えば５画素）のマージンを付加した長方
形の閉領域のマスクが発生される。あるいは同図已に示
すような領域をいわゆる膨張のアルゴリズムを用いて拡
大して閉領域のマスクを設定してもよい。
この発生されたマスクがそれぞれ主動画像（ＩＣ）及び
副動画像（１１、） （ＩＲ）の供給されるマスキング
手段（４Ｃ） （４Ｌ） （４Ｒ）に供給される。これ
らのマスキングされた画像がそれぞれ特徴１の計算手段
（５Ｃ）（５Ｌ） （５Ｒ）に供給される。ここで特徴
量の計算は「ロビンソンの方向差分マスク」等の周知の
方法が適用できる。
副動画像（１１、） （ＩＲ）の供給されるマスキング
手段（４Ｃ） （４Ｌ） （４Ｒ）に供給される。これ
らのマスキングされた画像がそれぞれ特徴１の計算手段
（５Ｃ）（５Ｌ） （５Ｒ）に供給される。ここで特徴
量の計算は「ロビンソンの方向差分マスク」等の周知の
方法が適用できる。
これらの算出された特徴量がステレオ対応による深度分
布の測定手段（６）に供給される。この測定はいわゆる
内債を求めることによって行われ、例えば Ｉｄ＝ ”Ｅ−Ｆｘ（ｘ、ｙ）＊ Ｆｓ（ｘ −ｄ、ｙ
）で求められる。すなわち式中のＦ。は主画像の特＠量
、Ｆ５ は副画像の特徴量の函数であって、副画像を４
画素シフトしたときの一致ｌが算出されるもので、この
場合にｄは視差−深度に相当する。
布の測定手段（６）に供給される。この測定はいわゆる
内債を求めることによって行われ、例えば Ｉｄ＝ ”Ｅ−Ｆｘ（ｘ、ｙ）＊ Ｆｓ（ｘ −ｄ、ｙ
）で求められる。すなわち式中のＦ。は主画像の特＠量
、Ｆ５ は副画像の特徴量の函数であって、副画像を４
画素シフトしたときの一致ｌが算出されるもので、この
場合にｄは視差−深度に相当する。
なお深度分布の測定は特徴量を求めずとも輝度そのもの
で行うこともできる。
で行うこともできる。
この測定によって例えば第４図に示すような深度分布に
よるヒストグラムが形成される。このヒストグラムにお
いて２つのピークは一方が背景、他方が移動対象に相当
していると考えられる。そこでこのヒストグラムが分析
手段（７）に供給されて、例えば周知のパーセンタイル
法によってピークに対応するｄの値（ｄｌ、ｄ２）が求
められ、この値が候補深度として選定手段（８）で選定
される。なおパーセンタイル法に用いるパーセント値は
特定条件において予め定められる。またパーセンタイル
法を用いることによってピークが明確でない場合にも的
確に候補深度を求められる。
よるヒストグラムが形成される。このヒストグラムにお
いて２つのピークは一方が背景、他方が移動対象に相当
していると考えられる。そこでこのヒストグラムが分析
手段（７）に供給されて、例えば周知のパーセンタイル
法によってピークに対応するｄの値（ｄｌ、ｄ２）が求
められ、この値が候補深度として選定手段（８）で選定
される。なおパーセンタイル法に用いるパーセント値は
特定条件において予め定められる。またパーセンタイル
法を用いることによってピークが明確でない場合にも的
確に候補深度を求められる。
そして上述の計算手段（５Ｃン（５Ｌ） （５Ｒ）から
の算出１直が深度判別手段（９）に供給されると共に、
上述の候補深度値（ｄｌ、（１２）が判別手段（９）に
供給されて、この候補深度値における深度の判別が行わ
れる。
の算出１直が深度判別手段（９）に供給されると共に、
上述の候補深度値（ｄｌ、（１２）が判別手段（９）に
供給されて、この候補深度値における深度の判別が行わ
れる。
これによって例えば第５図に示すように、上述の影等の
領域（Ｃ）は深度ｄ、で判別されて同じくｄ、で判別さ
れる背景ＣＤ）に吸収され、背景と同一輝度の領域１”
ＤＩ）はｄ２ で判別されて同じくｄ２ で判別される
移動対象の領域〔ＡＥに吸収される。
領域（Ｃ）は深度ｄ、で判別されて同じくｄ、で判別さ
れる背景ＣＤ）に吸収され、背景と同一輝度の領域１”
ＤＩ）はｄ２ で判別されて同じくｄ２ で判別される
移動対象の領域〔ＡＥに吸収される。
こうして移動対象が抽出され、この抽出された出力画像
（１０）が得られるわけであるが、上述の方法によれば
、動き抽出とステレオ対応を併用してさらに候補深度値
を選定することにより、誤判別の少ない極めて良好な移
動対象抽出を行うことができる。
（１０）が得られるわけであるが、上述の方法によれば
、動き抽出とステレオ対応を併用してさらに候補深度値
を選定することにより、誤判別の少ない極めて良好な移
動対象抽出を行うことができる。
なお上述の方法は、本願出願人が先に提案したディジタ
ル画像処理装置（特開昭６２−１１８４５５号公報等参
照〉 に適用する場合には、３原色信号にそれぞれ主画
像及び左・右の副画像を割当ることにより極めて良好な
処理を行うことができる。
ル画像処理装置（特開昭６２−１１８４５５号公報等参
照〉 に適用する場合には、３原色信号にそれぞれ主画
像及び左・右の副画像を割当ることにより極めて良好な
処理を行うことができる。
この発明によれば、動き抽出とステレオ対応を併用しさ
らに候補深度値を選定することにより、誤判別の少ない
極めて良好な移動対象抽出を行うことができるようにな
った。
らに候補深度値を選定することにより、誤判別の少ない
極めて良好な移動対象抽出を行うことができるようにな
った。
第１図は本発明の方法の一具体例の流れ図、第２図〜第
５図はその説明のための図である。 （ＩＣ）は主画像、（ＩＬ） （ＩＲ）は副画像、（２
）は時間変化領域判別手段、（３）はマスク発生手段、
（４Ｃ） （４１，）（４Ｒ）はマスキング手段、（５
Ｃ） （５Ｌ） （５Ｒ） は特徴量計算手段、（６
）は深度分布測定手段、（７）はヒストグラム分析手段
、（８）は候補深度選定手段、（９）は深度判別手段、
（１０）は出力画像である。 代 理 人 伊 藤 貞 同 松 隈 秀 盛 詩閂変化＠域 第２図 第４図 第５図
５図はその説明のための図である。 （ＩＣ）は主画像、（ＩＬ） （ＩＲ）は副画像、（２
）は時間変化領域判別手段、（３）はマスク発生手段、
（４Ｃ） （４１，）（４Ｒ）はマスキング手段、（５
Ｃ） （５Ｌ） （５Ｒ） は特徴量計算手段、（６
）は深度分布測定手段、（７）はヒストグラム分析手段
、（８）は候補深度選定手段、（９）は深度判別手段、
（１０）は出力画像である。 代 理 人 伊 藤 貞 同 松 隈 秀 盛 詩閂変化＠域 第２図 第４図 第５図
Claims (1)
- 【特許請求の範囲】 移動対象を含む動画像からなる主画像とこの主画像に対
してステレオ対応の得られる１以上の副画像とが供給さ
れ、 少くとも上記主画像中の時間変化領域を判別し、この時
間変化領域に含まれる上記主画像及び副画像の上記ステ
レオ対応による深度分布を測定し、この測定された深度
分布を分析して所定の候補深度値を得、 この候補深度値における上記主画像及び副画像の上記ス
テレオ対応による深度判別により上記移動対象の抽出を
行うようにした移動対象抽出方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP63176433A JP2860992B2 (ja) | 1988-07-15 | 1988-07-15 | 移動対象抽出方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP63176433A JP2860992B2 (ja) | 1988-07-15 | 1988-07-15 | 移動対象抽出方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0225989A true JPH0225989A (ja) | 1990-01-29 |
| JP2860992B2 JP2860992B2 (ja) | 1999-02-24 |
Family
ID=16013619
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP63176433A Expired - Fee Related JP2860992B2 (ja) | 1988-07-15 | 1988-07-15 | 移動対象抽出方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2860992B2 (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08138053A (ja) * | 1994-11-08 | 1996-05-31 | Canon Inc | 被写体情報処理装置及び遠隔装置 |
| US6217633B1 (en) | 1997-12-01 | 2001-04-17 | Nippon Sanso Corporation | Method and apparatus for recovering rare gas |
| US20170308877A1 (en) * | 2016-04-26 | 2017-10-26 | Nautilus Hyosung Inc. | Automatic teller machine |
| CN116678401A (zh) * | 2023-04-27 | 2023-09-01 | 佛山纽欣肯智能科技有限公司 | 一种基于YOLOv6算法改进的动态环境SLAM方法 |
-
1988
- 1988-07-15 JP JP63176433A patent/JP2860992B2/ja not_active Expired - Fee Related
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08138053A (ja) * | 1994-11-08 | 1996-05-31 | Canon Inc | 被写体情報処理装置及び遠隔装置 |
| US6217633B1 (en) | 1997-12-01 | 2001-04-17 | Nippon Sanso Corporation | Method and apparatus for recovering rare gas |
| US20170308877A1 (en) * | 2016-04-26 | 2017-10-26 | Nautilus Hyosung Inc. | Automatic teller machine |
| CN116678401A (zh) * | 2023-04-27 | 2023-09-01 | 佛山纽欣肯智能科技有限公司 | 一种基于YOLOv6算法改进的动态环境SLAM方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2860992B2 (ja) | 1999-02-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7684592B2 (en) | Realtime object tracking system | |
| US5247583A (en) | Image segmentation method and apparatus therefor | |
| US20150302607A1 (en) | Image processing apparatus and method | |
| CN109523551B (zh) | 一种获取机器人行走姿态的方法及系统 | |
| US11669978B2 (en) | Method and device for estimating background motion of infrared image sequences and storage medium | |
| CN112233161B (zh) | 手部图像深度确定方法、装置、电子设备及存储介质 | |
| US10599942B2 (en) | Target tracking method and system adaptable to multi-target tracking | |
| CN107437257A (zh) | 一种移动背景下的运动物体检测与分割方法 | |
| JPH0225989A (ja) | 移動対象抽出方法 | |
| JP5217917B2 (ja) | 物体検知追跡装置，物体検知追跡方法および物体検知追跡プログラム | |
| CN116402857B (zh) | 一种基于三维标定的运动目标跨镜头跟踪方法 | |
| KR101156547B1 (ko) | 알지비 이미지 및 깊이 이미지를 이용한 얼굴 및 손 탐색 방법 | |
| CN112258561A (zh) | 针对图像拼接的匹配点获取方法 | |
| JPS634379A (ja) | パタ−ンマツチング装置 | |
| JP2000270343A (ja) | 画像合成用識別パタンパネルを備えた仮想スタジオシステム及び画像合成用識別パタンパネルを用いた識別方法 | |
| JP3447751B2 (ja) | パターン認識方法 | |
| JP2001052167A (ja) | 画像処理方法 | |
| JPH04241684A (ja) | 画像整合方法及び装置 | |
| JP2864815B2 (ja) | 画像特徴情報統合装置 | |
| JPH012178A (ja) | カラ−画像の領域抽出方法 | |
| JP2726814B2 (ja) | 両眼視差検出方式 | |
| JPH06337939A (ja) | 画像識別方法および装置 | |
| CN120431578A (zh) | 图像标注方法、装置和电子设备 | |
| JPH012177A (ja) | カラ−画像の輪郭線検出方法 | |
| Chen et al. | Planar region depth filling using edge detection with embedded confidence technique and Hough transform |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| LAPS | Cancellation because of no payment of annual fees |