JPH08297744A - 動画像領域分割装置 - Google Patents
動画像領域分割装置Info
- Publication number
- JPH08297744A JPH08297744A JP7102238A JP10223895A JPH08297744A JP H08297744 A JPH08297744 A JP H08297744A JP 7102238 A JP7102238 A JP 7102238A JP 10223895 A JP10223895 A JP 10223895A JP H08297744 A JPH08297744 A JP H08297744A
- Authority
- JP
- Japan
- Prior art keywords
- unit
- zero
- binary image
- motion vector
- change point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Analysis (AREA)
Abstract
(57)【要約】
【構成】 動画像から階層的に特徴を抽出し自動的に領
域分割を行う装置において、前処理部101と、動きベク
トル検出部105と、特徴抽出部102と、境界線決定部103
と、モデリング部104とを備え、前記特徴抽出部102にお
いて、第１の２値画像作成部201と、第２の２値画像作
成部202と、第３の２値画像作成部203と、第４の２値画
像作成部204と、２値画像融合部205とを備え、前記第４
の２値画像作成部204において、水平方向変化点検出部3
01と垂直方向に低域通過フィルタをかける垂直方向LPF
部302と、エッジ抽出部303とを備えたことを特徴とする
動画像領域分割装置。 【効果】 特徴抽出部102において、動きベクトルから
対象物の輪郭の位置を大まかに決定する第４の２値画像
作成部204を付加することにより、正確な領域分割を行
うことができる。
域分割を行う装置において、前処理部101と、動きベク
トル検出部105と、特徴抽出部102と、境界線決定部103
と、モデリング部104とを備え、前記特徴抽出部102にお
いて、第１の２値画像作成部201と、第２の２値画像作
成部202と、第３の２値画像作成部203と、第４の２値画
像作成部204と、２値画像融合部205とを備え、前記第４
の２値画像作成部204において、水平方向変化点検出部3
01と垂直方向に低域通過フィルタをかける垂直方向LPF
部302と、エッジ抽出部303とを備えたことを特徴とする
動画像領域分割装置。 【効果】 特徴抽出部102において、動きベクトルから
対象物の輪郭の位置を大まかに決定する第４の２値画像
作成部204を付加することにより、正確な領域分割を行
うことができる。
Description
【０００１】
【産業上の利用分野】本発明はデジタル画像処理を行う
装置に用いられ、画像を自動的に領域分割する装置に関
し、特にこの装置を実現するためのアルゴリズムの一つ
である、モルフォロジカルセグメンテーション技術を応
用した装置に関するものである。
装置に用いられ、画像を自動的に領域分割する装置に関
し、特にこの装置を実現するためのアルゴリズムの一つ
である、モルフォロジカルセグメンテーション技術を応
用した装置に関するものである。
【０００２】
【従来の技術】従来より画像を自動的に領域分割する技
術がいろいろと検討されているが、この種の技術の１つ
であるモルフォロジカルセグメンテーション技術は、文
献「Morphlogical multiscale segmentation for image
coding」(Signal Processing,Vol.38,pp.359-386,199
4)に記載されている通り、階層性のトップダウンアルゴ
リズムで、他の画像分割技術とは異なり、対象物の大き
さ、形状、コントラスト、連続性などを特徴として用
る。最初の階層では、画像の最も全体的な考察を行い、
画像全体を一つの領域であると仮定し、階層を経ること
により細かく分割される。このアルゴリズムを用いた場
合の分割装置は図９に示すように、前処理部９０１、特
徴抽出部９０２、境界線決定部９０３、モデリング部９
０４の４つの異なった部位をそれぞれ一つの階層とし
て、これを階層化することにより構成される。
術がいろいろと検討されているが、この種の技術の１つ
であるモルフォロジカルセグメンテーション技術は、文
献「Morphlogical multiscale segmentation for image
coding」(Signal Processing,Vol.38,pp.359-386,199
4)に記載されている通り、階層性のトップダウンアルゴ
リズムで、他の画像分割技術とは異なり、対象物の大き
さ、形状、コントラスト、連続性などを特徴として用
る。最初の階層では、画像の最も全体的な考察を行い、
画像全体を一つの領域であると仮定し、階層を経ること
により細かく分割される。このアルゴリズムを用いた場
合の分割装置は図９に示すように、前処理部９０１、特
徴抽出部９０２、境界線決定部９０３、モデリング部９
０４の４つの異なった部位をそれぞれ一つの階層とし
て、これを階層化することにより構成される。
【０００３】前処理部９０１では、複雑な原画を簡単化
し、その階層で必要としない情報を取り去る働きをす
る。この処理には、縮小フィルタと拡大フィルタを基に
したモルフォロジカルフィルタが用いられる。モルフォ
ロジカルフィルタは、２次元の正方領域に対する操作で
あり、その大きさは（２k＋１）＊（２k＋１）でｋ＝
１，２，３，４，５，６である。初めの階層のレベルで
はkが大きく、フィルタの大きさが大きい。縮小フィル
タと拡大フィルタは、文献「Morphological Multiscale
Image Segmentation」( Proc.of Visual Communicatio
ns and Image Processing '92,pp.620-631,Boston,199
2)で示され次式で与えられる。
し、その階層で必要としない情報を取り去る働きをす
る。この処理には、縮小フィルタと拡大フィルタを基に
したモルフォロジカルフィルタが用いられる。モルフォ
ロジカルフィルタは、２次元の正方領域に対する操作で
あり、その大きさは（２k＋１）＊（２k＋１）でｋ＝
１，２，３，４，５，６である。初めの階層のレベルで
はkが大きく、フィルタの大きさが大きい。縮小フィル
タと拡大フィルタは、文献「Morphological Multiscale
Image Segmentation」( Proc.of Visual Communicatio
ns and Image Processing '92,pp.620-631,Boston,199
2)で示され次式で与えられる。
【０００４】
【数１】
【０００５】
【数２】
【０００６】ここで、ｘは注目画素の位置を表すベクト
ルであり、ｆ（ｘ）は注目画素の画素値を意味し、Ｍk
が大きさ（２k＋１）＊（２k＋１）の操作領域を示す。
縮小フィルタは、操作領域内の最小値を対象画素の値と
する。すなわち、明領域を浸食する働きをする。また、
拡大フィルタは、操作領域内の最大値を対象画素の値と
する。すなわち、明領域を拡大する働きをする。これら
を組み合わせたものを、オープニングフィルタ、クロー
ジングフィルタと呼び、次式で定義される。
ルであり、ｆ（ｘ）は注目画素の画素値を意味し、Ｍk
が大きさ（２k＋１）＊（２k＋１）の操作領域を示す。
縮小フィルタは、操作領域内の最小値を対象画素の値と
する。すなわち、明領域を浸食する働きをする。また、
拡大フィルタは、操作領域内の最大値を対象画素の値と
する。すなわち、明領域を拡大する働きをする。これら
を組み合わせたものを、オープニングフィルタ、クロー
ジングフィルタと呼び、次式で定義される。
【０００７】
【数３】
【０００８】
【数４】
【０００９】オープニングフィルタは、操作領域よりも
小さな明領域を消す働きを持ち、クロージングフィルタ
は、小さな暗領域を消す働きをもつ。すなわち、操作領
域よりも、大きな領域を優先的に選択する働きをもつ。
これらのフィルタは、残された領域のエッジを保存しな
いため、フィルタ処理を行った後にエッジを修復する必
要がある。この処理は次式で表される。
小さな明領域を消す働きを持ち、クロージングフィルタ
は、小さな暗領域を消す働きをもつ。すなわち、操作領
域よりも、大きな領域を優先的に選択する働きをもつ。
これらのフィルタは、残された領域のエッジを保存しな
いため、フィルタ処理を行った後にエッジを修復する必
要がある。この処理は次式で表される。
【００１０】
【数５】
【００１１】
【数６】
【００１２】ここで、kは繰り返しの回数であり、ＰＲk
オープニングフィルタによって損なわれたエッジを修復
するためのフィルタで、ＮＲkはクロージングフィルタ
によって損なわれたエッジを修復するフィルタである。
理論的に言えば、このフィルタ処理は変化がなくなるま
で繰り返し行われなければならないが、一般的には、数
回の繰り返しで十分な結果が得られることから、実際の
処理には数回の繰り返しで行われる。前処理装置で行わ
れる処理を、図１０に示す。
オープニングフィルタによって損なわれたエッジを修復
するためのフィルタで、ＮＲkはクロージングフィルタ
によって損なわれたエッジを修復するフィルタである。
理論的に言えば、このフィルタ処理は変化がなくなるま
で繰り返し行われなければならないが、一般的には、数
回の繰り返しで十分な結果が得られることから、実際の
処理には数回の繰り返しで行われる。前処理装置で行わ
れる処理を、図１０に示す。
【００１３】特徴抽出部９０２では、前処理部９０１に
よって作られる画像の特徴を用いて、領域の境界線の大
まかな位置を抽出し２値画像で表す処理を行う。前処理
部９０１から出力される画像は、階調値が一定の領域
と、明確な輪郭を持つ画像である。特徴抽出部９０２の
内部構成を図１１に示す。
よって作られる画像の特徴を用いて、領域の境界線の大
まかな位置を抽出し２値画像で表す処理を行う。前処理
部９０１から出力される画像は、階調値が一定の領域
と、明確な輪郭を持つ画像である。特徴抽出部９０２の
内部構成を図１１に示す。
【００１４】第１の２値画像作成部１１０１では、前階
層の境界線決定部９０３の出力結果から、前の階層まで
に分割された領域の内部をゼロで、領域の境界を非ゼロ
とした２値画像を作成する。
層の境界線決定部９０３の出力結果から、前の階層まで
に分割された領域の内部をゼロで、領域の境界を非ゼロ
とした２値画像を作成する。
【００１５】第２の２値画像作成部１１０２では、前処
理部９０１から出力される画像が、階調値が一定の領域
を持っているという特徴から、縮小フィルタ、拡大フィ
ルタを用いた勾配しきい値法を用いて２値画像を作成す
る。勾配しきい値法は、モルフォロジカル勾配法によっ
て得られた画像に対し、標準偏差を計算し、それをしき
い値として２値画像を作成する手法である。モルフォロ
ジカル勾配法は次式で定義される。
理部９０１から出力される画像が、階調値が一定の領域
を持っているという特徴から、縮小フィルタ、拡大フィ
ルタを用いた勾配しきい値法を用いて２値画像を作成す
る。勾配しきい値法は、モルフォロジカル勾配法によっ
て得られた画像に対し、標準偏差を計算し、それをしき
い値として２値画像を作成する手法である。モルフォロ
ジカル勾配法は次式で定義される。
【００１６】
【数７】
【００１７】ｇ（ｘ）を２値化した結果は図１２のよう
なものとなる。この中で、低い階調値を示す領域は平坦
な領域である。この画像における標準偏差をしきい値と
して２値画像を作成する。しかし、モルフォロジカル勾
配法は、輪郭の変化がなめらかである場合には検出でき
ないという欠点を持つ。この欠点を補う目的で第３の２
値画像作成部１１０３が構成されている。第３の２値画
像作成部１１０３では、前処理部９０１によってコント
ラストがはっきりしなかった領域に対して、コントラス
トを抽出する次式を用いて特徴抽出を行う。
なものとなる。この中で、低い階調値を示す領域は平坦
な領域である。この画像における標準偏差をしきい値と
して２値画像を作成する。しかし、モルフォロジカル勾
配法は、輪郭の変化がなめらかである場合には検出でき
ないという欠点を持つ。この欠点を補う目的で第３の２
値画像作成部１１０３が構成されている。第３の２値画
像作成部１１０３では、前処理部９０１によってコント
ラストがはっきりしなかった領域に対して、コントラス
トを抽出する次式を用いて特徴抽出を行う。
【００１８】
【数８】
【００１９】この式における操作領域の大きさは、前処
理部９０１で用いられたフィルタの大きさよりも小さい
領域の成分が、すでに除去されているため、前処理部９
０１で用いられたフィルタの大きさよりも大きいフィル
タを用いる。したがって、前の階層の前処理部９０１で
用いられたフィルタの大きさで操作を行う。
理部９０１で用いられたフィルタの大きさよりも小さい
領域の成分が、すでに除去されているため、前処理部９
０１で用いられたフィルタの大きさよりも大きいフィル
タを用いる。したがって、前の階層の前処理部９０１で
用いられたフィルタの大きさで操作を行う。
【００２０】最後にコントラスト抽出の結果ｈ（ｘ）に
対して、勾配法と同様に２値画像をしきい値によって作
成する。最後に２値画像融合部１１０４では、上述の三
つの２値画像から得られる結果に対して、オア演算を行
うことにより一つに融合する。
対して、勾配法と同様に２値画像をしきい値によって作
成する。最後に２値画像融合部１１０４では、上述の三
つの２値画像から得られる結果に対して、オア演算を行
うことにより一つに融合する。
【００２１】境界線決定部９０３では、特徴抽出部９０
２からの出力をもとに、出力領域の輪郭の位置を正確に
求める処理を行う。この処理は、文献「Morphologikal
Segmentation」(Journal of Visual Communication and
Image Representation,Vol.1,pp.21-46,1990)に記され
ている、ウオーターシェッド アルゴリズムによって行
なう。特徴抽出部９０２からの出力画像で非ゼロが割り
当てられている画素に対し、原画の同一位置の画素情報
を与える。すなわち、抽出領域の周囲の未確定領域だけ
が原画の情報をもつ画像を作る。概念図を図１３に示
す。この画像において、階調値の高い画素が、地表の高
い位置とするような地形表面を仮定する。そこに、一定
のスピードで水を注ぐことにより、やがて特徴抽出され
た領域の境界だけが現れてくる。このような、考え方を
基にして特徴抽出された領域の境界を明らかにする。ウ
オーターシェッド アルゴリズムは、文献「Color Image
Segmentation 」(Proceedings 4th International Con
ference on Image Processing and its Applications,p
p.303-307,Maastricht,1992)に記さている通り、待ち行
列を用いることにより容易に実行される。
２からの出力をもとに、出力領域の輪郭の位置を正確に
求める処理を行う。この処理は、文献「Morphologikal
Segmentation」(Journal of Visual Communication and
Image Representation,Vol.1,pp.21-46,1990)に記され
ている、ウオーターシェッド アルゴリズムによって行
なう。特徴抽出部９０２からの出力画像で非ゼロが割り
当てられている画素に対し、原画の同一位置の画素情報
を与える。すなわち、抽出領域の周囲の未確定領域だけ
が原画の情報をもつ画像を作る。概念図を図１３に示
す。この画像において、階調値の高い画素が、地表の高
い位置とするような地形表面を仮定する。そこに、一定
のスピードで水を注ぐことにより、やがて特徴抽出され
た領域の境界だけが現れてくる。このような、考え方を
基にして特徴抽出された領域の境界を明らかにする。ウ
オーターシェッド アルゴリズムは、文献「Color Image
Segmentation 」(Proceedings 4th International Con
ference on Image Processing and its Applications,p
p.303-307,Maastricht,1992)に記さている通り、待ち行
列を用いることにより容易に実行される。
【００２２】モデリング部９０４では、個々の分割領域
に対して階調値を多項式で近似し、原画とその画像の差
分を計算し、次の階層レベルへ出力する処理を行ってい
る。モデリング部９０４内には、モデルとする多項式を
もっており、これによって近似される。変化の少ない領
域では、多項式の次数が低く、変化の激しいところで
は、高次の多項式が用いられる。
に対して階調値を多項式で近似し、原画とその画像の差
分を計算し、次の階層レベルへ出力する処理を行ってい
る。モデリング部９０４内には、モデルとする多項式を
もっており、これによって近似される。変化の少ない領
域では、多項式の次数が低く、変化の激しいところで
は、高次の多項式が用いられる。
【００２３】
【発明が解決しようとする課題】上記従来技術は、特徴
抽出方法が不十分であるため、画像に偽輪郭を生じた
り、図１４に示すように、輪郭を抽出できず欠格が生じ
る場合がある。欠格が生じた場合には、境界線決定部９
０３によって、抽出領域は背景と同領域とみなされ、抽
出することができない。この発明は、上記に鑑みなされ
たものであり、その目的は、自動で正確に背景と対象物
を分割することにある。
抽出方法が不十分であるため、画像に偽輪郭を生じた
り、図１４に示すように、輪郭を抽出できず欠格が生じ
る場合がある。欠格が生じた場合には、境界線決定部９
０３によって、抽出領域は背景と同領域とみなされ、抽
出することができない。この発明は、上記に鑑みなされ
たものであり、その目的は、自動で正確に背景と対象物
を分割することにある。
【００２４】
【課題を解決するための手段】上記目的を達成するため
に、画像中の対象物がもつ動きベクトル情報を特徴抽出
に用いることを目的とし、動きベクトル検出部１０５を
設け、前記動きベクトル検出部１０５の出力を特徴抽出
部１０２へ入力するように、動画像領域分割装置を構成
する。前記特徴抽出部では、前記動きベクトル検出部１
０５からの出力を受ける第４の２値画像作成部２０４を
設け、２値画像融合部２０５へ入力する。
に、画像中の対象物がもつ動きベクトル情報を特徴抽出
に用いることを目的とし、動きベクトル検出部１０５を
設け、前記動きベクトル検出部１０５の出力を特徴抽出
部１０２へ入力するように、動画像領域分割装置を構成
する。前記特徴抽出部では、前記動きベクトル検出部１
０５からの出力を受ける第４の２値画像作成部２０４を
設け、２値画像融合部２０５へ入力する。
【００２５】前記第４の２値画像作成部２０４は、水平
方向変化点検出部３０１と垂直方向ローパスフィルタ
（以下、ＬＰＦと略記する。）部３０２と、エッジ抽出
部３０３とで構成する。
方向変化点検出部３０１と垂直方向ローパスフィルタ
（以下、ＬＰＦと略記する。）部３０２と、エッジ抽出
部３０３とで構成する。
【００２６】前記第４の２値画像作成部２０４は更に、
水平方向変化点検出部４０１と垂直方向ＬＰＦ部４０２
と、垂直方向変化点検出部４０３と、水平方向ＬＰＦ部
４０４と、論理和演算部４０５と、エッジ抽出部４０６
とで構成することも可能である。
水平方向変化点検出部４０１と垂直方向ＬＰＦ部４０２
と、垂直方向変化点検出部４０３と、水平方向ＬＰＦ部
４０４と、論理和演算部４０５と、エッジ抽出部４０６
とで構成することも可能である。
【００２７】前記第４の２値画像作成部２０４は更に、
水平方向変化点検出部５０１と、垂直方向変化点検出部
５０２と、論理和演算部５０３と、ＬＰＦ部５０４と、
エッジ抽出部５０５とで構成することも可能である。
水平方向変化点検出部５０１と、垂直方向変化点検出部
５０２と、論理和演算部５０３と、ＬＰＦ部５０４と、
エッジ抽出部５０５とで構成することも可能である。
【００２８】
【作用】動きベクトル検出部１０５では、原画像から動
きベクトルを算出する。特徴抽出部内部の第４の２値画
像作成部２０４では、動きベクトル検出部１０５からの
出力をもとに２値画像を作成する。前記第４の２値画像
作成部２０４からの出力は、前階層までの結果から２値
画像を作成する第１の２値画像作成部２０１の出力と、
前処理部１０１の出力から２値画像を作成する第２の２
値画像作成部２０２、第３の２値画像作成部２０３の出
力と２値画像融合部２０５で１枚の２値画像となる。
きベクトルを算出する。特徴抽出部内部の第４の２値画
像作成部２０４では、動きベクトル検出部１０５からの
出力をもとに２値画像を作成する。前記第４の２値画像
作成部２０４からの出力は、前階層までの結果から２値
画像を作成する第１の２値画像作成部２０１の出力と、
前処理部１０１の出力から２値画像を作成する第２の２
値画像作成部２０２、第３の２値画像作成部２０３の出
力と２値画像融合部２０５で１枚の２値画像となる。
【００２９】２値画像作成部２０４内部の水平方向変化
点検出部３０１は、動きベクトルが水平方向にゼロから
非ゼロに変化する位置及び非ゼロからゼロに変化する位
置を検出する。また垂直方向ＬＰＦ部３０２では、垂直
方向に低域通過フィルタをかけ、エッジ抽出部３０３で
エッジを抽出する。
点検出部３０１は、動きベクトルが水平方向にゼロから
非ゼロに変化する位置及び非ゼロからゼロに変化する位
置を検出する。また垂直方向ＬＰＦ部３０２では、垂直
方向に低域通過フィルタをかけ、エッジ抽出部３０３で
エッジを抽出する。
【００３０】また、別の構成をとる２値画像作成部２０
４内部での作用は、水平方向変化点検出部４０１で動き
ベクトルが水平方向にゼロから非ゼロに変化する位置及
び非ゼロからゼロに変化する位置を検出し、垂直方向Ｌ
ＰＦ部４０２で垂直方向に低域通過フィルタをかけ、垂
直方向変化点検出部４０３では、動きベクトルが垂直方
向にゼロから非ゼロに変化する位置及び非ゼロからゼロ
に変化する位置を検出し、水平方向ＬＰＦ部４０４で水
平方向に低域通過フィルタをかける。論理和演算部４０
５では、前記垂直方向ＬＰＦ部４０２と前記水平方向Ｌ
ＰＦ部４０４の出力の論理和演算を行い、エッジ抽出部
４０６でエッジを抽出する。
４内部での作用は、水平方向変化点検出部４０１で動き
ベクトルが水平方向にゼロから非ゼロに変化する位置及
び非ゼロからゼロに変化する位置を検出し、垂直方向Ｌ
ＰＦ部４０２で垂直方向に低域通過フィルタをかけ、垂
直方向変化点検出部４０３では、動きベクトルが垂直方
向にゼロから非ゼロに変化する位置及び非ゼロからゼロ
に変化する位置を検出し、水平方向ＬＰＦ部４０４で水
平方向に低域通過フィルタをかける。論理和演算部４０
５では、前記垂直方向ＬＰＦ部４０２と前記水平方向Ｌ
ＰＦ部４０４の出力の論理和演算を行い、エッジ抽出部
４０６でエッジを抽出する。
【００３１】また、別の構成をとる２値画像作成部２０
４内部での作用は、水平方向変化点検出部５０１で動き
ベクトルが水平方向にゼロから非ゼロに変化する位置及
び非ゼロからゼロに変化する位置を検出し、垂直方向変
化点検出部５０２で動きベクトルが垂直方向にゼロから
非ゼロに変化する位置及び非ゼロからゼロに変化する位
置を検出する。論理和演算部５０３では、水平方向変化
点検出部５０１と垂直方向変化点検出部５０２の出力の
論理和演算を行い、ＬＰＦ部５０４で２次元の低域通過
フィルタをかけ、エッジ抽出部５０５でエッジを抽出す
る。
４内部での作用は、水平方向変化点検出部５０１で動き
ベクトルが水平方向にゼロから非ゼロに変化する位置及
び非ゼロからゼロに変化する位置を検出し、垂直方向変
化点検出部５０２で動きベクトルが垂直方向にゼロから
非ゼロに変化する位置及び非ゼロからゼロに変化する位
置を検出する。論理和演算部５０３では、水平方向変化
点検出部５０１と垂直方向変化点検出部５０２の出力の
論理和演算を行い、ＬＰＦ部５０４で２次元の低域通過
フィルタをかけ、エッジ抽出部５０５でエッジを抽出す
る。
【００３２】
【実施例】本発明の動画像領域分割装置における、一つ
の階層の構成を図１に示す。前処理部１０１、境界線決
定部１０３、モデリング部１０４は従来技術と同様であ
るので説明を省略する。ここで、従来の技術と異なるの
は、動きベクトル検出部１０５があることと、特徴抽出
部１０２に動きベクトル検出部１０５からの入力があり
動きベクトルを利用して特徴抽出を行うことである。
の階層の構成を図１に示す。前処理部１０１、境界線決
定部１０３、モデリング部１０４は従来技術と同様であ
るので説明を省略する。ここで、従来の技術と異なるの
は、動きベクトル検出部１０５があることと、特徴抽出
部１０２に動きベクトル検出部１０５からの入力があり
動きベクトルを利用して特徴抽出を行うことである。
【００３３】動きベクトル検出部１０５では、ペルリカ
ーシブ動き推定によって個々の画素の動きベクトルを算
出する。注目画素の動きベクトルは、注目画素の左側の
画素がもつ動きベクトルと、上側の画素がもつ動きベク
トルの平均値が初期値として与えられ、注目画素と前フ
レームでの注目画素の周囲画素との差分が最小になるベ
クトルに置き換えられる。特徴抽出部の構成を図２に示
す。特徴抽出部の第１の２値画像作成部２０１から第３
の２値画像作成部２０３は、従来技術に従うので説明を
省略し、第４の２値画像作成部２０４について説明す
る。
ーシブ動き推定によって個々の画素の動きベクトルを算
出する。注目画素の動きベクトルは、注目画素の左側の
画素がもつ動きベクトルと、上側の画素がもつ動きベク
トルの平均値が初期値として与えられ、注目画素と前フ
レームでの注目画素の周囲画素との差分が最小になるベ
クトルに置き換えられる。特徴抽出部の構成を図２に示
す。特徴抽出部の第１の２値画像作成部２０１から第３
の２値画像作成部２０３は、従来技術に従うので説明を
省略し、第４の２値画像作成部２０４について説明す
る。
【００３４】第４の２値画像作成部２０４は、図１に示
すように、水平方向変化点抽出部３０１、垂直方向ＬＰ
Ｆ部３０２、エッジ抽出部３０３から構成される。水平
方向変化点抽出部３０１では、動きベクトル検出結果を
水平方向に走査し、注目画素の左側の画素の動きベクト
ルＭＶの大きさが非ゼロ（｜ＭＶ｜≠０）で、注目画素
で｜ＭＶ｜＝０となった画素と、注目画素の左側の画素
で｜ＭＶ｜＝０、注目画素で｜ＭＶ｜≠０となった画素
の位置を抽出し、それらの画素の間の画素に非ゼロを割
り当て、その他の画素にゼロを割り当てた２値画像を作
成する。図６に動きベクトルの大きさの分布の例を示
す。また、図７に水平方向変化点抽出部で作成された対
応する２値画像の例を示す。
すように、水平方向変化点抽出部３０１、垂直方向ＬＰ
Ｆ部３０２、エッジ抽出部３０３から構成される。水平
方向変化点抽出部３０１では、動きベクトル検出結果を
水平方向に走査し、注目画素の左側の画素の動きベクト
ルＭＶの大きさが非ゼロ（｜ＭＶ｜≠０）で、注目画素
で｜ＭＶ｜＝０となった画素と、注目画素の左側の画素
で｜ＭＶ｜＝０、注目画素で｜ＭＶ｜≠０となった画素
の位置を抽出し、それらの画素の間の画素に非ゼロを割
り当て、その他の画素にゼロを割り当てた２値画像を作
成する。図６に動きベクトルの大きさの分布の例を示
す。また、図７に水平方向変化点抽出部で作成された対
応する２値画像の例を示す。
【００３５】このように作成された２値画像には、図７
に示すような欠格部分が含まれる可能性がある。垂直方
向ＬＰＦ部３０３では、このような領域を取り除くため
に垂直方向に１次元の低域通過フィルタ処理を施す。
に示すような欠格部分が含まれる可能性がある。垂直方
向ＬＰＦ部３０３では、このような領域を取り除くため
に垂直方向に１次元の低域通過フィルタ処理を施す。
【００３６】最後に、この画像に対し、モルフォロジカ
ル勾配法の操作を施し図８に示すような２値画像を出力
する。
ル勾配法の操作を施し図８に示すような２値画像を出力
する。
【００３７】＜他の実施例＞ （１）全体の構成、特徴抽出部の構成は前記実施例と同
様であり、第４の２値画像作成部２０４の構成を図４に
示す。第４の２値画像作成部２０４は、水平方向変化点
抽出部４０１、垂直方向ＬＰＦ部４０２、垂直方向変化
点検出部４０３、水平方向ＬＰＦ部４０４、論理和演算
部４０５、エッジ抽出部４０６から構成される。水平方
向変化点抽出部４０１、垂直方向ＬＰＦ部４０２は、前
記実施例と同様である。垂直方向変化点抽出部４０３で
は、注目画素の上側の画素の動きベクトルＭＶの大きさ
が非ゼロ（｜ＭＶ｜≠０）で、注目画素で｜ＭＶ｜＝０
なった画素と、注目画素の上側の画素で｜ＭＶ｜＝０、
注目画素で｜ＭＶ｜≠０となった画素の位置を抽出し、
それらの画素の間の画素に非ゼロを割り当て、その他を
ゼロとした２値画像を作成する。
様であり、第４の２値画像作成部２０４の構成を図４に
示す。第４の２値画像作成部２０４は、水平方向変化点
抽出部４０１、垂直方向ＬＰＦ部４０２、垂直方向変化
点検出部４０３、水平方向ＬＰＦ部４０４、論理和演算
部４０５、エッジ抽出部４０６から構成される。水平方
向変化点抽出部４０１、垂直方向ＬＰＦ部４０２は、前
記実施例と同様である。垂直方向変化点抽出部４０３で
は、注目画素の上側の画素の動きベクトルＭＶの大きさ
が非ゼロ（｜ＭＶ｜≠０）で、注目画素で｜ＭＶ｜＝０
なった画素と、注目画素の上側の画素で｜ＭＶ｜＝０、
注目画素で｜ＭＶ｜≠０となった画素の位置を抽出し、
それらの画素の間の画素に非ゼロを割り当て、その他を
ゼロとした２値画像を作成する。
【００３８】このように作成された２値画像には、水平
方向変化点抽出部４０２からの出力と同様に、垂直方向
の欠格部分が含まれる可能性がある。このような領域を
取り除くために水平方向ＬＰＦ部４０４で水平方向に一
次元の低域通過フィルタ処理を施す。
方向変化点抽出部４０２からの出力と同様に、垂直方向
の欠格部分が含まれる可能性がある。このような領域を
取り除くために水平方向ＬＰＦ部４０４で水平方向に一
次元の低域通過フィルタ処理を施す。
【００３９】論理和演算部４０５では、この２種類の画
像に対し、論理和演算を施すことにより、一枚の２値画
像を作成する。
像に対し、論理和演算を施すことにより、一枚の２値画
像を作成する。
【００４０】最後に論理和演算部４０５の出力に対し、
エッジ抽出部４０６において、モルフォロジカル勾配法
の操作を施し２値画像を出力する。これによって、水平
方向の検出だけを行うよりもより正確に特徴を抽出する
ことができる。
エッジ抽出部４０６において、モルフォロジカル勾配法
の操作を施し２値画像を出力する。これによって、水平
方向の検出だけを行うよりもより正確に特徴を抽出する
ことができる。
【００４１】（２）全体の構成、特徴抽出部の構成は前
記実施例と同様であり、第４の２値画像作成部２０４の
構成を図５に示す。第４の２値画像作成部２０４は、水
平方向変化点抽出部５０１、垂直方向変化点検出部５０
２、ＬＰＦ部５０３、エッジ抽出部５０４から構成され
る。水平方向変化点抽出部５０１、垂直方向変化点検出
部５０２は、前記実施例（１）と同様である。
記実施例と同様であり、第４の２値画像作成部２０４の
構成を図５に示す。第４の２値画像作成部２０４は、水
平方向変化点抽出部５０１、垂直方向変化点検出部５０
２、ＬＰＦ部５０３、エッジ抽出部５０４から構成され
る。水平方向変化点抽出部５０１、垂直方向変化点検出
部５０２は、前記実施例（１）と同様である。
【００４２】論理和演算部５０３では、水平方向変化点
検出部５０１、垂直方向変化点検出部５０２からの２枚
の出力画像に対して、論理和演算を施し１枚の２値画像
を作成する。ＬＰＦ部５０４では、論理和演算部から出
力された２値画像には、水平方向変化点抽出部５０２か
らの出力と同様に、水平方向、垂直方向ともに欠格部分
を含む可能性がある。このような領域を取り除くために
ＬＰＦ部５０４で２次元の低域通過フィルタ処理を施
す。
検出部５０１、垂直方向変化点検出部５０２からの２枚
の出力画像に対して、論理和演算を施し１枚の２値画像
を作成する。ＬＰＦ部５０４では、論理和演算部から出
力された２値画像には、水平方向変化点抽出部５０２か
らの出力と同様に、水平方向、垂直方向ともに欠格部分
を含む可能性がある。このような領域を取り除くために
ＬＰＦ部５０４で２次元の低域通過フィルタ処理を施
す。
【００４３】最後にエッジ抽出部５０５において、モル
フォロジカル勾配法の操作を施し２値画像を出力する。
これによって、他の実施例（１）と同様に、水平方向の
検出だけを行うよりもより正確に特徴を抽出することが
できる。
フォロジカル勾配法の操作を施し２値画像を出力する。
これによって、他の実施例（１）と同様に、水平方向の
検出だけを行うよりもより正確に特徴を抽出することが
できる。
【００４４】
【発明の効果】請求項１記載の動画像領域分割装置にお
いては、画像中の対象物がもつ動きベクトル情報を特徴
抽出に用いるために、動きベクトル検出部１０５を設
け、動きベクトル検出部１０５の出力を特徴抽出部１０
２へ入力することにより、正確な領域分割を行える。
いては、画像中の対象物がもつ動きベクトル情報を特徴
抽出に用いるために、動きベクトル検出部１０５を設
け、動きベクトル検出部１０５の出力を特徴抽出部１０
２へ入力することにより、正確な領域分割を行える。
【００４５】請求項２記載の動画像領域分割装置におい
ては、特徴抽出部に動きベクトル検出部１０５からの出
力を受ける第４の２値画像作成部２０４を設け、２値画
像融合部２０５へ入力することにより、従来技術におけ
る第１の２値画像作成部、第２の２値画像作成部、第３
の２値画像作成部からの出力と併用する事により、より
正確な特徴抽出ができ正確な領域分割が可能である。
ては、特徴抽出部に動きベクトル検出部１０５からの出
力を受ける第４の２値画像作成部２０４を設け、２値画
像融合部２０５へ入力することにより、従来技術におけ
る第１の２値画像作成部、第２の２値画像作成部、第３
の２値画像作成部からの出力と併用する事により、より
正確な特徴抽出ができ正確な領域分割が可能である。
【００４６】請求項３記載の動画像領域分割装置におい
ては、第４の２値画像作成部２０４を水平方向変化点検
出部３０１と、垂直方向ＬＰＦ部３０２と、エッジ抽出
部３０３で構成することにより、動きベクトル情報から
境界線決定部１０３で必要な２値画像情報を作成するこ
とが可能である。
ては、第４の２値画像作成部２０４を水平方向変化点検
出部３０１と、垂直方向ＬＰＦ部３０２と、エッジ抽出
部３０３で構成することにより、動きベクトル情報から
境界線決定部１０３で必要な２値画像情報を作成するこ
とが可能である。
【００４７】請求項４記載の動画像領域分割装置におい
ては、第４の２値画像作成部２０４を水平方向変化点検
出部４０１と、垂直方向ＬＰＦ部４０２と、垂直方向変
化点検出部４０３と、水平方向ＬＰＦ部４０４と、論理
和演算部４０５と、エッジ抽出部４０６で構成すること
により、動きベクトル情報から境界線決定部１０３で必
要な２値画像情報を作成することが可能である。
ては、第４の２値画像作成部２０４を水平方向変化点検
出部４０１と、垂直方向ＬＰＦ部４０２と、垂直方向変
化点検出部４０３と、水平方向ＬＰＦ部４０４と、論理
和演算部４０５と、エッジ抽出部４０６で構成すること
により、動きベクトル情報から境界線決定部１０３で必
要な２値画像情報を作成することが可能である。
【００４８】請求項５記載の動画像領域分割装置におい
ては、第４の２値画像作成部２０４を水平方向変化点検
出部５０１と、垂直方向変化点検出部５０２と、論理和
演算部５０３と、ＬＰＦ部５０４と、エッジ抽出部５０
５で構成することにより、動きベクトル情報から境界線
決定部１０３で必要な２値画像情報を作成することが可
能である。
ては、第４の２値画像作成部２０４を水平方向変化点検
出部５０１と、垂直方向変化点検出部５０２と、論理和
演算部５０３と、ＬＰＦ部５０４と、エッジ抽出部５０
５で構成することにより、動きベクトル情報から境界線
決定部１０３で必要な２値画像情報を作成することが可
能である。
【図１】本発明の一実施例の一階層を示す装置構成図で
ある。
ある。
【図２】本発明の一実施例の装置中の特徴抽出部の内部
構成を示す図である。
構成を示す図である。
【図３】本発明の一実施例の装置中の第４の２値画像作
成部の内部構成の一例図である。
成部の内部構成の一例図である。
【図４】本発明の一実施例の装置中の第４の２値画像作
成部の内部構成の一例図である。
成部の内部構成の一例図である。
【図５】本発明の一実施例の装置中の第４の２値画像作
成部の内部構成の一例図である。
成部の内部構成の一例図である。
【図６】本発明の一実施例の装置中の第４の２値画像作
成部の処理に関する図である。
成部の処理に関する図である。
【図７】本発明の一実施例の装置中の第４の２値画像作
成部の処理に関する図である。
成部の処理に関する図である。
【図８】本発明の一実施例の装置中の第４の２値画像作
成部の処理に関する図である。
成部の処理に関する図である。
【図９】従来例の装置の構成図である。
【図１０】従来例の図９の装置における前処理部２０２
で行われている処理の流れ図である。
で行われている処理の流れ図である。
【図１１】従来例の装置中の特徴抽出部内の装置構成図
である。
である。
【図１２】従来例の図１１の装置における第２の２値画
像作成部の出力結果の一例を示す図である。
像作成部の出力結果の一例を示す図である。
【図１３】従来例の図９の装置における境界線決定部の
処理に関する図である。
処理に関する図である。
【図１４】従来例の図９の装置中の特徴抽出部からの出
力の一例を示す図である。
力の一例を示す図である。
【符号の説明】 １０１ 前処理部 １０２ 特徴抽出部 １０３ 境界線決定部 １０４ モデリング部 １０５ 動きベクトル検出部 ２０１ 第１の２値画像作成部 ２０２ 第２の２値画像作成部 ２０３ 第３の２値画像作成部 ２０４ 第４の２値画像作成部 ２０５ ２値画像融合部 ３０１ 水平方向変化点検出部 ３０２ 垂直方向LPF部 ３０３ エッジ抽出部 ４０１ 水平方向変化点検出部 ４０２ 垂直方向LPF部 ４０３ 垂直方向変化点検出部 ４０４ 水平方向LPF部 ４０５ 論理和演算部 ４０６ エッジ抽出部 ５０１ 水平方向変化点検出部 ５０２ 垂直方向変化点検出部 ５０３ 論理和演算部 ５０４ ＬＰＦ部 ５０５ エッジ抽出部 ９０１ 前処理部 ９０２ 特徴抽出部 ９０３ 境界線決定部 ９０４ モデリング部 １１０１ 第１の２値画像作成部 １１０２ 第２の２値画像作成部 １１０３ 第３の２値画像作成部 １１０４ ２値画像融合部
Claims (5)
- 【請求項１】 動画像から階層的に特徴を抽出し自動的
に領域分割を行う装置において、前階層からの差分情報
を簡単化する前処理部と、原画像から各画素の動きベク
トルを検出する動きベクトル検出部と、前階層までの結
果と前記前処理部と前記動きベクトル検出部の出力をも
とに領域の境界線の大まかな位置を抽出する特徴抽出部
と、原画像と前記特徴抽出部の出力をもとに前記境界線
を決定する境界線決定部と、原画像と前記境界線決定部
の出力をもとに原画像の画素値を多項式近似するモデリ
ング部とを備えたことを特徴とする動画像領域分割装
置。 - 【請求項２】 前記特徴抽出部において、前階層までの
結果から２値画像を作成する第１の２値画像作成部と、
前記前処理部の出力から２値画像を作成する第２の２値
画像作成部、第３の２値画像作成部と、前記動きベクト
ル検出部からの出力をもとに２値画像を作成する第４の
２値画像作成部と前記４つの２値画像を融合する２値画
像融合部とを備えたことを特徴とする請求項１記載の動
画像領域分割装置。 - 【請求項３】 前記第４の２値画像作成部において、動
きベクトルが水平方向にゼロから非ゼロに変化する位置
及び非ゼロからゼロに変化する位置を検出する水平方向
変化点検出部と垂直方向に低域通過フィルタをかける垂
直方向LPF部と、エッジ抽出部とを備えたことを特徴と
する請求項２記載の動画像領域分割装置。 - 【請求項４】 前記第４の２値画像作成部において、動
きベクトルが水平方向にゼロから非ゼロに変化する位置
及び非ゼロからゼロに変化する位置を検出する水平方向
変化点検出部と垂直方向に低域通過フィルタをかける垂
直方向LPF部と、動きベクトルが垂直方向にゼロから非
ゼロに変化する位置及び非ゼロからゼロに変化する位置
を検出する垂直方向変化点検出部と水平方向に低域通過
フィルタをかける水平方向LPF部と、前記垂直方向LPF部
と前記水平方向LPF部の出力の論理和演算を行う論理和
演算部と、エッジ抽出部とを備えたことを特徴とする請
求項２記載の動画像領域分割装置。 - 【請求項５】 前記第４の２値画像作成部において、動
きベクトルが水平方向にゼロから非ゼロに変化する位置
及び非ゼロからゼロに変化する位置を検出する水平方向
変化点検出部と、動きベクトルが垂直方向にゼロから非
ゼロに変化する位置及び非ゼロからゼロに変化する位置
を検出する垂直方向変化点検出部と、前記水平方向変化
点検出部と前記垂直方向変化点検出部の出力の論理和演
算を行う論理和演算部と、２次元の低域通過フィルタを
かけるLPF部と、エッジ抽出部とを備えたことを特徴と
する請求項２記載の動画像領域分割装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP7102238A JPH08297744A (ja) | 1995-04-26 | 1995-04-26 | 動画像領域分割装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP7102238A JPH08297744A (ja) | 1995-04-26 | 1995-04-26 | 動画像領域分割装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH08297744A true JPH08297744A (ja) | 1996-11-12 |
Family
ID=14322064
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP7102238A Pending JPH08297744A (ja) | 1995-04-26 | 1995-04-26 | 動画像領域分割装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH08297744A (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10302171A (ja) * | 1997-04-28 | 1998-11-13 | Mitsubishi Electric Corp | 監視画像記録装置 |
| JP2002523985A (ja) * | 1998-08-21 | 2002-07-30 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 画像信号における問題領域位置決め |
| JP4819912B2 (ja) * | 2006-02-07 | 2011-11-24 | クゥアルコム・インコーポレイテッド | マルチモードの関心領域ビデオオブジェクトセグメンテーション |
| JP2014048203A (ja) * | 2012-08-31 | 2014-03-17 | Yamaguchi Univ | 微粒子の濃度測定方法及び測定装置 |
-
1995
- 1995-04-26 JP JP7102238A patent/JPH08297744A/ja active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10302171A (ja) * | 1997-04-28 | 1998-11-13 | Mitsubishi Electric Corp | 監視画像記録装置 |
| JP2002523985A (ja) * | 1998-08-21 | 2002-07-30 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 画像信号における問題領域位置決め |
| JP4819912B2 (ja) * | 2006-02-07 | 2011-11-24 | クゥアルコム・インコーポレイテッド | マルチモードの関心領域ビデオオブジェクトセグメンテーション |
| JP2014048203A (ja) * | 2012-08-31 | 2014-03-17 | Yamaguchi Univ | 微粒子の濃度測定方法及び測定装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Ehsan et al. | A single image dehazing technique using the dual transmission maps strategy and gradient-domain guided image filtering | |
| Salembier et al. | Morphological multiscale image segmentation | |
| US8666185B2 (en) | Compression of digital images of scanned documents | |
| Meyer et al. | Morphological segmentation | |
| CN102246204B (zh) | 用于使用标度空间来处理图像的设备和方法 | |
| CN110268442A (zh) | 在图像中检测背景物上的外来物的计算机实现的方法、在图像中检测背景物上的外来物的设备以及计算机程序产品 | |
| Wang et al. | Simultaneous matting and compositing | |
| Sýkora et al. | Segmentation of black and white cartoons | |
| Tang et al. | SDRNet: An end-to-end shadow detection and removal network | |
| Soille | Advances in the analysis of topographic features on discrete images | |
| CN104346782A (zh) | 一种实现单幅图像去雾的方法和装置 | |
| Song et al. | Building extraction from high resolution color imagery based on edge flow driven active contour and JSEG | |
| JPH08297744A (ja) | 動画像領域分割装置 | |
| CN111340044A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| Wang et al. | Accurate depth estimation for image defogging using Markov Random Field | |
| Prasad et al. | Natural scene text localization and removal: deep learning and navier-stokes inpainting approach | |
| KR20250005787A (ko) | 개인정보보호를 위한 자연스러운 차량번호판 합성영상 생성 방법 및 시스템 | |
| Haris et al. | Hierarchical image segmentation based on contour dynamics | |
| JP3782239B2 (ja) | 画像部品化方法及び画像部品化プログラムを記録した記録媒体 | |
| Karantzalos | Combining anisotropic diffusion and alternating sequential filtering for satellite image enhancement and smoothing | |
| EP4524899B1 (en) | Learning device, server device, and program | |
| Morier et al. | Relative depth estimation of video objects for image interpolation | |
| JP4043629B2 (ja) | 画像データ変換方法、画像部品化方法、画像データ変換プログラムを記録した記録媒体及び画像部品化プログラムを記録した記録媒体 | |
| Samiullah et al. | Single Image Haze Removal Using Dark Channel Saturation Priori Model and Non-linear Diffusion Patch Method | |
| Peters et al. | Image segmentation based on height maps |