JPH0534712B2

JPH0534712B2 -

Info

Publication number: JPH0534712B2
Application number: JP58091309A
Authority: JP
Inventors: Tsugihito Maruyama; Takashi Uchama
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 1983-05-24
Filing date: 1983-05-24
Publication date: 1993-05-24
Also published as: JPS59216283A

Description

【発明の詳細な説明】〔発明の技術分野〕本発明は、画像処理装置に係り、特に濃淡画像
に対して平滑化、グラジエント演算やラプラシア
ン演算、極点抽出、閾値処理及び雑音除去処理等
を行つて、対象の輪郭線を２値画像として抽出す
る一連の処理をTVカメラの水平走査信号に同期
してリアルタイムで高速に実行する画像処理装置
に関するものである。

〔技術の背景〕

最近各方面に工業用ロボツトが使用されている
が、例えば機械組立用ロボツトの場合には、ロボ
ツトが螺子緩め等の１動作が終るまでの短かい間
に、次の工程のためにある物体が何であるか認識
しておかないと動作が連続しない。そのためにロ
ボツトの目としてTVカメラから入力された多値
レベルの画像信号を高速処理してその物体が何で
あるかを高速に認識処理する必要がある。そのた
めに高速で明るさの急変している部分を抽出し、
物体の輪郭をとらえることが必要となる。

〔従来技術と問題点〕

一般にTVカメラ等を使つて得られる画像デー
タは、一画面が例えば256×256（あるいは128×
128）画素の２次元の，８ビツトの濃淡レベルで
あるため、その情報量が非常に膨大なものとな
る。そのために従来、このような画像データを取
り扱かおうとする場合は、一度TVカメラからの
画像信号を１フレーム分画像メモリに記憶し、そ
のデータを大型計算機に転送して処理するか、あ
るいはTVカメラからの映像信号を何らかの方法
でスライスレベルをきめて２値化してデータを圧
縮し、メモリに記憶し、そのデータに対して論理
演算処理を行う等の手法が取られてきた。

それ故、前者では高度の画像処理を行うことが
できる反面、高速処理を実現するには大容量のメ
モリと高速の大型計算機が必要となりコスト高と
なる欠点を有しており、また後者では２値化にす
るための適切なスライスレベルの決定が難かしく
しかも多値レベル情報を２値レベル情報に省略し
たので情報量としては欠如しているものとなるた
め、これを処理しても高度な処理ができない、例
えば濃淡変化の複雑な画像の処理ができないとい
う欠点を有している。

また最近、汎用画像処理装置として各画素ある
いは複数画素単位に１つの基本演算モジユールを
配置し並列演算することにより画像処理の高速化
を計つているものがみられるが、１フレーム分の
画像を処理するために、数多くの基本演算モジユ
ールを配置しなければならないので、処理装置自
体が大型化し、コスト高となり、しかもアドレス
制御が複雑になるという欠点をもつている。

それ故、このような欠点を改善するために、濃
淡画像から対象の輪郭線画を抽出する装置とし
て、第１図に示す如く、輪郭抽出すべき対象の物
体を例えばTVカメラ１で撮影し、この撮影画像
をADコンバータ２で多値レベルのデイジタル濃
淡画像に変換した後、このデイジタル濃淡画像を
２値画像抽出回路３で物体の輪郭を表わした２値
画像に変換するものを、出願人は特願昭57−
104742号として出願している。

この場合、２値画像抽出回路３としては、乗
算・加算・割算回路からなる空間フイルタ演算部
を使用し、この空間フイルタ演算部の荷重係数を
適当に選ぶことにより雑音の低減と画像の強調を
行い、そのデータに対し水平及び垂直方向の極点
抽出によつて対象の輪郭線を２値画像として抽出
するものである。

この方法は対象が単一物体で、背景が一様の濃
淡レベルを有し、対象と背景とに高いコントラス
トがある場合には大変有効である。

しかし通常の画像データ取り込み系では対象物
体の表面状態、色、形状、照明条件、レンズの明
るさ、絞り等の要因で、濃淡レベルにむらが生じ
たり、対象と背景とに高いコントラストが得られ
なかつたりする。そのような場合、背景にくさび
形の紋様が現われＳ／Ｎ比が低下する。この背景
ノイズを消去するために、まず閾値処理が必要と
なる。また対象が重なつていて、３つ以上の領域
が交わつている場合には、平滑化処理＋ラプラシ
アン処理後のデータから水平および垂直方向の極
点を抽出するだけでは、第２図のように、交点で
N₀として示す如く途切れ部分が生ずる（理由後
述）。さらに第３図に示す如く、輪郭線から分岐
したひげ状ノイズN₁や、外的要因による数画素
以下の孤立ノイズN₂等は除去できずに残つてし
まう。

〔発明の目的〕

本発明の目的は、上記の如き問題を改善するた
めに、空間フイルタやFFT適用後の濃淡画像デ
ータに対して水平、垂直方向で極点抽出のみなら
ず45°及び135°の斜方向の極点抽出処理を行うこ
とにより原画上の明るさの急変部を抽出して途切
れ部分の発生を解消し、閾値処理により背景ノイ
ズを消し、さらに２値画像に対する雑音除去処理
によるひげ状ノイズと孤立ノイズの除去を行なつ
て、対象の輪郭線のみを一連のつながりとして抽
出し、Ｓ／Ｎの良い画像を得ることのできる画像
処理装置を提供することにある。

〔発明の構成〕

この目的を達成するため、本発明の画像処理装
置では、濃淡画像を画素単位で処理してその輪郭
を抽出するために、一定長のデータを保持格納す
るデータシフト回路と、保持されたデータと予め
設定されている荷重係数との掛け算を行う乗算回
路と、その結果をたし合わせる加算回路および乗
算・加算によつて増加したレベルを適当な範囲に
収まるようにする割算回路を具備する空間フイル
タ演算部と、水平および垂直方向の極点を抽出す
る極点抽出部を有する画像処理装置において、隣
り合う画素の濃淡レベルの比較により水平および
垂直方向の極点抽出とともに斜め方向の極点をも
抽出する極点抽出部と、背景ノイズを除去するた
めの閾値処理部と、ひげ状のノイズと数画素以下
の孤立ノイズを除去する雑音除去部を備え、ま
た、上記空間フイルタ演算部として第１の空間フ
イルタ演算手段と第２の空間フイルタ演算手段を
設け、これら第１の空間フイルタ演算手段と第２
の空間フイルタ演算手段を直列状態または並列状
態に選択的に接続できるように構成し、TVカメ
ラの水平走査信号に同期してリアルタイムで濃淡
画像の輪郭を２値画素として抽出するようにした
ことを特徴とする。

〔発明の要点〕

本発明の要点は、空間フイルタやFFT適用後
の濃淡画像データから局部的に濃淡レベルの高い
画素を、対象物体の輪郭線の候補点として抽出す
るために、水平方向、垂直方向、45°対角および
135°対角方向における各極点処理を行い、３つ以
上の領域が交つている場合でも途切れのない輪郭
線を抽出するようにしたこと、閾値処理を行い低
レベルの背景ノイズを除去したこと、さらに２値
画像として抽出された輪郭線が少なくても例えば
８連結のつながりで閉ループを構成していると仮
定し、局所ウインド内の論理演算によつてひげ状
ノイズや孤立ノイズを除去すること等の処理によ
り、対象の輪郭線だけを原画から抽出するように
したものである。

〔発明の実施例〕

本発明の一実施例を第４図以下の添付図面によ
り説明する。

第４図は本発明の画像処理装置の簡単な構成図
を示したものである。

その基本構成は、第１空間フイルタ演算部１
２、第２空間フイルタ演算部１３、極点抽出部１
４、閾値処理部１５、雑音除去部１６であり、第
１空間フイルタ演算部１２と第２空間フイルタ演
算部１３は切換スイツチ部１７により直列または
並列に接続され、並列接続状態の場合には絶対値
演算部１８が挿入される。

いま第５図ａ−１の物体４を上方からみたとき
第５図ａ−２の画像が得られ、これを線Ｘ−Ｙで
走査すれば第５図ａ−３の出力信号が得られる。
これを微分処理すれば第５図ｂ−３の出力が得ら
れる。この微分出力よりスライスレベルＡ，Ｂ，
Ｃにすれば、第６図ａ，ｂ，ｃの出力が得られる
が、理想的な第６図ｂの輪郭を得るためにスライ
スレベルＢの選定がむづかしい。したがつて第５
図ａ−３の信号を微分処理して得られた第５図ｂ
−３より極点抽出を行えば、特にスライスレベル
を設定しなくとも第６図ｂの如き出力を得ること
ができる。なお第５図、第６図についてはさらに
後で詳述する。

第１空間フイルタ演算部１２及び第２空間フイ
ルタ演算部１３は同一構成であり、その詳細は第
１空間フイルタ演算部１２により代表的に説明す
る。

空間フイルタ演算では、次式(1)で与えられる演
算をハード的に行うものである。

Y_n,o＝₁ 〓^i=-1 ₁ 〓^j=-1 X_n+i,o+j・f_i,j／Ｈ ……(1) ここでX_n,o、Y_n,oは、第７図に示す如く、各々
画面状ｍ行ｎ列の画素の濃淡レベル値のフイルタ
リング前後の値を示し、f_i,jは荷重係数、Ｈは正規
化係数である。このフイルタはY_n,oの値を、注目
画素X_n,oとその周囲８画素X_n+i,o+j（ｉ＝１、０、
−１、ｊ＝１、０、−１ただしｉ＝ｊ＝０を除く）
との重み（f_i,j）付け演算によつて決定するもので
あり、第１３図に示す如く、f_i,jの値の選び方によ
つてフイルタの特性を様々に変えることができ
る。

したがつて荷重係数f_i,jを第７図ロの如く定め、
正規化係数ＨをＨ＝16と定めるとき、Y_n,oは次式
(2)により求められる。

Y_n,o＝１／16〔X_n-1,o-1×１＋X_n,o-1×２＋X_n+1,o-1×
１＋X_n-1,o×２＋X_n,o×４＋X_n+1,o×２＋X_n-1,o+1×１
＋X_n,o+1×２＋X_n+1,o+1×１〕 ……(2) 第４図の状態では第１空間フイルタ演算部１２
と第２空間フイルタ演算部１３は切換スイツチ部
１７による直列接続されている。この場合では、
１段目の第１空間フイルタ演算部１２を平滑化フ
イルタ用に、２段目の第２空間フイルタ演算部１
３を画像強調フイルタ（ハイパス、ラプラシア
ン）用に用いることによつて、リアルタイムで画
像雑音の低減と対象の輪郭線抽出を行うためであ
る。

さて上記(1)式の演算を実現するハード構成につ
いて説明する。この空間フイルタ演算部は第８図
に示す如く、データシフト回路３０、乗算回路３
１、加算回路３２、割算回路３３の４つの部分か
ら構成される。

データシフト回路３０は１画面分の画像データ
に対して３×３の空間フイルタリング処理を実行
するために、第９図に示す如く、２行＋３画素の
データをシフトレジスタを用いて記録格納し、次
段の乗算回路にX_n+i,o+j（ｉ＝−１、０、１、Ｊ＝
−１、０、１）の９画素を送出する機能を持つて
いる。

第９図において、１行ｐ画素、2^q濃淡レベルの
画面データの場合について説明する。第８図の
Ａ／Ｄコンバータ１１により、１画素ｑビツトで
表示されたデータを１段目は３画素分、２段目及
び３段目はｐ画素分のシフトレジスタを用いて保
持する。そして格段の最後の３画素については、
次段の乗算回路へ同時に各画素のデータを送出で
きるようにラツチまたはフリツプフロツクＲ１〜
Ｒ９を縦続接続するかシリアル・イン−パラレ
ル・アウトのシフトレジスタを使用することによ
り９画素の送出が実現できる。そして２段目及び
３段目は（ｐ−３）画素分のシフトレジスタ３
４，３５を使用して送出分以外の画素のデータを
保持する。そしてこのデータシフト回路は、TV
カメラ１０の走査信号により１画素ずつシフトす
るものである。

乗算回路３１は、第１０図に示す如く、データ
シフト回路３０から送出された９画素の各々に対
してあらかじめ設定した荷重係数f_i,j（ｉ＝−１、
０、１、ｊ＝−１、０、１）を乗じて次式(3)を求
める機能を持つている。

W_n+i,o+j＝X_n+i,o+j×f_i,j ……(3) （ｉ＝−１、０、１、ｊ＝−１、０、１）そのために、第１０図に示す如く、第１乗算器
３６〜第９乗算器４４の９個の乗算器を用い、第
１乗算器３６には荷重係数f_-1，_-1が設定されてお
りデータシフト回路より創出された画素X_n-1,o-1
との乗算が行なわれる。そして第２乗算器３７に
は荷重係数f_-1，₀が設定されておりデータシフト
回路より送出された画素X_n-1,oとの乗算が行なわ
れる。このようにして第１０図に示す乗算回路に
より前記(3)式における乗算を行うことができる。

加算回路３２は、前記乗算回路３１で演算され
た９個の値W_n+i,o+j（ｉ＝−１、０、１、ｊ＝−
１、０、１）から、これらの和である次式(4)を求
める加算機能を有する。

Z_n,o＝₁ 〓^i=-1 ₁ 〓^j=-1 W_n+i,n+j ……(4) （ｉ＝−１、０、１、ｊ＝−１、０、１）そのために第１１図に示す如く、第１加算器４
５〜第８加算器５２を使用している。

さらに割算回路３３は、前記乗算回路３１及び
加算回路３２における乗算演算、加算演算により
増加した濃淡レベルZ_n,oを、第４図の画像メモリ
１９及びモニタ用TVの濃淡レベルの範囲に収ま
るように、正規化系係数Ｈで割り、 Y_n,o＝Z_n,o／Ｈ（＝(1)式） ……(5) を求めるものである。ここで正規化係数Ｈは、実
現し易さから₁ 〓^i=-1 ₁ 〓^j=-1 f_i,jに近くそれより大きな2^k
（ｋ＝０、１、２…）の値に選ぶ。この割算回路
３３は第１２図に示す如く、第１データセレクタ
５３〜第８データセレクタ６０により構成されて
おり、上記(5)式の塩酸を行うことにより上記(1)式
の最終演算結果のY_n,oが得られるものである。こ
の第１２図は、８ビツトの濃淡画素を前記の如く
乗算演算及び加算演算により16ビツトの濃淡レベ
ルのデータZ_n,oになつたものを８ビツトデータ
Y_n,oに減らすときの例であつて、第１データセレ
クタ５３には16ビツトデータZ_n,oのうち２〜９ビ
ツトを入力し、第２データセレクタ５４には16ビ
ツトデータZ_n,oのうち３〜10ビツトを入力し、以
下同様に第３データセレクタ５５には４〜11ビツ
トを入力し、第４データセレクタ５６には５〜12
ビツトを、第５データセレクタ５７には６〜13ビ
ツトを、第６データセレクタ５８には７〜14ビツ
トを、第７データセレクタ５９には８〜15ビツト
を、第８データセレクタ６０に９〜16ビツトをそ
れぞれ入力する。そしてセレクタラインSLより
伝達された３ビツトの選択信号に応じて各データ
セレクタ５３〜６０は、前記８ビツト入力のうち
第１番目〜第８番目のいずれか１つのビツトを選
択出力する。例えば2⁷でZ_n,oを商する場合にはそ
れぞれのデータセレクタ５３〜６０より第１番目
のビツトを出力するように各データセレクタ５３
〜６０が制御されるので、第１データセレクタ５
３からは２〜９ビツトのうちの第１番目のビツト
すなわち16ビツトのうちの２ビツト目が出力さ
れ、第２データセレクタ５４からは３〜10ビツト
のうちの第１番目のビツトすなわち16ビツトのう
ちの３ビツト目が出力され、第３データセレクタ
５５からは４〜11ビツトのうちの第１番目のビツ
トすなわち16ビツトのうちの４ビツト目が出力さ
れ、以下同様にして第８データセレクタ６０から
は９〜16ビツトのうちの第１番目のビツトすなわ
ち16ビツトのうちの９ビツト目が出力されること
になり、この結果各データセレクタ５３〜６０よ
り16ビツトのZ_n,oを2⁷で商した値である２〜９ビ
ツトを出力することになる。同様にしてZ_n,oを2⁶
で商する場合には各データセレクタ５３〜６０か
ら第２番目のビツト、すなわち16ビツトのデータ
よりその３〜10ビツトを出力すればよく、2⁵で商
する場合には各データセレクタ５３〜６０より第
３番目のビツトを出力させて16ビツトのデータよ
りその４〜11ビツトを出力させればよい。このよ
うにしてＮ番目のデータセレクタには16ビツトデ
ータのうち2^15-N〜2^8-Nビツト目を入力し、割る
数2^kに対応してセレクタラインにｋの値をセツト
することにより割算を高速に実現することができ
る。このように、データセレクタを用いることに
より割算の高速化をはかることができる。

第４図における第１空間フイルタ演算部１２と
第２空間フイルタ演算部１３の荷重系数を適当に
選ぶことにより画像上のランダムな雑音の低減と
明るさを急変部の強調に行うことができる。この
荷重係数は、例えば荷重係数保持部２２の荷重係
数テーブルよりCPU２１によつて取出すことか
できる。

例えば第５図ａの原画に対して平滑化＋ラプラ
シアン処理を施した後の様子を同ｂに示す。第５
図ａ−１は光が右斜め上方から円柱の物体４に当
つている場合であり、同ａ−２はそれを真上から
見たときの図、同ａ−３は、同ａ−２のＸ−Y1
次元方向の明るさの変化を示したものである。ま
た第５図ｂ−１は平滑化＋ラプラシアン演算後の
濃淡レベルの３次元表示であり、同ｂ−２はそれ
を真上から眺めたときの等明線を示している。さ
らに第５図ｂ−３は同ｂ−２のＸ−Y1次元方向
の断面を示している。

ここで閾値処理によつて第５図ｂ−１から対象
の輪郭線を抽出することを考えてみる。スライス
レベルとして、Ａ，Ｂ，C3のレベルを選び２値
化すると、第６図ａ〜ｃに示すように各々異なつ
た輪郭線が得られる。第６図ａではレベルが高過
ぎて輪郭に途切れが生じるし、同ｃではレベルが
低過ぎて太くなつてしまう。そのため得られた輪
郭線に対して改めて途切れの修復あるいは細線化
処理が必要になる。これらの処理はアルゴリズム
が複雑で時間のかかるものであるため、リアルタ
イム処理には適さない。また第６図ｂのように丁
度良いスライスレベルが設定できれば都合が良い
が、原画の濃淡レベルは対象物体の表面状態・
色・形、照明条件、レンズの明るさ、絞り等で毎
回異なるため、適当なスライスレベルを見つける
ことは難かしい。結局閾値処理だけで対象を一連
の線画として抽出しＳ／Ｎのよい画像を得ること
は困難である。

そこで本発明ではまず極点抽出処理により輪郭
候補点の抽出を行う。この拠点抽出動作原理を第
１４図により説明する。説明の簡略化のため、第
１４図イの原画像Ｐが図示状態の１次元方向の濃
度分布を有する場合においてそと極点Ｒを求める
例について説明する。原画像Ｐを左に一画素Δだ
けシフトした左シフト画像をP_Lとし、右に一画
素Δだけシフトした右シフト画像をP_Rとする。
そして原画像Ｐと左シフト画像P_Lを比較して原
画像の方が濃度が大きいか等しい（以下これをＰ
≧P_Lとする）部分Q_Lを抽出し、また原画像Ｐと
右シフト画像P_Rを比較して原画像の方が濃度が
大きいか等しい（以下これをＰ≧P_Rとする）部
分Q_Rを抽出する。このとき求める極点（極大点）
Ｒは少なくとも両隣りの画素より大きいか等しい
レベルであると考えられるので、第１４図ホのよ
うに部分Q_LでかつQ_Rのところを抽出することに
より極点Ｒを求めることができる。ただし、Ｐ＝
P_L＝P_Lのときは除外する。

ところで第１４図ヘのＬに示す如きパターンで
極点が存在するとき、Ｘ方向の走査のみではパタ
ーンＬの極点辺l₁，I₃は抽出できるものの、極点
辺I₂，I₄は抽出することができないので、これを
Ｙ方向にも走査することにより極点辺I₂，I₄を抽
出することができる。したがつて、例えば第１４
図トに示す如き画素Ａ〜Ｉを有する抽出ウインド
ウW′を使用すればＤ，Ｅ，Ｆにより２次元の濃
淡画像のＸ方向の極点を、Ｂ，Ｅ，Ｈにより同じ
くＹ方向の極点を、Ｃ，Ｅ，Ｇにより45°の斜方
向の極点を、Ａ，Ｅ，Ｉにより135°の斜方向の極
点をそれぞれ抽出できる。

いま、第１４図チに示す１フレームを第４図の
走査信号発生部２０より抽出された同期信号に応
じて走査h₀，h₁，h₂…により順次走査し、各画素
を上記の如く比較処理することにより水平、垂
直、45°、135°方向の極点を順次抽出することが
できる。

この第４図に示す極点抽出部１４は、第１５図
に示す如くデータシフト回路６２とデータ比較回
路６３から構成されている。

データシフト回路６２は、第１６図に詳記する
ように、２行＋３画素のデータをシフトレジスタ
を用いて順次保持し、次段のデータ比較回路６３
に対して画素Ａ〜Ｉの９画素を送出する機能を有
し、第９図に示すデータシフト回路を同様に構成
されている。第１空間フイルタ演算部１２及び第
２空間フイルタ演算部１３よりなる空間フイルタ
６１の出力は、レジスタr₁〜r₉、Ｎ−３ビツト長
のシフトレジスタ６４，６５により構成されるデ
ータシフト回路６２に入力され、これにより各レ
ジスタr₁〜r₉より画素Ａ〜Ｉが出力され、データ
比較回路６３に入力されることになる。

このデータ比較回路６３は、第１７図に示す如
く、比較器Ｃ−１〜Ｃ−８、オア回路OR−１〜
OR−９、アンド回路AN−１〜AN−４、ナンド
回路NAN−１〜NAN−４、ピーク・レジスタ
RP等により構成されている。そして比較器Ｃ−
１により空間フイルタ処理データであるレジスタ
r₄，r₅の画素ＤとＥが比較され、比較器Ｃ−２に
より同じく画素Ｆ，Ｅが比較される。したがつて
画素Ｅが水平方向（Ｘ方向）の極点の場合にはＥ
＞Ｄ，Ｅ＞Ｆ，Ｄ≠Ｅ≠ＦでらるのでOR−２，
OR−３及びNMN−１よりいずれも「１」が出
力され、OR−１より「１」が出力されるので、
ピークレジスタPRに水平方向のピーク値として
画素Ｅが保持され、これが極点として出力される
ことになる。

また比較器Ｃ−３には画素ＢとＥが比較され、
比較器Ｃ−４には画素ＥとＨが比較されるので、
画素Ｅが垂直方向の極点の場合にはAN−２より
「１」が出力され、OR−１より「１」が出力さ
れるのでピークレジスタPRに画素Ｅが保持され
ることになる。同様に比較器Ｃ−５，Ｃ−６によ
り45°対角方向の画素Ｃ，Ｅ，Ｇが比較され画素
Ｅが極点の場合にはAN−３から「１」が出力さ
れ、比較器Ｃ−７，Ｃ−８により135°対角方向の
画素Ａ，Ｅ，Ｉが比較され画素Ｅがその135°対角
方向での極点の場合にはAN−４から「１」が出
力されることになる。したがつて画素Ｅが、水
平、垂直、45°、135°対角方向のいずれか１つの
方向で極点の場合にはOR−１は「１」を出力
し、ピークレジスタPRに画素Ｅが保持され、極
点として出力されることになる。このようにして
注目画素Ｅが極点の場合、これを抽出することが
できる。

閾値処理部１５は、第１８図に示す如く、デー
タシフト回路と閾値回路からなり、データシフト
回路６２は極点抽出処理部のそれと同じ回路を用
いる。後者は比較器６６、アンド回路６７、レジ
スタ６８を有し、比較器６６にて予め設定したス
ライスレベルと注目画素（例えばＥ）との比較を
行い、注目画素がスライスレベルより大きな濃度
のときに比較器６６は「１」を出力し、アンド回
路６７をオン状態にする。この信号により注目画
素Ｅのレベルを制御することによつてあるレベル
以上で水平、垂直、45°、135°の各方向に極点に
なつている画素だけを抽出することができる。

このようにして、本発明では極点抽出部１４に
より輪郭候補点の抽出を行い、閾値処理部１５に
より閾値処理を行う。

すなわち輪郭抽出対象物体の輪郭は、原理上で
明るさの急変している部分に対応していると考え
られる。したがつてラプラシアン・フイルタ（２
次微分）又はグラジエント・フイルタ（１次微
分、境界線抽出）適用後のデータでは、対象の輪
郭に対応している部分は他の部分よりもレベルが
高い。そこでフイルタリング後のデータに対し
て、水平、垂直、45°対角及び135°対角方向の極
点処理を行い、原画上で明るさの急変している輪
郭候補点の抽出をする。これだけであると、外的
要因による背景ノイズが沢山抽出されてしまう。
しかし背景ノイズのレベルは、通常、対象の輪郭
点より低いレベルであるので、しきい値処理によ
つて除去することができる。本発明におけるしき
い値処理は、フイルタリング後のデータから直接
輪郭点を抽出することが目的ではないので、その
スライスレベルは極点抽出処理によつて抽出され
た輪郭候補点列が途切れない程度で、背景ノイズ
が除去できる位でよい。

この処理は極点抽出処理と並行して行えるた
め、極点抽出部１４と閾値処理部１５を並列に配
置することによつて高速化できる。この結果、水
平、垂直45°対角および135°対角方向の極点で、
かつ一定のスライスレベル以上の点が２値画像と
して輪郭候補点として抽出できる。

ところで閾値処理部１５における閾値処理にお
いてスライスレベルを輪郭候補点列が途切れない
ように設定したので、第３図に示した如く、多少
のひげ状のノイズや数画素以下の孤立ノイズが残
つてしまう。そこで２値画素として抽出された輪
郭候補点列が少なくても８連結のつながりで閉ル
ープを構成していると仮定し、３×３の局所ウイ
ンド内の論理演算によつて、ひげ状ノイズや孤立
ノイズの除去を行う。これらの各ノイズの除去は
雑音除去部１６により行う。

雑音除去部１６の詳細構造を説明するに先立ち
その動作原理について説明する。

第１９図〜に示す如く、３×３のウインド
ウＷの中心における注目画素Ｅが雑音でない場合
には必らず閉レープ画像である。そして閉ループ
画像は連続的であることからこの閉ループ画像は
ウインドウＷを必らず横切ることになり、ウイン
ドウＷ内の周辺画素のうち少くとも２つは閉ルー
プ画像上の画素でなければならないといえる。そ
して上記前提条件を加味すると、上記閉ループ画
像上の二つの周辺画素は相隣接しない位置関係に
なつていなければならないといえる。これらのこ
とから、注目画素Ｅが閉ループ画像上の画素であ
るためには、注目画素Ｅが状態１である場合にお
いて少くとも相隣接しない二つの周辺画素が状態
１であることが必要になる。この条件に該当する
ものは16通りであり、各場合をウインドウＷによ
つて表わしたものが第１９図に示されている。こ
の場合において、説明を単純化するために、閉ル
ープ画像が角部を備えているものについては前記
角部に対応した画素は閉ループ画像上の画素でな
いものとして扱うことを前提とする。

この後、第１９図に示すウインドウＷ内の基本
パターンが生じないパターンを調べ、数画素程度
の雑音やひげ状の雑音を除去するための雑音除去
条件として設定する。この場合、第一の雑音除去
条件としては、第２０図ａのウインドウＷにおい
て、同ｂの〜に示すように、注目画素Ｅが状
態１である場合において、少くともウインドウＷ
の相隣接する二辺に沿う周辺画素が状態０である
こと、即ち、ウインドウＷの上辺I₁及び左辺I₂に
沿う周辺画素Ａ、Ｂ、Ｃ、Ｄ、Ｇが状態０，ウイ
ンドウＷの左辺I₂及び下辺I₃に沿う周辺画素Ａ、
Ｄ、Ｇ、Ｈ、Ｉが状態０、ウインドウＷの下辺I₃
及び右辺I₄に沿う周辺画素Ｇ、Ｈ、Ｉ、Ｆ、Ｃが
状態０、ウインドウＷの右辺I₄及び上辺I₁に沿う
周辺画素Ｉ、Ｆ、Ｃ、Ｂ、Ａが状態０のいずれか
であることが挙げられる。第二の除去条件として
は、第２０図ｃ〜に示すように、注目画素が
状態１である場合において、少くともウインドウ
Ｗの一辺に沿う周辺画素とこれに隣接する周辺画
素とが状態０であり且つ上記ウインドウＷの対向
辺中央に位置する周辺画素が状態１であること、
例えば、ウインドウＷの上辺I₁に沿う周辺画素
Ａ、Ｂ、Ｃ及びこれに隣接する周辺画素Ｄ、Ｆが
状態０であり且つウインドウＷの下辺I₃中央に位
置する周辺画素Ｈが状態１であること等が挙げら
れる。尚、第２０図において×印を付した画素は
状態１若しくは状態０のいずれでもよいことを示
している。

従つて、２値画素を移動するウインドウＷ内の
パターンが上記第一及び第二の雑音除去条件のい
ずれかに合致したとすれば、注目画素Ｅが状態１
であるとしても、当該注目画素Ｅは閉ループ画像
の画素ではなく、雑音として検出されることにな
り、これを「０」とすることによりこの雑音は有
効に除去されることになる。例えば、第３図に示
すように、４画素以下の画素がかたまつた雑音
N₂が存在する場合には、第一の雑音除去条件で
取除かれ、閉ループ画像から延びるひげ状の雑音
N₁が存在する場合には、第二の雑音除去条件で
取除かれることになる。

上述したような雑音除去方法を実施するための
回路の一例を以下に示す。

この雑音除去部１６は、第２１図に示す如く、
空間フイルタ・閾値処理部６９からの２値画素が
入力されるデータシフト回路７０と論理演算回路
７１ら構成されている。

第１空間フイルタ演算部１２、第２空間フイル
タ演算部１３、極点抽出部１４、閾値処理部１５
等よりなる空間フイルタ・閾値処理部６９の出力
は、第２２図に示す如くレジスタR₁′〜R₉′、Ｎ−
３ビツト長のシフトレジスタ７２，７３より構成
されるデータシフト回路７０に入力され、これに
より各レジスタR₁′〜R₉′に画素Ａ〜Ｉが出力さ
れ、論理演算回路７１に入力される。

ここで論理演算回路７１は、第２３図の如く構
成され、第２０図ｂ，ｃの第一の雑音除去条件若
しくは第二の雑音除去条件を満足したときに注目
画素Ｅのレベルを状態０として出力し、それ以外
のときには注目画素Ｅのレベルを状態１のまま出
力するものであり、論理演算回路７１からは雑音
を除去した２値画素データが順次得られることに
なる。そして、上記論理演算回路７１は、具体的
には、以下の論理式(a)乃至(d)を満足するように構
成されている。

E^₁＝｛（Ａ∪Ｂ∪Ｃ∪Ｄ∪Ｇ）∩（Ａ∪Ｄ∪Ｇ∪Ｈ∪
Ｉ）∩（Ｇ∪Ｈ∪Ｉ∪Ｆ∪Ｃ）∩（Ａ∪Ｂ∪Ｃ∪Ｆ
∪Ｉ）｝∩Ｅ＝｛（Ａ∪Ｂ∪Ｃ∪Ａ∪Ｄ∪Ｇ）∩（Ａ∪Ｄ∪Ｇ∪Ｇ
∪Ｈ∪Ｉ）∩（Ｇ∪Ｈ∪Ｉ∪Ｃ∪Ｆ∪Ｉ） ∩（Ａ∪Ｂ∪Ｃ∪Ｃ∪Ｆ∪Ｉ）｝∩Ｅ＝｛（X₁∪X₂）∩（X₂∪X₃）∩（X₃∪X₄）∩（X₄∪X₁）｝∩Ｅ……(a) E^₂＝〔｛（Ａ∪Ｂ∪Ｃ∪Ｄ∪Ｆ）∪Ｈ−｝∩｛（Ａ∪
Ｄ∪Ｇ∪Ｂ∪Ｈ）∩Ｆ−｝∩｛（Ｄ∪Ｆ∪Ｇ∪Ｈ∪Ｉ）
∩
Ｂ−｝ ∩｛（Ｃ∪Ｆ∪Ｉ∪Ｂ∪Ｈ）∪Ｄ−｝〕∩Ｅ＝〔｛（X₁∪Ｄ∪Ｆ）∪Ｈ−｝∩｛（X₂∪Ｂ∪Ｈ）∪
Ｆ−｝∩｛（X₃∪Ｄ∪Ｆ）∪Ｂ−｝∩｛（X₄∪Ｂ∪Ｈ）
∪
Ｄ−｝〕∩Ｅ ……(b) E^＝E^₁∩E^₂ ……(c) ＝X₁A∪Ｂ∪Ｃ，X₂＝Ａ∪Ｄ∪Ｇ，X₃＝Ｇ∪Ｈ∪Ｉ，X
₄＝Ｃ∪Ｆ∪Ｉ……(d) (a)乃至(d)式においてＡ乃至Ｉは画素Ａ乃至Ｉの
データを示し、Ｂ−、Ｄ−、Ｆ−、Ｈ−は画素Ｂ，Ｄ，
Ｆ，Ｈの反転データを示し、Ｅ∧₁及びＥ∧₂は夫々第
一の雑音除去条件及び第二の雑音除去条件を満足
するか否かを示す指標値、Ｅ∧は注目レベルＥが雑
音であるか否かを示す指標値である。

この論理式を満足する論理演算回路７１の具体
的構成を第２３図に示す。第２３図において、
OR−１′乃至OR−１４′はオア回路、AN−１′
乃至AN−３′はアンド回路、NT−１′乃至NT
−４′はノツト回路である。

例えば注目画素Ｅと他の画素が、第２０図ｂ
に示す条件の場合には、OR−１′，OR−２′か
らそれぞれ「０」が出力されるので、OR−７′
も「０」を出力し、この結果AN−１′，AN−
３′が「０」を出力し、それ故注目画素Ｅは「０」
となつて出力される。

また第２０図Ｃに示す条件の場合には、OR
−１′，OR−５′がそれぞれ「０」を出力し、ノ
ツト回路NT−１′も「０」を出力するのでオア
回路OR−１１′が「０」を出力する。この結果
AN−２′，AN−３′が「０」を出力するので、
注目画素Ｅは「０」となつて出力されることにな
る。このような制御は、上記他の回路と同様に、
第４図の走査信号発生部２０より出力される水平
同期信号に同期して順次行われることになる。

このようにして論理演算回路７１により、第２
０図ｂ，ｃに示す条件、すなわちウインドウＷの
上辺と右辺、右辺と下辺、下辺と左辺あるいは左
辺と上辺に画素が存在しない場合（雑音除去条件
１）、また上辺と左右に画素がなく下にある、左
辺と上下に画素がなくて右になる、下辺と左右に
画素がなくて上にある、あるいは右辺と上下に画
素がなくて左にある場合（雑音除去条件２）に注
目画素を雑音とみなしてこれを除去することがで
きる。このようにして雑音の除去された対象の輪
郭像を画像メモリ１９に記憶することができる。

切換スイツチ部１７は第１空間フイルタ演算部
１２及び第２空間フイルタ演算部１３を直列接続
または並列接続するものであり、例えばオペレー
タがパネルからこれを主動的に切換てもよく、自
動的に切換制御するようにしてもよい。第４図の
状態では直列接続状態の場合を示している。

第１空間フイルタ演算部１２と第２空間フイル
タ演算部１３とをシリーズに接続すれば、例えば
内部バスを経由してCPU２１から荷重係数テー
ブル２２に格納されている、第１３図に示す荷重
係数のうち、例えば第１空間フイルタ演算部１２
に平滑化フイルタ用の荷重係数を送出し、第２空
間フイルタ演算部１３に２次微分フイルタ用の荷
重係数を送出してラプラシアン演算Ｈ＝∂²h（ｘ，ｙ）／Δx²＋∂²h（ｘ，ｙ）／
Δy² を行えば、対象の輪郭を浮き上がつてみえるよう
な処理を行うことができる。

また第１空間フイルタ演算部１２と第２空間フ
イルタ演算部１３を並列的に絶対値演算部１８に
接続し、例えば第１空間フイルタ演算部１２に第
１３図の荷重係数（Ｂ−１）を、第２空間フイル
タ演算部１３に荷重係数（Ｂ−２）を送出すれ
ば、グラジエント演算Ｈ＝｜∂h（ｘ，ｙ）／∂x｜＋｜∂h（ｘ，ｙ）
／∂y｜を行うことができ、方向性のある直線を抽出した
いようなときに有効である。例えば斜方向の線の
抽出等がよくできる。

なお本発明により、第２図における途切れ部分
N₀の発生を抑制できるのは次の理由による。

すなわち、第２図に示す如く、３つ以上の領域
が１点で交叉しているとき、交叉画素レベルより
高いレベルが周囲画素に現われることがある。例
えば第２４図において、画素ＤまたはＨがＥより
高いレベルになる可能性がある。この場合、画素
Ｅは画素Ａ，Ｉよりはレベルが高い筈であり（す
なわち画素Ａ，Ｉは内部画素であるから）、斜め
方向に極点抽出を行うことによりこのような場合
をカバーできる。

例えば第２５図に示す如き、原画像データがあ
るとき、これをラブラシアン変換処理して第２６
図に示す如きデータを得る。これを従来の水平、
垂直方向でのみ極点抽出すれば丸印の部分が抽出
される。このとき、第２６図のウインドウＷ内の
５１は本来極点であるのにその水平方向の比較で
は極点として抽出できないが、本発明のように斜
め方向に極点抽出処理すれば、(8)，（51），（−58）
の比較により極点としてこれを抽出できるので、
３領域が交叉しているところでも途切れ部分を生
ずることなく、極点を正しく抽出できることにな
る。

本発明の画像処理装置では、データシフト回路
のデータシフトを、TVカメラの水平走査信号と
同期させることによつて、１フレーム分の濃淡画
像処理を、例えば16.7ｍｓで完了することができ
る。また雑音除去部の後にアドレス生成部を設け
ることによつてその画素が、水平、垂直、45°対
角および135°対角方向の極点で、あるスライスレ
ベル以上でかつ雑音除去条件１、２を満足しない
場合のみそのアドレス情報を計画機側に転送すれ
ば必要とする輪郭部分のみメモリに格納すること
ができ、メモリの飛躍的な節約が可能となる。

なお上記の説明ではフイルタを３×３の空間フ
イルタを用いた場合について述べたが、フイルタ
の大きさを５×５、７×７等と大きくすることに
よりきめ細かい処理を行うことが可能となる。

またこの画像処理装置を、１チツプのVLSIに
することにより、物体の分類、選別、製品の検査
等の視覚認識を必要とする分野で、マイコンレベ
ルの計算機による２次元図形の認識ができるよう
になる。

〔発明の効果〕

本発明によれば、物体の輪郭を、TVカメラの
水平走査信号に同期して、リアルタイムで高速に
抽出することができるのみならず、斜め方向に極
点抽出を行うことができ、とぎれがない輪郭線を
抽出することが可能となる。しかもヒゲ状ノイズ
や孤立ノイズ等も除去することができる。そして
２つの空間フイルタ演算部を直列あるいは並列に
選択的に接続できるので、直列に接続すれば対象
の輪郭を浮き上がつてみえるような処理を行うこ
とができ、並列に接続すれば方向性のある直線の
抽出、例えば斜め方向の線の抽出などが可能とな
り、その使用目的に適した処理を行うことが可能
となる。

【図面の簡単な説明】

第１図は従来の画像処理装置の概略図、第２
図、第３図はその問題点説明図、第４図は本発明
の一実施例構成図、第５図は物体及びその輪郭抽
出状態説明図、第６図はスライスレベルを変えた
ときの出力説明図、第７図は空間フイルタの原理
的説明図、第８図は空間フイルタ演算部説明図、
第９図はデータシフト回路説明図、第１０図は乗
算回路説明図、第１１図は加算回路説明図、第１
２図は割算回路説明図、第１３図は空間フイルタ
の用途とその荷重係数説明図、第１４図は極点抽
出部の基本動作説明図、第１５図は極点抽出部の
構成図、第１６図はデータシフト回路、第１７図
はデータ比較回路、第１８図は閾値処理部、第１
９図は輪郭部データ説明図、第２０図は雑音除去
条件説明図、第２１図は雑音除去部、第２２図は
データシフト回路、第２３図は論理演算回路、第
２４図、第２５図、第２６図は途切れ部分説明図
である。図中、１０はTVカメラ、１１はＡ／Ｄコンバ
ータ、１２は第１空間フイルタ演算部、１３は第
２空間フイルタ演算部、１４は極点抽出部、１５
は閾値処理部、１６は雑音除去部、１７は切換ス
イツチ部、１８は絶対値演算部、１９は画像メモ
リ、２０は走査信号発生部、２１はCPU、２２
は荷重係数保持部、３０はデータシフト回路、３
１は乗算回路、３２は加算回路、３３は割算回路
である。

Claims

【特許請求の範囲】１濃淡画像を画素単位で処理してその輪郭を抽
出するために、一定長のデータを保持格納するデ
ータシフト回路と、保持されたデータと予め設定
されている荷重係数との掛け算を行う乗算回路
と、その結果をたし合わせる加算回路および乗
算・加算によつて増加したレベルを適当な範囲に
収まるようにする割算回路を具備する空間フイル
タ演算部と、水平および垂直方向の極点を抽出す
る極点抽出部を有する画像処理装置において、隣り合う画素の濃淡レベルの比較により水平お
よび垂直方向の極点抽出とともに斜め方向の極点
をも抽出する極点抽出部と、背景ノイズを除去す
るための閾値処理部と、ひげ状のノイズと数画素
以下の孤立ノイズを除去する雑音除去部を備え、
また、上記空間フイルタ演算部として第１の空間
フイルタ演算手段と第２の空間フイルタ演算手段
を設け、これら第１の空間フイルタ演算手段と第
２の空間フイルタ演算手段を直列状態または並列
状態に選択的に接続できるように構成し、TVカ
メラの水平走査信号に同期してリアルタイムで濃
淡画像の輪郭を２値画像として抽出するようにし
たことを特徴とする。