JPH07200824A - 画像処理装置 - Google Patents
画像処理装置Info
- Publication number
- JPH07200824A JPH07200824A JP5335198A JP33519893A JPH07200824A JP H07200824 A JPH07200824 A JP H07200824A JP 5335198 A JP5335198 A JP 5335198A JP 33519893 A JP33519893 A JP 33519893A JP H07200824 A JPH07200824 A JP H07200824A
- Authority
- JP
- Japan
- Prior art keywords
- image processing
- image data
- image
- feature amount
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【目的】 画像処理の対象である画像データ自身の特徴
量を抽出して、この特徴量をもとに画像データに適した
画像処理を自動的に構築する画像処理装置を得ることを
目的とする。 【構成】 画像入力手段で得られた画像データを記憶す
る画像記憶手段と、この画像記憶手段に記憶された画像
データに対して異なる処理を行なう複数の画像処理手段
と、画像データの特徴量を求める特徴量抽出手段と、上
記特徴量をもとに上記複数の画像処理手段の中から一つ
または複数を選択し接続を制御する制御手段とを備えた
もの。
量を抽出して、この特徴量をもとに画像データに適した
画像処理を自動的に構築する画像処理装置を得ることを
目的とする。 【構成】 画像入力手段で得られた画像データを記憶す
る画像記憶手段と、この画像記憶手段に記憶された画像
データに対して異なる処理を行なう複数の画像処理手段
と、画像データの特徴量を求める特徴量抽出手段と、上
記特徴量をもとに上記複数の画像処理手段の中から一つ
または複数を選択し接続を制御する制御手段とを備えた
もの。
Description
【0001】
【産業上の利用分野】この発明はカメラなどの画像入力
手段から得られた画像データを処理する画像処理装置に
関するものであり、特に、画像データの中から特定の対
象物を自動的に検出する自動目標検出システムに利用す
る。
手段から得られた画像データを処理する画像処理装置に
関するものであり、特に、画像データの中から特定の対
象物を自動的に検出する自動目標検出システムに利用す
る。
【0002】
【従来の技術】図13は、例えば特開平4−11514
4号公報に示された従来の画像処理装置の構成図であ
り、この画像処理装置はプリント基板の欠陥を検出する
光学検査装置に用いられるものである。図において、1
はカメラなどの画像入力手段、2は画像入力手段1から
得られた画像データを記憶する画像記憶手段、3はそれ
ぞれ定められた異なる複数の処理を含む、画像処理手段
21は画像処理手段3の処理の中から一つまたは複数の
処理を選択し、複数を選んだ場合には接続を決定する制
御手段、22は制御手段21が従うべき手順が予め記憶
されている制御記憶手段である。
4号公報に示された従来の画像処理装置の構成図であ
り、この画像処理装置はプリント基板の欠陥を検出する
光学検査装置に用いられるものである。図において、1
はカメラなどの画像入力手段、2は画像入力手段1から
得られた画像データを記憶する画像記憶手段、3はそれ
ぞれ定められた異なる複数の処理を含む、画像処理手段
21は画像処理手段3の処理の中から一つまたは複数の
処理を選択し、複数を選んだ場合には接続を決定する制
御手段、22は制御手段21が従うべき手順が予め記憶
されている制御記憶手段である。
【0003】画像処理装置は如何なる画像データに対し
ても適用できるものではなくて、その適用範囲には制限
がある。決まった特定の画像処理しかできない画像処理
装置の場合、適用範囲は狭い。従来の装置は、この問題
点を解決すべきもので、同一の装置で広い適用範囲をも
つように発明された画像処理装置である。
ても適用できるものではなくて、その適用範囲には制限
がある。決まった特定の画像処理しかできない画像処理
装置の場合、適用範囲は狭い。従来の装置は、この問題
点を解決すべきもので、同一の装置で広い適用範囲をも
つように発明された画像処理装置である。
【0004】次に、画像処理装置の動作について説明す
る。カメラなどの画像入力手段1により対象物を撮像し
た2次元の画像データを取得する。この画像データはこ
こでは図示していないが、A/D変換器によってディジ
タル信号に変換されて、半導体メモリなどの画像記憶手
段2に記憶される。記憶された画像データは画像処理手
段3に送られる。操作者が対象物から判断して制御記憶
手段22に収められた手順のうち一つを選択して制御手
段21に指示すると、それにより画像処理手段3より最
適な処理が一つ選択される。もしくは、複数の処理が選
択され、それらが定められた順に接続される。従って、
同一の画像処理手段3を用いて、多くの異なる処理を実
施することができる。そのため、処理する対象物が異な
った場合でも、制御手段21に指示を与えて制御記憶手
段22に収められた手順から最もふさわしい処理を選択
することにより、その対象物に適した画像処理装置が構
築される。このように、様々な異なる対象物に対して同
一の装置で異なる画像処理を行えるので適用範囲を広げ
ることができる。
る。カメラなどの画像入力手段1により対象物を撮像し
た2次元の画像データを取得する。この画像データはこ
こでは図示していないが、A/D変換器によってディジ
タル信号に変換されて、半導体メモリなどの画像記憶手
段2に記憶される。記憶された画像データは画像処理手
段3に送られる。操作者が対象物から判断して制御記憶
手段22に収められた手順のうち一つを選択して制御手
段21に指示すると、それにより画像処理手段3より最
適な処理が一つ選択される。もしくは、複数の処理が選
択され、それらが定められた順に接続される。従って、
同一の画像処理手段3を用いて、多くの異なる処理を実
施することができる。そのため、処理する対象物が異な
った場合でも、制御手段21に指示を与えて制御記憶手
段22に収められた手順から最もふさわしい処理を選択
することにより、その対象物に適した画像処理装置が構
築される。このように、様々な異なる対象物に対して同
一の装置で異なる画像処理を行えるので適用範囲を広げ
ることができる。
【0005】
【発明が解決しようとする課題】従来の画像処理装置は
以上のように構成されているので、異なる対象物に対し
て適用範囲を拡張することができるが、自動的に画像処
理手段3より適切な処理が選択されないため、人間等が
介在して制御手段21に指示を与える必要があるという
問題点があった。
以上のように構成されているので、異なる対象物に対し
て適用範囲を拡張することができるが、自動的に画像処
理手段3より適切な処理が選択されないため、人間等が
介在して制御手段21に指示を与える必要があるという
問題点があった。
【0006】この発明は上記のような問題点を解決する
ためになされたもので、画像処理の対象である画像デー
タ自身の特徴量を抽出して、この特徴量をもとに別途の
指示を与えることなく画像データに最も適した画像処理
を自動的に選択し実行する画像処理装置を得ることを目
的とする。
ためになされたもので、画像処理の対象である画像デー
タ自身の特徴量を抽出して、この特徴量をもとに別途の
指示を与えることなく画像データに最も適した画像処理
を自動的に選択し実行する画像処理装置を得ることを目
的とする。
【0007】
【課題を解決するための手段】請求項1の画像処理装置
は、画像入力手段で得られた画像データに対して異なる
処理を行なう複数の画像処理手段と、上記画像データの
特徴量を求める特徴量抽出手段と、上記特徴量に基づい
て上記複数の画像処理手段の中から一つまたは複数を選
択して画像処理に当らせる制御手段とを備えたものであ
る。
は、画像入力手段で得られた画像データに対して異なる
処理を行なう複数の画像処理手段と、上記画像データの
特徴量を求める特徴量抽出手段と、上記特徴量に基づい
て上記複数の画像処理手段の中から一つまたは複数を選
択して画像処理に当らせる制御手段とを備えたものであ
る。
【0008】請求項2の画像処理装置は、画像入力手段
で得られた画像データに対して異なる処理を行なう複数
の画像処理手段と、上記画像データから一つまたは複数
の画像内の指定領域に対応する部分画像データを選出す
る領域限定手段と、上記部分画像データの特徴量を求め
る特徴量抽出手段と、上記特徴量に基づいて上記複数の
画像処理手段の中から一つまたは複数を選択して画像処
理に当たらせる制御手段とを備えたものである。
で得られた画像データに対して異なる処理を行なう複数
の画像処理手段と、上記画像データから一つまたは複数
の画像内の指定領域に対応する部分画像データを選出す
る領域限定手段と、上記部分画像データの特徴量を求め
る特徴量抽出手段と、上記特徴量に基づいて上記複数の
画像処理手段の中から一つまたは複数を選択して画像処
理に当たらせる制御手段とを備えたものである。
【0009】請求項3の画像処理装置は、画像入力手段
で得られた画像データに対して異なる処理を行なう複数
の画像処理手段と、上記画像データを各領域が一つの画
像データの特徴量を持つような複数の領域に対応する画
像データに分割する領域分割手段と、上記領域毎に対応
する画像データの特徴量を求める特徴量抽出手段と、上
記特徴量に基づいて上記領域の各々に対して上記複数の
画像処理手段の中から一つまたは複数を選択して画像処
理に当らせる制御手段とを備えたものである。
で得られた画像データに対して異なる処理を行なう複数
の画像処理手段と、上記画像データを各領域が一つの画
像データの特徴量を持つような複数の領域に対応する画
像データに分割する領域分割手段と、上記領域毎に対応
する画像データの特徴量を求める特徴量抽出手段と、上
記特徴量に基づいて上記領域の各々に対して上記複数の
画像処理手段の中から一つまたは複数を選択して画像処
理に当らせる制御手段とを備えたものである。
【0010】請求項4の画像処理装置は、画像入力手段
で得られた画像データに対して異なる処理を行なう複数
の画像処理手段と、上記画像データを各領域が一つの画
像データの特徴量を持つような複数の領域に対応する画
像データに分割する領域分割手段と、上記分割された画
像データから一つまたは複数の画像内の指定領域に対応
する部分画像データを選出する領域限定手段と、上記部
分画像データの特徴量を求める特徴量抽出手段と、上記
特徴量に基づいて上記複数の画像処理手段の中から一つ
または複数を選択して画像処理に当らせる制御手段とを
備えたものである。
で得られた画像データに対して異なる処理を行なう複数
の画像処理手段と、上記画像データを各領域が一つの画
像データの特徴量を持つような複数の領域に対応する画
像データに分割する領域分割手段と、上記分割された画
像データから一つまたは複数の画像内の指定領域に対応
する部分画像データを選出する領域限定手段と、上記部
分画像データの特徴量を求める特徴量抽出手段と、上記
特徴量に基づいて上記複数の画像処理手段の中から一つ
または複数を選択して画像処理に当らせる制御手段とを
備えたものである。
【0011】請求項5の画像処理装置は、特徴量抽出手
段または画像処理手段の出力に基づいて、領域限定手段
で部分画像データを選出する指定領域を決定することを
特徴とするものである。
段または画像処理手段の出力に基づいて、領域限定手段
で部分画像データを選出する指定領域を決定することを
特徴とするものである。
【0012】請求項6の画像処理装置は、特徴量抽出手
段または画像処理手段の出力に基づいて、領域分割手段
で各領域が一つの画像データの特徴量を持つような適切
な大きさの複数の領域に対応する画像データに分割する
ことを特徴とするものである。
段または画像処理手段の出力に基づいて、領域分割手段
で各領域が一つの画像データの特徴量を持つような適切
な大きさの複数の領域に対応する画像データに分割する
ことを特徴とするものである。
【0013】請求項7の画像処理装置は、画像入力手段
で得られた画像データの画質劣化を補正する前処理手段
を備えたものである。
で得られた画像データの画質劣化を補正する前処理手段
を備えたものである。
【0014】請求項8の画像処理装置は、画像入力手段
の視線方向の変化を検出する視線検出手段を備え、視線
検出手段の出力に基づいて前処理手段での処理方法およ
び頻度を制御することを特徴とするものである。
の視線方向の変化を検出する視線検出手段を備え、視線
検出手段の出力に基づいて前処理手段での処理方法およ
び頻度を制御することを特徴とするものである。
【0015】請求項9の画像処理装置は、画像入力手段
の視線方向の変化を検出する視線検出手段を備え、視線
検出手段の出力に基づいて特徴量抽出手段での作業頻度
を制御することを特徴とするものである。
の視線方向の変化を検出する視線検出手段を備え、視線
検出手段の出力に基づいて特徴量抽出手段での作業頻度
を制御することを特徴とするものである。
【0016】
【作用】この発明においては、特徴量抽出手段が画像デ
ータの特徴量を抽出して、制御手段がその特徴量をもと
にして、画像処理手段の複数の処理から画像データに最
も適した処理を選択する。
ータの特徴量を抽出して、制御手段がその特徴量をもと
にして、画像処理手段の複数の処理から画像データに最
も適した処理を選択する。
【0017】また、この発明においては、領域限定手段
が画像データから一つまたは複数の部分画像データを切
り出し、特徴量抽出手段が各部分画像データの特徴量を
抽出して、制御手段がその特徴量をもとにして、画像処
理手段の複数の処理から画像データに最も適した処理を
選択する。
が画像データから一つまたは複数の部分画像データを切
り出し、特徴量抽出手段が各部分画像データの特徴量を
抽出して、制御手段がその特徴量をもとにして、画像処
理手段の複数の処理から画像データに最も適した処理を
選択する。
【0018】また、この発明においては、領域分割手段
が画像データを複数の領域に分割し、特徴量抽出手段が
分割された各領域の画像データの特徴量を抽出して、制
御手段がその特徴量をもとにして、画像処理手段の複数
の処理からそれぞれの領域に最も適した処理を選択す
る。
が画像データを複数の領域に分割し、特徴量抽出手段が
分割された各領域の画像データの特徴量を抽出して、制
御手段がその特徴量をもとにして、画像処理手段の複数
の処理からそれぞれの領域に最も適した処理を選択す
る。
【0019】また、この発明においては、領域分割手段
で画像データを各領域が一つの画像データの特徴量を持
つような複数の領域に対応する画像データに分割し、領
域限定手段で上記分割された画像データから一つまたは
複数の画像内の指定領域に対応する部分画像データを選
出し、特徴量抽出手段で上記部分画像データの特徴量を
求め、上記特徴量に基づいて上記複数の画像処理手段の
中から一つまたは複数を選択して画像処理をに当たらせ
る。
で画像データを各領域が一つの画像データの特徴量を持
つような複数の領域に対応する画像データに分割し、領
域限定手段で上記分割された画像データから一つまたは
複数の画像内の指定領域に対応する部分画像データを選
出し、特徴量抽出手段で上記部分画像データの特徴量を
求め、上記特徴量に基づいて上記複数の画像処理手段の
中から一つまたは複数を選択して画像処理をに当たらせ
る。
【0020】また、この発明においては、特徴量抽出手
段または画像処理手段の出力に基づいて、領域限定手段
で部分画像データを選出する指定領域を決定する。
段または画像処理手段の出力に基づいて、領域限定手段
で部分画像データを選出する指定領域を決定する。
【0021】また、この発明においては、特徴量抽出手
段または画像処理手段の出力に基づいて、領域分割手段
で各領域が一つの画像データの特徴量を持つような適切
な大きさの複数の領域に対応する画像データに分割す
る。
段または画像処理手段の出力に基づいて、領域分割手段
で各領域が一つの画像データの特徴量を持つような適切
な大きさの複数の領域に対応する画像データに分割す
る。
【0022】また、この発明においては、前処理手段が
画像入力手段で得られた画像データの画質劣化を補正す
る。
画像入力手段で得られた画像データの画質劣化を補正す
る。
【0023】また、この発明においては、視線検出手段
が画像入力手段の視線方向の変化を検出し、視線検出手
段の出力に基づいて前処理手段での処理方法および頻度
を制御する。
が画像入力手段の視線方向の変化を検出し、視線検出手
段の出力に基づいて前処理手段での処理方法および頻度
を制御する。
【0024】また、この発明においては、視線検出手段
が画像入力手段の視線方向の変化を検出し、視線検出手
段の出力に基づいて特徴量抽出手段での作業頻度を制御
する。
が画像入力手段の視線方向の変化を検出し、視線検出手
段の出力に基づいて特徴量抽出手段での作業頻度を制御
する。
【0025】
実施例1.図1はこの発明の一実施例を示す構成図であ
り、1〜3は上記従来装置と同一のものである。4は画
像データの特徴量を求める特徴量抽出手段、5は画像処
理手段3の処理の中から最も適した処理を選択する制御
手段、6は画像データの特徴量と制御手段5で選択され
る画像処理手段3との関係が予め記憶されている特徴量
記憶手段である。
り、1〜3は上記従来装置と同一のものである。4は画
像データの特徴量を求める特徴量抽出手段、5は画像処
理手段3の処理の中から最も適した処理を選択する制御
手段、6は画像データの特徴量と制御手段5で選択され
る画像処理手段3との関係が予め記憶されている特徴量
記憶手段である。
【0026】次に、この画像処理装置の概要について説
明する。この画像処理装置は、例えば、画像データの中
から特定の対象物(目標)を人間が介在することなく自
動的に検出する自動目標検出システムに用いられる。目
標は必ずしも輝度均一な背景にあるものではなく、ほと
んどの場合が複雑な背景に存在する。自然界を例にとる
と、山、海、空、雲、市街地などが背景として考えられ
る。画像処理装置はこのような背景の中から目標を検出
するため、コントラストフィルタやハイパスフィルタや
2値化などの画像処理手段3を用いて背景を抑圧する。
それぞれの背景は独自の特徴を持つので、同一の画像処
理手段3で対処するよりも、それぞれの背景に対し適し
た画像処理手段3で対処する方が抑圧効果が大きく、高
い検出能力を有することができる。本発明では画像処理
手段3の入力となる画像データから背景の特徴量を抽出
し、その特徴量をもとにその背景の抑圧に適した画像処
理手段3を選択する。
明する。この画像処理装置は、例えば、画像データの中
から特定の対象物(目標)を人間が介在することなく自
動的に検出する自動目標検出システムに用いられる。目
標は必ずしも輝度均一な背景にあるものではなく、ほと
んどの場合が複雑な背景に存在する。自然界を例にとる
と、山、海、空、雲、市街地などが背景として考えられ
る。画像処理装置はこのような背景の中から目標を検出
するため、コントラストフィルタやハイパスフィルタや
2値化などの画像処理手段3を用いて背景を抑圧する。
それぞれの背景は独自の特徴を持つので、同一の画像処
理手段3で対処するよりも、それぞれの背景に対し適し
た画像処理手段3で対処する方が抑圧効果が大きく、高
い検出能力を有することができる。本発明では画像処理
手段3の入力となる画像データから背景の特徴量を抽出
し、その特徴量をもとにその背景の抑圧に適した画像処
理手段3を選択する。
【0027】次に、画像処理装置の動作について説明す
る。まず、カメラなどの画像入力手段1により背景や検
出対象である目標などを撮像した2次元の画像データを
取得する。この画像データはここでは図示していないが
A/D変換器によってディジタル信号に変換されて、半
導体メモリなどの画像記憶手段2に記憶される。記憶さ
れた画像データは特徴量抽出手段4に送られるととも
に、画像処理手段3に送られる。特徴量抽出手段4で
は、画像データから背景の特徴量が計算され制御手段5
に送られる。特徴量としては、例えば、画像のテクスチ
ャ特徴量が求められる。テクスチャとは、ある要素が決
められた規則にしたがって配列されて構成される繰り返
しパターンのことである。森健一著「パターン認識」p
p159〜163や森俊二、坂倉栂子共著「画像認識の
基礎II」pp195〜200に示されるように、テク
スチャ特徴量として均一性、直線性、コントラスト、エ
ントロピー、相関などを表す幾つかのものがある。特徴
量の種類を多く設定すれば、曖昧さが減少し、背景の特
徴が明確になる。
る。まず、カメラなどの画像入力手段1により背景や検
出対象である目標などを撮像した2次元の画像データを
取得する。この画像データはここでは図示していないが
A/D変換器によってディジタル信号に変換されて、半
導体メモリなどの画像記憶手段2に記憶される。記憶さ
れた画像データは特徴量抽出手段4に送られるととも
に、画像処理手段3に送られる。特徴量抽出手段4で
は、画像データから背景の特徴量が計算され制御手段5
に送られる。特徴量としては、例えば、画像のテクスチ
ャ特徴量が求められる。テクスチャとは、ある要素が決
められた規則にしたがって配列されて構成される繰り返
しパターンのことである。森健一著「パターン認識」p
p159〜163や森俊二、坂倉栂子共著「画像認識の
基礎II」pp195〜200に示されるように、テク
スチャ特徴量として均一性、直線性、コントラスト、エ
ントロピー、相関などを表す幾つかのものがある。特徴
量の種類を多く設定すれば、曖昧さが減少し、背景の特
徴が明確になる。
【0028】ここでは、2つの特徴量を利用した場合を
例にとって説明する。特徴量記憶手段6には予めテクス
チャ特徴量と画像処理手段3の関係が収められている。
図2はテクスチャ特徴量と画像処理の関係を説明するグ
ラフであり、均一性とコントラストとを2次元特徴空間
に表したものである。制御手段5は、特徴量抽出手段4
によって得られた2つの特徴量を参照して、図2で示し
たような関係よりもっとも適した画像処理を選択する。
例えば、均一性が高くコントラストが低い空の場合、画
像処理手段3dが選択される。一方、空に比べて均一性
が低くコントラストが高い場合、画像処理手段3bが選
択される。画像処理手段3では、画像記憶手段2から送
られた画像データを制御手段5で選択された画像処理を
実施した後、出力される。
例にとって説明する。特徴量記憶手段6には予めテクス
チャ特徴量と画像処理手段3の関係が収められている。
図2はテクスチャ特徴量と画像処理の関係を説明するグ
ラフであり、均一性とコントラストとを2次元特徴空間
に表したものである。制御手段5は、特徴量抽出手段4
によって得られた2つの特徴量を参照して、図2で示し
たような関係よりもっとも適した画像処理を選択する。
例えば、均一性が高くコントラストが低い空の場合、画
像処理手段3dが選択される。一方、空に比べて均一性
が低くコントラストが高い場合、画像処理手段3bが選
択される。画像処理手段3では、画像記憶手段2から送
られた画像データを制御手段5で選択された画像処理を
実施した後、出力される。
【0029】このように画像処理の対象である画像デー
タ自身の特徴量をとらえ、これをもとにして画像処理を
自動的に選択するので、人間が介在しなくても常に適応
性のある画像処理が実施される。
タ自身の特徴量をとらえ、これをもとにして画像処理を
自動的に選択するので、人間が介在しなくても常に適応
性のある画像処理が実施される。
【0030】また、以上の説明では、制御手段5が画像
データの特徴量をもとに複数の画像処理手段3から最適
な画像処理を一つ選択したが、複数の画像処理手段3を
選択してその接続を制御し、画像処理に当らせても同様
の効果が得られることは言うまでもない。
データの特徴量をもとに複数の画像処理手段3から最適
な画像処理を一つ選択したが、複数の画像処理手段3を
選択してその接続を制御し、画像処理に当らせても同様
の効果が得られることは言うまでもない。
【0031】実施例2.図3はこの発明の他の実施例を
示す構成図であり、1〜6は上記実施例と同一のもので
あり、8は画像データから一つまたは複数の部分画像デ
ータを切り出す領域限定手段である。実施例1では、画
像データの全領域に対してテクスチャ特徴量抽出を行っ
ていたが、図4のように背景(海)の一部を切り出して
その部分画像データに対してのみテクスチャ解析を実施
しても背景全体の特徴量を知ることができる。この特徴
量をもとに画像データに適した画像処理手段3が制御手
段5により選択されて、画像データの全領域に対して画
像処理が行われる。このように画像データの一部分のみ
に対してテクスチャ特徴量を求める計算を行うので、演
算時間を短縮することができる。
示す構成図であり、1〜6は上記実施例と同一のもので
あり、8は画像データから一つまたは複数の部分画像デ
ータを切り出す領域限定手段である。実施例1では、画
像データの全領域に対してテクスチャ特徴量抽出を行っ
ていたが、図4のように背景(海)の一部を切り出して
その部分画像データに対してのみテクスチャ解析を実施
しても背景全体の特徴量を知ることができる。この特徴
量をもとに画像データに適した画像処理手段3が制御手
段5により選択されて、画像データの全領域に対して画
像処理が行われる。このように画像データの一部分のみ
に対してテクスチャ特徴量を求める計算を行うので、演
算時間を短縮することができる。
【0032】また、特徴量抽出手段4または画像処理手
段3の出力を領域限定手段8にフィードバックをかけ
て、その出力の情報から目標が存在しそうな場所に対し
て限定すべき領域の位置、大きさ、形状等を決定するこ
とにより目標の検出精度を向上することができる。
段3の出力を領域限定手段8にフィードバックをかけ
て、その出力の情報から目標が存在しそうな場所に対し
て限定すべき領域の位置、大きさ、形状等を決定するこ
とにより目標の検出精度を向上することができる。
【0033】実施例3.図5はこの発明の他の実施例を
示す構成図であり、1〜6,8は上記実施例と同一のも
のであり、実施例2では画像データの一部分に対して特
徴量抽出を行い、全領域に対して同一の画像処理手段3
を実施していた。この実施例では切り出した部分画像デ
ータに対してのみ特徴量抽出と画像処理を行なう。画像
入力手段1がここでは図示していないがジンバル等によ
り保持および指向されており、図6のように目標(船)
を画面中央にとらえるように追尾するシステムにおいて
は、目標を追尾している際には画面全領域について画像
処理を行なう必要はない。領域限定手段8により画像デ
ータの領域を限定して、その部分画像データのみについ
て画像処理を行えばよい。これによって、テクスチャ特
徴量抽出処理と画像処理の演算量が低減されるので、処
理速度を向上することができる。
示す構成図であり、1〜6,8は上記実施例と同一のも
のであり、実施例2では画像データの一部分に対して特
徴量抽出を行い、全領域に対して同一の画像処理手段3
を実施していた。この実施例では切り出した部分画像デ
ータに対してのみ特徴量抽出と画像処理を行なう。画像
入力手段1がここでは図示していないがジンバル等によ
り保持および指向されており、図6のように目標(船)
を画面中央にとらえるように追尾するシステムにおいて
は、目標を追尾している際には画面全領域について画像
処理を行なう必要はない。領域限定手段8により画像デ
ータの領域を限定して、その部分画像データのみについ
て画像処理を行えばよい。これによって、テクスチャ特
徴量抽出処理と画像処理の演算量が低減されるので、処
理速度を向上することができる。
【0034】実施例4.図7はこの発明の他の実施例を
示す構成図であり、1〜6は上記実施例と同一のもので
あり、9は画像データを複数の領域に分割する領域分割
手段である。実施例1では、画像データの全領域が同じ
種類の背景の場合を想定していたが、全領域が同じ背景
でない場合もあり得る。本実施例では図8のように、領
域分割手段9によって画像データは複数の領域に分割さ
れる。分割された画像データは特徴量抽出手段4に送ら
れ、各領域毎にテクスチャ特徴量が計算される。制御手
段5では各領域毎の特徴量をもとに画像処理手段3が選
択される。画像処理手段3では各領域毎にそれぞれ最適
な画像処理が実施される。このように同一画面内に異な
る特徴量の背景が存在する場合でも、それぞれの領域に
適した処理が行われる。
示す構成図であり、1〜6は上記実施例と同一のもので
あり、9は画像データを複数の領域に分割する領域分割
手段である。実施例1では、画像データの全領域が同じ
種類の背景の場合を想定していたが、全領域が同じ背景
でない場合もあり得る。本実施例では図8のように、領
域分割手段9によって画像データは複数の領域に分割さ
れる。分割された画像データは特徴量抽出手段4に送ら
れ、各領域毎にテクスチャ特徴量が計算される。制御手
段5では各領域毎の特徴量をもとに画像処理手段3が選
択される。画像処理手段3では各領域毎にそれぞれ最適
な画像処理が実施される。このように同一画面内に異な
る特徴量の背景が存在する場合でも、それぞれの領域に
適した処理が行われる。
【0035】なお、画像データを分割する際には、1つ
の領域に複数の種類の背景が存在するのではなく、各領
域が同一の背景になるように分割するのが望ましい。ま
た、特徴量抽出手段4または画像処理手段3の出力を領
域分割手段9にフィードバックをかけて、その出力情報
から分割すべき領域の大きさを決定することにより、各
領域に対してより適した画像処理手段3が選択される。
の領域に複数の種類の背景が存在するのではなく、各領
域が同一の背景になるように分割するのが望ましい。ま
た、特徴量抽出手段4または画像処理手段3の出力を領
域分割手段9にフィードバックをかけて、その出力情報
から分割すべき領域の大きさを決定することにより、各
領域に対してより適した画像処理手段3が選択される。
【0036】実施例5.図9はこの発明の他の実施例を
示す構成図であり、1〜6,8〜9は上記実施例と同一
のものである。実施例4では、分割された部分画像デー
タの全領域に対して特徴量抽出を実施していたが、部分
画像データの一部を切り出してテクスチャ解析を実施し
ても背景の特徴量を知ることができる。この特徴量をも
とに分割された領域の全域に対して画像処理が行われ
る。このように画像データの一部分のみに対してテクス
チャ特徴量を求める計算を行うので、演算時間を短縮す
ることができる。
示す構成図であり、1〜6,8〜9は上記実施例と同一
のものである。実施例4では、分割された部分画像デー
タの全領域に対して特徴量抽出を実施していたが、部分
画像データの一部を切り出してテクスチャ解析を実施し
ても背景の特徴量を知ることができる。この特徴量をも
とに分割された領域の全域に対して画像処理が行われ
る。このように画像データの一部分のみに対してテクス
チャ特徴量を求める計算を行うので、演算時間を短縮す
ることができる。
【0037】また、特徴量抽出手段4や画像処理手段3
の出力を領域限定手段8にフィードバックをかけて、そ
の出力の情報から目標が存在しそうな場所に対して限定
すべき領域の位置、大きさ、形状等を決定してもよい。
の出力を領域限定手段8にフィードバックをかけて、そ
の出力の情報から目標が存在しそうな場所に対して限定
すべき領域の位置、大きさ、形状等を決定してもよい。
【0038】実施例6.図10はこの発明の他の実施例
を示す構成図であり、1〜6,8〜9は上記実施例と同
一のものであり、10は画像データの画質劣化を補正す
る前処理手段である。画像入力手段1が移動したり振動
して、対象物と画像入力手段1との相対位置が変化する
と、像流れやボケが発生して画像データの画質が劣化す
る。そのような画像データをそのまま特徴量抽出処理を
行うと、同じ背景であっても画質劣化がない場合と異な
るテクスチャ特徴量が出力される。このために特徴量記
憶手段6に記憶されていない特徴量が抽出されるという
可能性がある。これを防ぐために、画像入力手段1によ
って得られた画像データの画質劣化を前処理手段10に
よって補正した後に、その画像データを特徴量抽出手段
4と画像処理手段3に送る。その後、上記実施例と同様
の動作が実施される。なお、画質劣化補正は周知であり
様々あるが、例えば、以下のように行われる。まず、あ
るパラメータで逆フィルタのような補正処理を試みて、
補正画像と劣化画像とから補正の効果を表す評価値を求
める。その値が許容範囲に収まっていれば処理を終了
し、外れている場合にはパラメータを変えて補正処理を
行ない、同様にして評価値を求める。評価値が収束する
ようにパラメータを変えて、補正処理を繰り返し、許容
範囲に収まったら処理を終了する。
を示す構成図であり、1〜6,8〜9は上記実施例と同
一のものであり、10は画像データの画質劣化を補正す
る前処理手段である。画像入力手段1が移動したり振動
して、対象物と画像入力手段1との相対位置が変化する
と、像流れやボケが発生して画像データの画質が劣化す
る。そのような画像データをそのまま特徴量抽出処理を
行うと、同じ背景であっても画質劣化がない場合と異な
るテクスチャ特徴量が出力される。このために特徴量記
憶手段6に記憶されていない特徴量が抽出されるという
可能性がある。これを防ぐために、画像入力手段1によ
って得られた画像データの画質劣化を前処理手段10に
よって補正した後に、その画像データを特徴量抽出手段
4と画像処理手段3に送る。その後、上記実施例と同様
の動作が実施される。なお、画質劣化補正は周知であり
様々あるが、例えば、以下のように行われる。まず、あ
るパラメータで逆フィルタのような補正処理を試みて、
補正画像と劣化画像とから補正の効果を表す評価値を求
める。その値が許容範囲に収まっていれば処理を終了
し、外れている場合にはパラメータを変えて補正処理を
行ない、同様にして評価値を求める。評価値が収束する
ようにパラメータを変えて、補正処理を繰り返し、許容
範囲に収まったら処理を終了する。
【0039】実施例7.図11はこの発明の他の実施例
を示す構成図であり、1〜6,8〜10は上記実施例と
同一のものであり、11は画像入力手段1の視線方向の
変化を検出するジャイロや重力センサなどの視線検出手
段である。実施例6では、劣化画像から劣化関数を推定
しているため、補正画像を求めるために大規模な計算が
必要となる。劣化の原因である物理現象から劣化関数を
求めることにより、小規模な計算での劣化関数の推定が
可能であることが知られている。像流れやボケなどによ
る画像劣化の原因は、上記のように移動や振動による対
象物と画像入力手段1との相対位置の変化である。視線
検出手段11が検出した対象物と画像入力手段1との相
対位置の変化を入力として、前処理手段10が劣化関数
を推定して、劣化画像を補正する。また、画像劣化のな
いときには前処理手段10が動作する必要はないので、
視線検出手段11により視線方向が変化したとわかった
ときのみ前処理手段10が動作するようにすれば、前処
理手段10の演算回数が減少できるので、処理時間が短
縮される。
を示す構成図であり、1〜6,8〜10は上記実施例と
同一のものであり、11は画像入力手段1の視線方向の
変化を検出するジャイロや重力センサなどの視線検出手
段である。実施例6では、劣化画像から劣化関数を推定
しているため、補正画像を求めるために大規模な計算が
必要となる。劣化の原因である物理現象から劣化関数を
求めることにより、小規模な計算での劣化関数の推定が
可能であることが知られている。像流れやボケなどによ
る画像劣化の原因は、上記のように移動や振動による対
象物と画像入力手段1との相対位置の変化である。視線
検出手段11が検出した対象物と画像入力手段1との相
対位置の変化を入力として、前処理手段10が劣化関数
を推定して、劣化画像を補正する。また、画像劣化のな
いときには前処理手段10が動作する必要はないので、
視線検出手段11により視線方向が変化したとわかった
ときのみ前処理手段10が動作するようにすれば、前処
理手段10の演算回数が減少できるので、処理時間が短
縮される。
【0040】実施例8.図12はこの発明の他の実施例
を示す構成図であり、1〜6,8,10は上記実施例と
同一のものである。画像記憶手段2から送られてくる画
像データ毎に特徴量抽出が行われる必要はない。画像入
力手段1の視野に収まっている背景が変化したときに特
徴量抽出を実施すればよい。背景が変化する場合の多く
は画像入力手段1の視線方向が変化して見ている視野が
移動したときである。視線検出手段11により視線方向
の変化を検出して、視線方向の移動に応じて特徴量抽出
手段の演算頻度を制御する。視線が固定されているとき
には低頻度で特徴量を抽出し、視線が動いているときに
は抽出頻度を高くする。このように、特徴量抽出処理の
回数を低減して、処理時間を短縮する。
を示す構成図であり、1〜6,8,10は上記実施例と
同一のものである。画像記憶手段2から送られてくる画
像データ毎に特徴量抽出が行われる必要はない。画像入
力手段1の視野に収まっている背景が変化したときに特
徴量抽出を実施すればよい。背景が変化する場合の多く
は画像入力手段1の視線方向が変化して見ている視野が
移動したときである。視線検出手段11により視線方向
の変化を検出して、視線方向の移動に応じて特徴量抽出
手段の演算頻度を制御する。視線が固定されているとき
には低頻度で特徴量を抽出し、視線が動いているときに
は抽出頻度を高くする。このように、特徴量抽出処理の
回数を低減して、処理時間を短縮する。
【0041】以上の説明では、画像データの特徴量をテ
キスチャ特徴量として説明したが、濃度の平均、分散な
どの統計量や空間的スペクトル特性など他の特徴量を用
いても同様の効果が得られることは言うまでもない。
キスチャ特徴量として説明したが、濃度の平均、分散な
どの統計量や空間的スペクトル特性など他の特徴量を用
いても同様の効果が得られることは言うまでもない。
【0042】
【発明の効果】以上のように、請求項1の発明によれ
ば、画像処理の対象である画像データ自身の特徴量をと
らえ、これに基づいて画像処理を自動的に選択できるの
で、人間等が介在しなくても常に適応性のある画像処理
が実施されるという効果を奏する。
ば、画像処理の対象である画像データ自身の特徴量をと
らえ、これに基づいて画像処理を自動的に選択できるの
で、人間等が介在しなくても常に適応性のある画像処理
が実施されるという効果を奏する。
【0043】請求項2の発明によれば、画像データの指
定領域に対応する部分画像データに対して特徴量を求め
るので、演算時間を短縮することができるという効果を
奏する。
定領域に対応する部分画像データに対して特徴量を求め
るので、演算時間を短縮することができるという効果を
奏する。
【0044】請求項3の発明によれば、各領域毎の特徴
量をもとに、各領域毎にそれぞれ最適な画像処理が選択
されるので、同一画面内に異なる特徴量の背景が存在す
るような場合でも、それぞれの領域に適した処理が行わ
れるという効果を奏する。
量をもとに、各領域毎にそれぞれ最適な画像処理が選択
されるので、同一画面内に異なる特徴量の背景が存在す
るような場合でも、それぞれの領域に適した処理が行わ
れるという効果を奏する。
【0045】請求項4の発明によれば、特徴量を抽出す
る領域および画像処理を施す領域を限定することによ
り、限定した領域に適した画像処理を選択できるととも
に、処理速度を向上できるという効果を奏する。
る領域および画像処理を施す領域を限定することによ
り、限定した領域に適した画像処理を選択できるととも
に、処理速度を向上できるという効果を奏する。
【0046】請求項5の発明によれば、特徴量抽出手段
または画像処理手段の出力に基づいて指定領域を決定す
るので、目標が存在しそうな場所に対して限定すべき領
域の位置、大きさ、形状等を決定することにより目標の
検出精度を向上することができるという効果を奏する。
または画像処理手段の出力に基づいて指定領域を決定す
るので、目標が存在しそうな場所に対して限定すべき領
域の位置、大きさ、形状等を決定することにより目標の
検出精度を向上することができるという効果を奏する。
【0047】請求項6の発明によれば、特徴量抽出手段
または画像処理手段の出力に基づいて領域分割手段で分
割すべき領域の大きさを決定することにより、各領域に
対してより適した画像処理手段が選択されるという効果
を奏する。
または画像処理手段の出力に基づいて領域分割手段で分
割すべき領域の大きさを決定することにより、各領域に
対してより適した画像処理手段が選択されるという効果
を奏する。
【0048】請求項7の発明によれば、特徴量抽出手段
より前段に前処理手段を設けて、画像入力手段で得られ
た画像データの画質劣化を補正するので、特徴量抽出の
誤りが低減され、目標検出精度が向上するという効果を
奏する。
より前段に前処理手段を設けて、画像入力手段で得られ
た画像データの画質劣化を補正するので、特徴量抽出の
誤りが低減され、目標検出精度が向上するという効果を
奏する。
【0049】請求項8の発明によれば、視線検出手段に
よる視線方向の変化の検出結果に基づき前処理手段の処
理方法および頻度を制御するので、前処理手段の演算回
数を減少でき、処理時間を短縮できるという効果を奏す
る。
よる視線方向の変化の検出結果に基づき前処理手段の処
理方法および頻度を制御するので、前処理手段の演算回
数を減少でき、処理時間を短縮できるという効果を奏す
る。
【0050】請求項9の発明によれば、視線検出手段に
よる視線方向の変化の検出結果に基づき特徴量抽出手段
での作業頻度を制御するので、特徴量抽出手段での特徴
量抽出回数を減少でき、処理時間を短縮できるという効
果を奏する。
よる視線方向の変化の検出結果に基づき特徴量抽出手段
での作業頻度を制御するので、特徴量抽出手段での特徴
量抽出回数を減少でき、処理時間を短縮できるという効
果を奏する。
【図1】この発明の実施例1を示す画像処理装置の構成
図である。
図である。
【図2】この発明の実施例1の特徴量記憶手段の内容を
説明する説明図である。
説明する説明図である。
【図3】この発明の実施例2を示す画像処理装置の構成
図である。
図である。
【図4】この発明の実施例2の領域限定手段の動作を説
明する説明図である。
明する説明図である。
【図5】この発明の実施例3を示す画像処理装置の構成
図である。
図である。
【図6】この発明の実施例3の領域限定手段の動作を説
明する説明図である。
明する説明図である。
【図7】この発明の実施例4を示す画像処理装置の構成
図である。
図である。
【図8】この発明の実施例4の領域限定手段の動作を説
明する説明図である。
明する説明図である。
【図9】この発明の実施例5を示す画像処理装置の構成
図である。
図である。
【図10】この発明の実施例6を示す画像処理装置の構
成図である。
成図である。
【図11】この発明の実施例7を示す画像処理装置の構
成図である。
成図である。
【図12】この発明の実施例8を示す画像処理装置の構
成図である。
成図である。
【図13】従来の画像処理装置の構成図である。
1 画像入力手段 2 画像記憶手段 3 画像処理手段 4 特徴量抽出手段 5 制御手段 6 特徴量記憶手段 8 領域限定手段 9 領域分割手段 10 前処理手段 11 視線検出手段
Claims (9)
- 【請求項1】 画像入力手段で得られた画像データに対
して異なる処理を行なう複数の画像処理手段と、上記画
像データの特徴量を求める特徴量抽出手段と、上記特徴
量に基づいて上記複数の画像処理手段の中から一つまた
は複数を選択して画像処理に当らせる制御手段とを備え
たことを特徴とする画像処理装置。 - 【請求項2】 画像入力手段で得られた画像データに対
して異なる処理を行なう複数の画像処理手段と、上記画
像データから一つまたは複数の画像内の指定領域に対応
する部分画像データを選出する領域限定手段と、上記部
分画像データの特徴量を求める特徴量抽出手段と、上記
特徴量に基づいて上記複数の画像処理手段の中から一つ
または複数を選択して画像処理に当たらせる制御手段と
を備えたことを特徴とする画像処理装置。 - 【請求項3】 画像入力手段で得られた画像データに対
して異なる処理を行なう複数の画像処理手段と、上記画
像データを各領域が一つの画像データの特徴量を持つよ
うな複数の領域に対応する画像データに分割する領域分
割手段と、上記領域毎に対応する画像データの特徴量を
求める特徴量抽出手段と、上記特徴量に基づいて上記領
域の各々に対して上記複数の画像処理手段の中から一つ
または複数を選択して画像処理に当らせる制御手段とを
備えたことを特徴とする画像処理装置。 - 【請求項4】 画像入力手段で得られた画像データに対
して異なる処理を行なう複数の画像処理手段と、上記画
像データを各領域が一つの画像データの特徴量を持つよ
うな複数の領域に対応する画像データに分割する領域分
割手段と、上記分割された画像データから一つまたは複
数の画像内の指定領域に対応する部分画像データを選出
する領域限定手段と、上記部分画像データの特徴量を求
める特徴量抽出手段と、上記特徴量に基づいて上記複数
の画像処理手段の中から一つまたは複数を選択して画像
処理に当らせる制御手段とを備えたことを特徴とする画
像処理装置。 - 【請求項5】 特徴量抽出手段または画像処理手段の出
力に基づいて、領域限定手段で部分画像データを選出す
る指定領域を決定することを特徴とする請求項2または
請求項4記載の画像処理装置。 - 【請求項6】 特徴量抽出手段または画像処理手段の出
力に基づいて、領域分割手段で各領域が一つの画像デー
タの特徴量を持つような適切な大きさの複数の領域に対
応する画像データに分割することを特徴とする請求項3
または請求項4記載の画像処理装置。 - 【請求項7】 画像入力手段で得られた画像データの画
質劣化を補正する前処理手段を備えたことを特徴とする
請求項1〜6のいずれか1項に記載の画像処理装置。 - 【請求項8】 画像入力手段の視線方向の変化を検出す
る視線検出手段を備え、視線検出手段の出力に基づいて
前処理手段での処理方法および頻度を制御することを特
徴とする請求項7に記載の画像処理装置。 - 【請求項9】 画像入力手段の視線方向の変化を検出す
る視線検出手段を備え、視線検出手段の出力に基づいて
特徴量抽出手段での作業頻度を制御することを特徴とす
る請求項1〜8のいずれか1項に記載の画像処理装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP5335198A JP3047952B2 (ja) | 1993-12-28 | 1993-12-28 | 画像処理装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP5335198A JP3047952B2 (ja) | 1993-12-28 | 1993-12-28 | 画像処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH07200824A true JPH07200824A (ja) | 1995-08-04 |
| JP3047952B2 JP3047952B2 (ja) | 2000-06-05 |
Family
ID=18285860
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP5335198A Expired - Fee Related JP3047952B2 (ja) | 1993-12-28 | 1993-12-28 | 画像処理装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3047952B2 (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7209163B1 (en) | 1999-06-03 | 2007-04-24 | Fujifilm Corporation | Image processing apparatus, image output apparatus, and camera |
| JP2009103498A (ja) * | 2007-10-22 | 2009-05-14 | Denso Corp | 外観検査方法 |
| US10121089B2 (en) | 2012-09-24 | 2018-11-06 | Nec Corporation | Object information extraction apparatus, object information extraction program, and object information extraction method |
-
1993
- 1993-12-28 JP JP5335198A patent/JP3047952B2/ja not_active Expired - Fee Related
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7209163B1 (en) | 1999-06-03 | 2007-04-24 | Fujifilm Corporation | Image processing apparatus, image output apparatus, and camera |
| JP2009103498A (ja) * | 2007-10-22 | 2009-05-14 | Denso Corp | 外観検査方法 |
| US10121089B2 (en) | 2012-09-24 | 2018-11-06 | Nec Corporation | Object information extraction apparatus, object information extraction program, and object information extraction method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3047952B2 (ja) | 2000-06-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106296578B (zh) | 一种图像处理方法及装置 | |
| US5081689A (en) | Apparatus and method for extracting edges and lines | |
| US10366504B2 (en) | Image processing apparatus and image processing method for performing three-dimensional reconstruction of plurality of images | |
| EP3979203B1 (en) | Depth map processing method and apparatus, electronic device and readable storage medium | |
| US20020196252A1 (en) | Method and apparatus for rendering three-dimensional images with tile-based visibility preprocessing | |
| JP2003098424A (ja) | 画像処理測距装置 | |
| KR20130072073A (ko) | 영상 윤곽선 추출 장치 및 방법 | |
| CN114265035B (zh) | 激光雷达数据的处理方法及系统 | |
| US11457158B2 (en) | Location estimation device, location estimation method, and program recording medium | |
| JP3193240B2 (ja) | 画像処理装置 | |
| CN111630569B (zh) | 双目匹配的方法、视觉成像装置及具有存储功能的装置 | |
| US6157732A (en) | Image processing system and method using subsampling with constraints such as time and uncertainty constraints | |
| US5050229A (en) | Method and apparatus for thinning alphanumeric characters for optical character recognition | |
| KR101799143B1 (ko) | 타깃 사이즈를 추정하기 위한 시스템 및 방법 | |
| JPH1144533A (ja) | 先行車両検出装置 | |
| US6650362B1 (en) | Movement detecting apparatus with feature point extractor based on luminance gradient in current frame | |
| JP2014099087A (ja) | 特徴点検出装置およびプログラム | |
| JPH07200824A (ja) | 画像処理装置 | |
| JP2000194861A (ja) | 画像認識方法及び装置 | |
| JPH11248446A (ja) | ステレオ画像処理装置 | |
| CN116309287B (zh) | 图像检测方法和图像检测装置 | |
| KR100576942B1 (ko) | 방향 필터링을 이용한 스테레오 영상의 정합 시스템 및 그방법 | |
| JP2019192048A (ja) | 撮像装置 | |
| JP2000182056A (ja) | 画像処理装置 | |
| JP2003346165A (ja) | ワーク境界の検出方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| LAPS | Cancellation because of no payment of annual fees |