JPH09282461A - カラー画像の重要な構成要素の分割選別方法及びシステム - Google Patents

Abstract

(57)【要約】 【課題】 この発明は、カラー画像を所定数に分割し、
その重要度を選択的に決定し、重要度別に選別すること
を目的としたものである。 【課題解決する為の手段】 カラー画像を所定数に分割
し、各分割部毎にその重要度を選択的に決定し、選別す
ることを特徴としたカラー画像の重要な構成要素の分割
選別方法。カラー画像からのノイズ除去及び縮小化のメ
ディアン・フィルタをかけて前処理を行った後、色彩情
報から大まかに領域抽出を行うクラスタリングによる領
域抽出処理と、位置情報を加味して微小領域の併合処理
を行う。ついで各領域における特徴量の算出に基づき、
ファジィ推論により各領域内の物体の重要度を決定する
処理を行った後、各領域毎の重要度に応じて選別するこ
とを特徴としたカラー画像の重要な構成要素の分割選別
システム。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明はカラー画像を所定
数に分割し、その重要度を選択的に決定し、選別するこ
とを目的としたカラー画像の重要な構成要素の分割選別
方法及びシステムに関するものである。

【０００２】

【従来の技術】従来カラー画像の選別圧縮・蓄積・伝送
は、各領域共に、平等に行われていた。一方人間の眼
は、カラー画像の中でより目立つ物体をより強く認識し
ているので、同一カラー画像内における領域別認識度は
表現された実像と異なるのが普通であった。

【０００３】

【発明により解決すべき課題】前記従来の技術によれ
ば、重要領域と重要でない領域とを同一に選別するの
で、再生において重要な部分と重要でない部分が共に同
等に取扱われる問題点があった。

【０００４】従って伝送されるカラー画像の各部は均一
に復原され、目視状態と異なる画像が表現されていた。

【０００５】

【課題を解決するための手段】然るにこの発明は、カラ
ー画像を所定数に分割し、各分割部毎にその重要度を選
択的に決定し、選別することを特徴としたカラー画像の
重要な構成要素の分割選別方法であり、重要度を決定す
るには、原画像に縮小化やフィルタリングを施し、色情
報を用いて過剰に分割し、原画像上で色々な隣接関係か
ら領域を統合して領域分割し、該領域の特徴量を画像か
ら算出し、これをもとにしてファジィ推論により各領域
の重要度を決定することを特徴としたものである。また
システムの発明は、カラー画像を過剰分割する為の前処
理を行い、ついで領域抽出処理した後、各領域の特徴量
の算出をもとにしてファジィ推論により各領域内の物体
の重要度を決定することを特徴としたカラー画像の重要
な構成要素の分割選別システムである。次に、カラー画
像からのノイズ除去及び縮小化のメディアン・フィルタ
をかけて前処理を行った後、色彩情報から大まかに領域
抽出を行うクラスタリングによる領域抽出処理と、位置
情報を加味して微小領域の併合処理を行う。ついで各領
域における特徴量の算出に基づき、ファジィ推論により
各領域内の物体の重要度を決定する処理を行った後、各
領域毎の重要度に応じて選別することを特徴としたカラ
ー画像の重要な構成要素の分割選別システムであり、ク
ラスタリングによる領域抽出処理を行うには、色情報を
用いて原画像を過剰に分割し、前記原画像上で、色々な
隣接関係から領域を統合して領域分割結果とし、前記領
域における重要な物体と決定付ける要素となる領域の特
徴量を原画像から算出して行うことを特徴としたもので
ある。

【０００６】前記におけるカラー画像の分割方法をまと
めると、原画像からノイズ除去や縮小化を行って、処理
が行い易いように前処理を施した後、色彩情報から大ま
かに領域抽出を行い、位置情報を加味して微小領域の併
合処理を行う。ここで抽出された領域に対して人間の視
覚情報、すなわち人間が注目するための特徴量を計算
し、ファジィ推論により物体の重要度を決定するという
手法を採っている。

【０００７】このような手順を踏むことで、必要な計算
を軽減できるだけでなく、各領域の特徴が平均化される
ため、全体的な特徴を捉えやすくなり、重要度の判別困
難な物体の重要度を決定することが容易となる。

【０００８】また、物体の重要度決定は個人の主観に依
存し困難なものであるが、重要度決定を容易にするため
に、実験でのサンプルから学習によりファジィルールを
求め、ファジィ推論を行うことで、人間の個人差に起因
する処理の複雑を解消している。

【０００９】この発明においては、物体を「幾つかの領
域の集合」として捉える。何故なら、物体をひとまとめ
に捉えるには、現在の技術水準では、認識の分野で行な
われているような、物体についての意味的知識が必要で
ある。この発明では、そのような知識を介さないような
人間が客観的に感じるような知識のみを取り扱う。

【００１０】この発明において、重要な物体を定義付
け、領域の常用度を自動的に決定するために、まず、原
画像を何らかの意味、特徴を持つ部分にわけることが必
要である。

【００１１】この段階では、まず、原画像から縮小化
し、フィルタリングによりノイズ除去を行い、色空間上
でクラスタリングで過剰に領域抽出を行った後、原画像
上の領域の色や隣接関係を考慮して、前記過剰分割され
た領域をまとめる処理を行う。

【００１２】

【発明の実施形態】この発明は、カラー画像を所定数に
分割し、各分割部毎にその重要度を選択的に決定して、
カラー画像の重要な構成要素を分割選別する方法であ
る。

【００１３】また前記カラー画像を前処理し、クラスタ
リングと、微小領域を併合処理し、特徴に応じて算出
し、ついでファジィ推論により各領域内の物体の重要度
を決定する処理を行い、これを重要度別に選別するカラ
ー画像の重要な構成要素の分割選別システムである。

【００１４】

【実施例１】次に、先の領域抽出や重要度を決定にする
ために、次のような前処理を行う。原画像のノイズ除去
や、テクスチャの平均化などを行うためメディアン・フ
ィルタをかけ、更に、縮小化を行う。ここで、原画像の
特徴量を赤（Ｒｅｄ）、緑（Ｇｒｅｅｎ）、青（Ｂｌｕ
ｅ）の３刺激値による加法混色（以下ＲＧＢ表色系とい
う）から、大局的均等表色系に属するアダムス（Ａｄｍ
ａｓ）表色系の改良型（以下CIELab表色系という）に変
換する。今後の処理はこのCIELab表色系を用いて行う。
また、最終的に結果をカラー静止画像圧縮技術（Joint
Photigraphic Experts Group以下ＪＰＥＧという）の圧
縮を用いるため、画像中の物体の外形がわかる範囲で縮
小化をとどめておく必要があり、過度の縮小化は避けな
ければならない。

【００１５】縮小化の処理は、次のようにして行う。 １．縮小後の画素と、ＪＰＥＧの量子化単位（８×８画
素のブロック）との整合をとるため、２×２画素ないし
４×４画素を縮小単位として、この単位が縮小後の画素
に相当する。全体の大きさの１／Ｔに縮小する場合、以
下のようになる。 ２．各縮小単位内の画素について、Ｌ，ａ，ｂの各要素
の値の平均値を出力とする。

【００１６】

【数１】

【００１７】フィルタ処理は、次のような手順で行う。
大きさを縦横それぞれ半分にして、メディアンフィルタ
を３度かけた場合、図１のようになる。

【００１８】１．３×３画素を１組として、この組を１
単位として処理を行う。 ２．原画像に対し、１単位内の９個の画素について、
Ｌ，ａ，ｂの各要素の値のメディアン（中央値）をと
り、その出力Ｐ（i ，j ）とする。

【００１９】

【数２】

【００２０】以上のメディアンフィルタ、縮小化の処理
を組み合わせることで、ノイズ除去やテクスチャの平滑
化、計算量の軽減を同時に行うことができる。

【００２１】次に、前記で述べた前処理を行った後、領
域抽出を行い、画像を大まかな色領域に分ける。ここで
用いる特徴量として、CIEL，a ，b 表色系を利用して、
この表色系の座標空間内でクラスタリングを行う。この
段階では、縮小化された画像に対して処理を行うので、
抽出される領域は原画像に対して厳密に一致したもので
はない。

【００２２】ここでの領域抽出は、ピーク−クライミン
グ（Peak−Climbing）クラスタリングアルゴリズムを応
用した手法で行う。なぜなら、もしピーク−クライミン
グのみを行った場合でも、ヒストグラムをとる母集団
（セル）の大きさによって求められるクラスタの状態が
変わってくるので、どの大きさにすれば最適な領域が抽
出できるかというクラスタ評価問題が付加されるからで
ある。また、抽出された領域の数が多すぎると後の処理
を複雑にすることになり、逆に、領域の数が少な過ぎて
も物体の様子が分からなくなるので、幾つのクラスタ数
にするかが問題となり、これらのことを考慮する必要が
ある。

【００２３】

【実施例２】次に、クラスタリングの処理手順を以下に
示す。

【００２４】１．色情報（CIEL，a ，b ）表色系を用い
て領域抽出の処理を施す。ここでは、クラスタ数ｃが、
およそ２０個を越えるくらいを目安に分割を行なってい
る。 （ａ）CIEL，a ，b 空間上でヒストグラムをとるため、
CIEL，a ，b 空間を一辺Ｄの立方体（セル）に分割し、
Ｄに適当な値を代入し、初期化する。 （ｂ）セルのサイズＤに対して、（CIEL，a ，b ）空間
上でピーク−クライミングを行う。 （ｃ）クラスタ数がｃを越えるまで、セルのサイズＤの
値を一定値ずつ減らしていき、１ｂを繰り返す。 （ｄ）クラスタ数がｃを越えたところで、処理を終了
し、ｍ個のクラスタregion_i （i ＝１，２，・・・，
ｍ）が得られ、領域抽出される。

【００２５】２．CIEL，a ，b 空間上でクラスタリング
により抽出された領域を、原画像上に逆写像したもの
を、最瀕値フィルタをかけて平滑化し、領域内の画素数
が平滑化処理する前の半分以下になった領域を、無意味
な領域として除去し、隣接する領域に含める。最瀕値フ
ィルタは、画素Ｐ（ｉ，ｊ）について、周囲８画素を含
めた９画素に対して最も出現頻度の高い画素の値と置き
換える処理である。

【００２６】３．最瀕値フィルタ処理後の画像中で、領
域抽出された色領域に対して、色空間ではなく、画像上
の位置情報を加味してラベル付けを行う。

【００２７】ラベル付けの手順は次のようになる。 （ａ）各画素に対し、そのＬ，ａ，ｂ値が領域region_m
に属すならば、１を割り当てる。

【００２８】

【数３】

【００２９】（ｂ）binaryに対して、ラベル付け処理を
行なう （ここで、（i ，j ）＝（0 ，0 ）とする。） ・binary（i ，j ）＝（0 ，0 ）（背景画素）ならば、
ラベルは付けない。 ラベル（i ，j ）＝0 ・binary（i ，j ）＝1 （図形画素）ならば、ラベ
ルを付ける。 −ラベル（i −1 ，j ）＝0 、かつラベル（i ，j −1
）＝0 ならば、新しいラベルnew を付ける。 ラベル（i ，j ）＝new −ラベル（i −1 ，j ）＝ラベル（i ，j −1 ）（≠0
）ならば、両画素と同じラベルを付ける。 ラベル（i ，j ）＝ラベル（i −1 ，j ） −ラベル（i −1 ，j ）（≠0 ）、かつラベル（i ，j
−1 ）＝0 ならば、上の画素と同じラベルを付ける。 ラベル（i ，j ）＝ラベル（i −1 ，j ） −ラベル（i ，j −1 ）（≠0 ）、かつラベル（i −1
，j ）＝0 ならば、左の画素と同じラベルを付ける。 ラベル（i ，j ）＝ラベル（i ，j −1 ） −ラベル（i −1 ，j ）〉ラベル（i ，j −1 ）（≠0
）ならば、上の画素と同じラベルを付ける。 ラベル（i ，j ）＝ラベル（i −1 ，j ） また、ラベルラベル（i ，j −1 ）をすべてラベル（i
−1 ，j ）に直す。◎・（i ，j ）を１つずらして、戻
る。

【００３０】４．ラベル付けされた画像から、最瀕値フ
ィルタ（図３）をかけて、さらに微小な領域を取り除
く。ここではラベルの値に対して処理を行なっている。

【００３１】５．領域の隣接関係と色の値Ｌ，ａ，ｂ
や、領域同士の色の差を考慮して、ファジィ推論を用い
て領域の併合を行う。

【００３２】（ａ）領域ラベル_m 内の各画素のＬ，ａ，
ｂと画素数エリアから色の平均値をとり、ラベル領域ラ
ベル_m の代表色を求める。

【００３３】

【数４】

【００３４】（ｂ）明度成分が含まれると、シャドウや
シェーディングの影響により過剰な領域に分かれる問題
点を考慮し、領域全体のa ，b 色度の色相（metric−ch
roma）値の平均を求める。

【００３５】（ｃ）ある領域region_m に対し、その領域
以外の隣接する領域の境界部分の画素region_n （m ≠n
）のCIEL，ａ，ｂ空間における代表色（色の平均値）
と色差を求める。

【００３６】

【数５】

【００３７】（ｄ）領域同士の隣接関係から各領域ラベ
ル_m について、簡略化ファジィ推論を行い、他の領域に
対する適合度を算出し、適合度の高い領域に併合する。
処理手順としては以下の様になる。 注目領域に隣接する領域を全て見付ける。 各隣接領域に対し、前記の３つ色差を求める。 その値を入力としてファジィ推論を行い、各隣接領域
との併合の適合度を求める。 併合の適合度が最も大きなものを探し、その値がある
値（0.3 から0.5 ）以上であればその領域を注目領域に
併合する。 小さい順番で次の領域に対して処理が終わったら、領
域の大きさの順番を更新して１から５を実行する。これ
を併合の度合が閾値以上の領域の組がなくなるまで繰り
返す。

【００３８】次に、領域抽出により分割された領域か
ら、視覚的に重要な物体に対応する領域（以降、重要な
領域と呼ぶ）の重要度を決定するという処理を行なう。
まだこの段階では、画像は、ただラベル付けされただけ
であり、領域の重要度決定の処理などに用いるには、領
域に何らかの「意味」を持たせなければならないので、
画像中の領域の特徴を調べることが必要である。

【００３９】視覚的に重要であるか否かという判断をコ
ンピュータ上で行なうには、人間の主観や個人差に大き
く影響されるため、簡単に決定できるものでなく、困難
を伴う。そこで、人間の漠然ともつ知識を表現でき、人
間に近い判断処理が可能な、ファジィ推論により重要度
を決定する。

【００４０】重要度の決定には、次のような段階の処理
を踏む。 １．画像中の領域の特徴量を算出する。 ２．求められた領域の特徴量をもとに、実験から教師デ
ータを得る。 ３．教師データをもとに、ファジィルールの学習によっ
てファジィルールを得る。 ４．獲得されたファジィルールによりファジィ推論を行
ない、重要度を決定する。

【００４１】

【実施例３】以下に、各段階の処理について説明する。

【００４２】まず、画像の領域の特徴を調べる。ただ
し、ここでいう特徴は、重要度を決定する処理に用いる
ために、定量的に算出可能な特徴量でなければならな
い。

【００４３】視覚的に重要な物体を特徴付ける要素とし
て、 １．人間が注目しやすい「目立つ」ものである。 ２．その物体が個人的に特別な意味、興味を持つもので
ある。 ということが大きな要素であると思われる。

【００４４】ここで、後者の場合には、画像中の物体の
内容について理解しているという前提がある。しかし、
意味的な内容理解については、認識の分野の範疇にあ
り、そのような分野の研究が色々行なわれており、その
分野の研究の成果を採用する。

【００４５】この発明では、内容についての意味的知識
は用いずに、人間が自然と行なっている、物を見るとき
に、ふとある物体に注目するという、無意識的な知覚処
理に近づけるというコンセプトに基づいて領域の重要度
を決定する。

【００４６】画像中の領域の特徴量の中には、個々の領
域が独自にもつものと、周囲の領域の特徴如何によっ
て、その領域が重要であるか否か依存するものが存在す
る。

【００４７】画像処理については、幾つか特徴量が挙げ
られているが、この発明で用いた特徴量は、以下のよう
なものである。

【００４８】大きさ（面積） 大きさは、画像の大きさに対するその領域に属するが、
その画素数のが無視できなくなることがあるからであ
る。

【００４９】

【数６】

【００５０】画像中の位置 画像の中心付近に位置する領域は注目されやすい。そこ
で、領域の重心と画像の中心との距離を調べる。

【００５１】領域の重心（iregion _r ，jregion _r ）は
次のようになる。

【００５２】

【数７】

【００５３】この重心の座標から、位置は次に求められ
る。

【００５４】

【数８】

【００５５】ここで、（icenter ，jcenter ）は、画像
の中心の座標である。

【００５６】まとまり具合 形状のもとまり具合は、次のように定義される。

【００５７】

【数９】

【００５８】ここで、バウンダリー（boundary）は周囲
長を表し、領域の境界上の画素数に対応する。また、エ
リア（area）は領域内の画素数を表す。

【００５９】この値は、形状が単純であるかどうかを示
す値であり、最も単純な円のときに１となり、円からか
けはなれた形（複雑）になるほど値は小さくなる。

【００６０】画像中で“形”として浮かび上がる意味の
ある領域は、まとまりの良い領域となる。

【００６１】画像の端への隣接度合

【数１０】

【００６２】重心の位置が中心付近に存在すると、人間
にとって知覚されやすいこととは逆に、画像の端に隣接
している度合が大きいと、背景領域である傾向が強い。

【００６３】領域の色Ｌ，ａ，ｂ Ｌ，ａ，ｂ各要素について領域内の全画素の算術平均値
により、個々の領域がもつ“代表色”を表現する。

【００６４】色の目立ち具合 他の領域の全体の色の特徴と比較して、その領域の色の
差が大きいものは、色相に関して目立つ（ポップアウト
する）。また、近接の要因から、離れた領域より近接領
域の色差の方が注目されやすいことがいえる。

【００６５】

【数１１】

【００６６】ここでdistance_ikは、

【数１２】

【００６７】として求められる。

【００６８】以上のような特徴量から、例えば、 ・中央付近にある、 ・小さい、 ・まとまった、 ・赤く、 ・全体の緑色に対してポップアウトする 部分（領域） といった具合に、人間が漠然ともつ知識により画像中の
領域の特徴を捉えられるようになる。

【００６９】この発明では、領域の重要度の決定は、フ
ァジィ推論を用いて行なうことにより強靭性を得るが、
求められた特徴量と重要度と、どのように対応付けるか
という問題が生じる。すなわち、人間がものを見るとき
に、何に着目するか、何を重要と思うかという根拠が必
要である。

【００７０】ファジィ推論は、各領域の特徴量を入力と
して、領域の重要度を出力とする入出力関係で表され
る。

【００７１】ここで、ファジィ推論を行うための根拠
（ファジィ推論ルール）によって、推論結果が左右され
る。この種の目的のための推論ルールは、人間の経験則
や主観によって決定されることが多く、人間の手によっ
て客観的に決定することが困難である。

【００７２】そこで、実際に人間の実験により得られた
教師データにより、学習を行い、ファジィ推論ルールを
自動的に決定し、ルールの設定に際しての困難を解消す
る。このような手法により、所望する目標により近い値
が得られる。

【００７３】この発明で用いる教師データは、人間によ
る実験によって得るが、実際の実験は、原画像と領域抽
出された画像の２枚の画像を被験者に見せ、領域抽出さ
れた画像中の各領域に対して、その領域が重要であるか
どうかを選んでもらい、被験者人数で平均することによ
り、０から１の値で正規化し、教師データとなる領域の
重要度を決定した。

【００７４】教師データ用の画像を用意し、さらに、学
習には用いずに、実際に推論結果が正しいか否かを調べ
るための評価用の画像に対して実験を行った。

【００７５】ファジィ推論ルールを自動生成するアプロ
ーチとして、逐次型ファジィモデリングを拡張したデル
タルールによる簡略化ファジィ推論を用いて、人間の実
験から得た知識が正しいとして、学習によりメンバーシ
ップ関数を調整（チューニング）することで、自動的に
客観的な推論ルールを導き出した。

【００７６】前件部のメンバーシップ関数A _ijの中心値
a _ijおよび幅b _ij、後件部の実数値c _ijの初期値を設定
する。

【００７７】評価結果となる後件部の実数値は、学習を
始める最初の状態でどのような値をとっていたとして
も、値が範囲内であれば、全く問題はないので、全ての
ルールにおいて、c _i ＝0 ，i ＝0 ，・・・ルール数と
した。

【００７８】前件部変数１つにつき、ファジィ集合の数
と、それぞれの集合の幅の初期値を決定する必要があ
る。しかし、前件部のメンバーシップ関数の初期状態は
その後の学習に影響が大きいので、注意が必要である。
ここでのファジィ推論では、前件部変数ｘ₀ ，・・・，
ｘ₇ が７つの特徴値である。この特徴値をそれぞれの度
合を示すファジィ集合で表す。まず各入力変数に対する
ファジィ集合の数であるが、端へ隣接度合と色の場合を
除き、「小さい」・「普通」・「大きい」の３つとし
た。

【００７９】端へ隣接度合は、隣接しているかしていな
いか、すなわち端の部分は背景になりやすいということ
を踏まえると、背景領域であるか、ないかという２つの
条件で十分である。

【００８０】また、色の値であるa ，b は、（a ，b ）
平面上での実際にとる値の範囲（実際には各々−100 〜
100 の間をとる）を考慮して、５つのファジィ集合で表
現した。

【００８１】また各ファジィ集合の幅の初期状態は、前
記各領域における特徴量であり、出力は、実験結果から
得られた各領域毎の重要度である。

【００８２】ファジィ推論を用いて、各入力データに対
してファジィ推論を行い、各推論ルールの適合度ｕ
_i と、推論結果ｃ_i を求める。

【００８３】ファジィＩＦ−ＴＨＥＮルールで書くと、
次の様になる。

【００８４】 rule i： IF 大きい is A _a 位置 is B _b まとまり具合 is C _c 隣接度合 is D _d L ^＊ is E _e a ^＊ is F _f b ^＊ is G _g 色の目立ち度合 is H _h THEN 重要度_i ＝c _i a ，b ，c ，e ，h ＝small ，medium，large d ＝small ，large f ，g ＝ verysmall，small ，medium，large ，verylarge i ＝1 ，2 ，・・・，l （＝３⁵ ×２×５² ＝１２１５０）

【００８５】この発明で提案した物体の重要度に着目し
た画像分割により、画像中の物体を表す領域の重要度が
決定された。

【００８６】これから、この重要度をもとに、重要な領
域は圧縮率を抑えて品質を保ち、そうでない領域は出来
る限り圧縮率を高くして、圧縮を行うことを考える。

【００８７】この発明で対象とする画像圧縮手法は、基
本的には標準ＪＰＥＧの基本方式を用いており、基本的
処理についてはＪＰＥＧをそのまま利用して、重要度に
関係する部分に関して一部拡張させる、という方向で圧
縮を行なう。

【００８８】このような圧縮方法をとることにより、Ｊ
ＰＥＧと互換性が保たれるため、基本的なＪＰＥＧの処
理の部分に手を加える必要がないため拡張が容易であ
る。また、一般に広く世に出回っているＪＰＥＧに対応
した画像表示ツールによって内容の確認が可能である。

【００８９】このように、ＪＰＥＧ「標準化」の利点を
最大限に活用できるとともに、人間の視覚に対応して、
画像のサイズに関しても、効率良く圧縮することができ
る。

【００９０】画像圧縮の分野においては、様々な研究が
なされており、世の中が知的画像圧縮、構造圧縮の世界
に踏み込みつつあり、画像の局所的な特徴に着目した手
法も幾つか提案されている。また、画像内部の構造や知
識に関わることで、極度に難しくなる。

【００９１】この発明で行う物体の重要度に着目したＪ
ＰＥＧ画像圧縮は、第２世代の符号化と呼ばれる領域分
割符号化というものに類似するものであるが、１つの領
域の色の特徴が似ているいうことを利用して符号化する
領域分割符号化に対して、人間が画像を見るという知覚
に対応する点や、物体の重要度と圧縮率が結び付いてい
るという点で、従来の手法と一線を画するものである。

【００９２】この発明で行う圧縮の全体の流れは、図４
に示す通りである。

【００９３】まず、圧縮を行なうにあたって、画像分割
により得られた領域の重要度に基づいて、重要度の分布
を利用する。領域の境界情報を記述することが必要であ
る。この発明では、画像分割によって決定された重要度
の分布を、ブロックマップというデータ構造の形で圧縮
側に渡して、このブロックマップをもとに物体の情報を
記述する。

【００９４】ブロックマップは、ＪＰＥＧの最小データ
ユニット（ Minimum Data Unit，以下ＭＤＵ）が８×８
画素ないし１６×１６画素のブロックであるので、原画
像に対するＭＤＵの２次元配列^width ＭＤＵ^×heightＭ
ＤＵで与えられる。同じＭＤＵに属する全ての画素は、
圧縮時に同じ品質として取り扱われる。すなわち、
^width ＭＤＵ^×heightＭＤＵ画素の原画像であると、み
なすことが出来る。

【００９５】ここで、ブロックマップには各ＭＤＵにつ
いて、重要度のレベルLevel が記述されてており、この
重要度のレベルをもとに、画像中のブロックの品質を、
後で述べるスケールテーブルによって決定する。

【００９６】この発明では、画像中の物体、ないしその
要素となる領域の重要度に基づいて圧縮（符号化）を行
おうとするのであるが、物体の特徴は、全てブロックマ
ップにより決定され、このブロックマップにより処理が
行われる。

【００９７】このような処理対象となるモデルは、もは
や固定の大きさのブロックなどではなく、様々な形状を
した物体である。このような処理を実現するには、物体
の内容だけでなく、すなわち、構造や形状（境界）など
の特徴を調べて記述することが必要となる。

【００９８】この発明は、物体の重要度に基づいて形状
を調べ、重要な物体の形状を記述して、その領域の内部
の画素の情報も必要であるため、その囲まれた領域の内
部を同じ重要度で塗りつぶして埋めることにより、ＪＰ
ＥＧに書き込むという形を取っている。

【００９９】この発明は、データ量を効率的に削減する
ために、同じ重要度のレベルの全ての連結するブロック
は、１つの物体とみなしてひとまとめにし、形状を記述
して処理する。

【０１００】形状の記述手法としては、２値画像の輪郭
線追跡によるフリーマン（Freeman）チェインコードが
一般によく知られており、文字認識などに利用されてい
る。この発明ではこのフリーマンチェインコードを用い
て形状を記述する。

【０１０１】フリーマンチェインコードは、図５（ａ）
のように、ある画素の周囲の８方向に対して０から７ま
での数値を割り当て、その点から輪郭線追跡を行ない、
進行方向の数値を並べていく。ここで、図５（ｂ）にお
いて実例を示す。

【０１０２】しかし、この手法で境界情報を記述して
も、領域内部にさらに領域（穴）が存在する場合があ
る。図６中のＢが穴を表している。

【０１０３】このような穴がある場合には、内部の領域
を調べ、内部を別の領域とみなすことが出来るが、その
部分については、重要度の値が高い方にそろえて記述す
ることにする。

【０１０４】前記述で述べた、フリーマンチェインコー
ドにより、各ＭＤＵに対してブロックマップの重要度に
応じた形状が記述されても、実際にＪＰＥＧに適用する
際に、有効に活かされなければ無意味である。

【０１０５】そこで、どの部分の領域がどの重要度でど
んな形状になっているか、という情報を圧縮後の画像に
持たせてやる必要がある。

【０１０６】標準ＪＰＥＧに適用する場合は、ＪＰＥＧ
には、将来の拡張その他の用途で利用できるように幾つ
かのデータ領域が確保されている。その中で、アプリケ
ーションデータセグメント（Application Data Segmen
t）と呼ばれるアプリケーションが独自で利用できる領
域があり、この発明では、このアプリケーションデータ
セグメント（図７（ａ）（ｂ））を利用して、そこに境
界情報の記述を格納する。

【０１０７】ここで、AP_n ・LP・BND _i は、それぞれ以
下のものを示している。

【０１０８】 AP_n アプリケーションデータマーカ 2bytes LP アプリケーション領域の情報 2bytes BND _i i番目の領域の情報 これらの内わけは各々以下のようになる。 BND 境界情報を記述する開始点 Level ブロックの品質のレベル X ₀ 領域の開始点のＸ座標 Y ₀ 領域の開始点のＹ座標 Lb 境界のブロックの数 B ₁ 〜B _n フリーマンチェインコード

【０１０９】ここで、この発明では背景の重要度のレベ
ルを基準として２値で比較することにより形状を記述す
るため、背景の重要度のレベルを考慮している。何故な
ら、画像によっては画像全体でどれもが少なからず重要
と判断され、背景領域部分の重要度が０ではなく、それ
なりに高い重要度のレベルが必要となる場合があるため
である。

【０１１０】

【実施例４】この発明においては、ブロックマップと、
重要度と品質レベルの対応表であるスケールテーブルを
用いて、画像分割から得られた重要度のレベルから品質
を得る。

【０１１１】品質レベルの値は、０から１００までの間
を取り、０の時が最悪で、１００のときが最良の品質と
なる。ベースとなる量子化テーブルの各要素（８×８）
に積算を含む演算をして、新しい量子化テーブルを設定
する。

【０１１２】ブロックマップの重要度から、それに対応
する品質を決めることによって、以上で述べた演算方式
により、各ブロックの量子化テーブルを設定した。この
ようにして、ブロック毎に異なる量子化テーブルで量子
化を行った。

【０１１３】実際にＪＰＥＧで圧縮を行なう際に、量子
化テーブルの定め方によって圧縮後の品質、圧縮サイズ
等が変化してくる。ところが、この量子化テーブルには
標準というものが存在せず、決定は利用者の裁量によっ
て任されているため、この量子化テーブルの定め方が問
題となってくる。

【０１１４】この発明においては、サンプルとして用意
されている量子化テーブルを用いた。この量子化テーブ
ルを用いることで、標準ＪＰＥＧとパラメータを揃える
ことが出来るので、ＪＰＥＧと本手法における圧縮結果
の比較がされやすくなるという利点がある。

【０１１５】この発明で提案する物体の重要度に着目し
たＪＰＥＧ画像圧縮の、実際の圧縮手順は以下のように
なる。

【０１１６】１．画像分割結果の重要度分布をブロック
化し、ブロックマップを作成する。 ２．圧縮側で、ブロックマップを受け取る。 ３．受け取ったブロックマップから、各ブロックの重要
度のレベルを調べる。 ４．重要度のレベルから、スケールテーブルによって対
応する品質を得る。 ５．フリーマンチェインコードを用いて、各重要度に応
じた領域の形状を記述する。 ６．重要度レベル、背景の重要度、チェインコードの開
始点（X ₀ ，Y ₀ ）、チェインコードを、ＪＰＥＧのア
プリケーションデータセグメントに書き込む。 ７．得られた品質でＪＰＥＧ圧縮を行う（図８）。

【０１１７】このような手順により、ＪＰＥＧをそのま
ま利用して、内部の基本的な部分には直接手を加えるこ
となく容易に拡張が出来る物体の重要度に応じて品質
（圧縮率）をＪＰＥＧ画像圧縮で自由に変えることがで
きる。

【０１１８】実際の復号手順は符号化の時とは反対で、
以下のようになる。この操作は、基本的には、標準ＪＰ
ＥＧの復号と同じであるが、そのままではアプリケーシ
ョンデータセグメントの内容を読めないので、ＪＰＥＧ
の復号をする前に、その部分を読むように変更を加えて
おく必要がある。

【０１１９】１．復号する画像のファイルを取り込む。 ２．取り込むＪＰＥＧファイルから、アプリケーション
データセグメントを読む。 ３．アプリケーションデータセグメントから背景領域の
重要度のレベルを読む。 ４．アプリケーションデータセグメントを各領域の始点
（x ，y ）とデータを読み、フリーマンチェインコード
によって、各領域の境界情報を得る。 ５．ブロックマップを作成する。 ６．スケールテーブルを読み、ブロックマップから品質
を決定する。 ７．各ブロックの品質をもとにＪＰＥＧの復号を行なう
（図９）。

【０１２０】まず、重要な領域を大まかに抽出するた
め、その前処理として、図３の画像に縮小化とメディア
ン・フィルタの処理を施す。

【０１２１】縮小化処理を１回、メディアン・フィルタ
を３回施した後の画像を図４に示す。ここで、図４は、
処理結果の詳細が良く判別できるように、原画像と同じ
大きさに拡大したものである。

【０１２２】ファジィルールの学習の進み具合を表す為
に、推論誤差という値を考えた。推論誤差とは、実験に
よって得られた人間の判断した重要度と、システムの判
断した重要度との差にあたる。

【０１２３】そこで、学習画像に対する推論誤差の時間
推移と、未知画像に対する推論誤差の推移の関係をグラ
フに示した。ここで、学習画像の推論誤差は、学習用に
用いた２０枚の画像すべての推論誤差の平均で、未知画
像の推論誤差は、１０枚の学習に使用していない画像の
推論誤差の平均を用いた。

【０１２４】学習した画像に対する推論誤差は、学習が
進むに従って減少してゆくのは当然である。ところが、
未知画像に対する推論誤差は、ある程度までは収束する
が、ある点を境に増加する。これは、学習が進むにつ
れ、ルールは領域の重要度を計算するファジィルールへ
と調整されてゆくが、あまり進み過ぎると学習用の画像
自体の特徴に特化してしまい、他の画像に対応できなく
なることを示している。このことから、未知画像に対す
る推論誤差が最も小さくなるファジィルールが最も汎用
性が高いと考え、使用することにした。

【０１２５】

【発明の効果】この発明によれば、カラー画像を分割し
て各分割部毎に重要度を定め、これを抽出処理するの
で、恰も目視のような状態で画像処理し、重要な部分が
明瞭に表現される効果がある。

【図面の簡単な説明】

【図１】この発明における縮小化処理の概念図。

【図２】同じくラベル付けの概念図。

【図３】同じく最瀕値フィルタの概念図。

【図４】同じく実施例における圧縮過程のブロック図。

【図５】（ａ）同じくフリーマンチェインコードを示す
図。 （ｂ）同じく他のチェインコードを示す図。

【図６】同じく領域内部に穴がある場合の図。

【図７】（ａ）同じくアプリケーションデータセグメン
トのブロック図。 （ｂ）同じく形状を記述する形式のブロック図。

【図８】（ａ）同じく明度の量子化テーブル。 （ｂ）同じく色相の量子化テーブル。

【図９】同じく圧縮の流れブロック図。

【図１０】同じく複号過程のブロック図。

【手続補正書】

【提出日】平成８年４月２６日

【手続補正１】

【補正対象書類名】明細書

【補正対象項目名】請求項２

【補正方法】変更

【補正内容】

【手続補正２】

【補正対象書類名】明細書

【補正対象項目名】請求項３

【補正方法】変更

【補正内容】

【手続補正３】

【補正対象書類名】明細書

【補正対象項目名】請求項５

【補正方法】変更

【補正内容】

【手続補正４】

【補正対象書類名】明細書

【補正対象項目名】０００５

【補正方法】変更

【補正内容】

【０００５】

【課題を解決するための手段】然るにこの発明は、カラ
ー画像を所定数に分割し、各分割部毎にその重要度を選
択的に決定し、選別することを特徴としたカラー画像の
重要な構成要素の分割選別方法であり、重要度を決定す
るには、原画像に縮小化やフィルタリングを施し、色情
報を用いて画像を分割し、原画像上で色々な隣接関係か
ら領域を統合して領域分割し、該領域の特徴量を画像か
ら算出し、これをもとにしてファジィ推論により各領域
の重要度を決定することを特徴としたものである。また
システムの発明は、カラー画像を分割する為の前処理を
行い、ついで領域抽出処理した後、各領域の特徴量の算
出をもとにしてファジィ推論により各領域内の物体の重
要度を決定することを特徴としたカラー画像の重要な構
成要素の分割選別システムである。次に、カラー画像か
らのノイズ除去及び縮小化のメディアン・フィルタをか
けて前処理を行った後、色彩情報から大まかに領域抽出
を行うクラスタリングによる領域抽出処理と、位置情報
を加味して微小領域の併合処理を行う。ついで各領域に
おける特徴量の算出に基づき、ファジィ推論により各領
域内の物体の重要度を決定する処理を行った後、各領域
毎の重要度に応じて選別することを特徴としたカラー画
像の重要な構成要素の分割選別システムであり、クラス
タリングによる領域抽出処理を行うには、色情報を用い
て原画像を分割し、前記原画像上で、色々な隣接関係か
ら領域を統合して領域分割結果とし、前記領域における
重要な物体と決定付ける要素となる領域の特徴量を原画
像から算出して行うことを特徴としたものである。

【手続補正５】

【補正対象書類名】明細書

【補正対象項目名】００１１

【補正方法】変更

【補正内容】

【００１１】この段階では、まず、原画像から縮小化
し、フィルタリングによりノイズ除去を行い、色空間上
でクラスタリングにより画像を領域抽出した後、原画像
上の領域の色や隣接関係を考慮して、前記分割された領
域をまとめる処理を行う。

【手続補正６】

【補正対象書類名】明細書

【補正対象項目名】００３４

【補正方法】変更

【補正内容】

【００３４】（ｂ）明度成分が含まれると、シャドウや
シェーディングの影響により画像の領域に分かれる問題
点を考慮し、領域全体のａ，ｂ色度の色相（ｍｅｔｒｉ
ｃ−ｃｈｒｏｍａ）値の平均を求める。

フロントページの続き (72)発明者 岡田 謙一 東京都文京区本郷４−25−12 (72)発明者 早坂 里奈 神奈川県横浜市港北区日吉三丁目14番１号 慶應義塾大学理工学部 計測工学科 松 下研究室内 (72)発明者 趙 継英 神奈川県横浜市港北区日吉三丁目14番１号 慶應義塾大学理工学部 計測工学科 松 下研究室内 (72)発明者 嶋津 義久 神奈川県横浜市港北区日吉三丁目14番１号 慶應義塾大学理工学部 計測工学科 松 下研究室内 (72)発明者 太田 浩二 神奈川県横浜市港北区日吉三丁目14番１号 慶應義塾大学理工学部 計測工学科 松 下研究室内

Claims (5)

【特許請求の範囲】
1. 【請求項１】 カラー画像を所定数に分割し、各分割部
   毎にその重要度を選択的に決定し、選別することを特徴
   としたカラー画像の重要な構成要素の分割選別方法。
2. 【請求項２】 重要度を決定するには、原画像に縮小化
   やフィルタリングを施し、色情報を用いて過剰に分割
   し、原画像上で色々な隣接関係から領域を統合して領域
   分割し、該領域の特徴量を画像から算出し、これをもと
   にしてファジィ推論により各領域の重要度を決定するこ
   とを特徴とした請求項１記載のカラー画像の重要な構成
   要素の分割選別方法。
3. 【請求項３】 カラー画像を過剰分割する為の前処理を
   行い、ついで領域抽出処理した後、各領域の特徴量の算
   出をもとにしてファジィ推論により各領域内の物体の重
   要度を決定することを特徴としたカラー画像の重要な構
   成要素の分割選別システム。
4. 【請求項４】 カラー画像からのノイズ除去及び縮小化
   のメディアン・フィルタをかけて前処理を行った後、色
   彩情報から大まかに領域抽出を行うクラスタリングによ
   る領域抽出処理と、位置情報を加味して微小領域の併合
   処理を行う。ついで各領域における特徴量の算出に基づ
   き、ファジィ推論により各領域内の物体の重要度を決定
   する処理を行った後、各領域毎の重要度に応じて選別す
   ることを特徴としたカラー画像の重要な構成要素の分割
   選別システム。
5. 【請求項５】 クラスタリングによる領域抽出処理を行
   うには、色情報を用いて原画像を過剰に分割し、前記原
   画像上で、色々な隣接関係から領域を統合して領域分割
   結果とし、前記領域における重要な物体と決定付ける要
   素となる領域の特徴量を原画像から算出して行うことを
   特徴とした請求項４記載のカラー画像の重要な構成要素
   の分割選別システム。