JPH11261814A

JPH11261814A - 画像属性判別システム

Info

Publication number: JPH11261814A
Application number: JP10062797A
Authority: JP
Inventors: Hidetoshi Ikeda; 英敏池田
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 1998-03-13
Filing date: 1998-03-13
Publication date: 1999-09-24

Abstract

(57)【要約】【課題】本発明は、画像データの属性を画素単位に判
別する画像属性判別システムであり、隣接したｍ画素×
ｎ画素のブロック（ｎ≧１、ｍ≧１）から成る注目ブロ
ックの画像属性を粗判定した後、注目画素を中心にｐ画
素×ｑ画素（ｐ≦ｍ、ｑ≦ｎ）のウインドウ内の画素デ
ータに応じ再判定することにより、精度良く画像の属性
を決定することを目的とする。【解決手段】２次元画像データを、ｍ×ｎ画素から成
るブロックに分割しブロック単位に画像の属性を粗く判
別する画像属性判別手段と、注目画素に隣接したｐ×ｑ
画素の移動ウインドウ単位に画像の属性を精密に判別す
る画像属性判別手段を併用する構成とした。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像データから文
字領域・網点領域・写真領域等の複数の画像属性を決定
する画像属性判別システムに関する。

【０００２】

【従来の技術】地図や図面、文書や印刷・印画紙写真等
の原稿をスキャナ等で読み取り、プリンタやＰＣ（Pers
onal Computer）等に出力する場合、エッジの精鋭化や
モアレの低減等を目的とした適応処理が行われている。
このとき適応処理は、文字／網点／写真等の画像の属性
に応じた処理であるため、より高精度な属性判別方法が
要求され、さまざまな方法が盛んに研究されている。

【０００３】図１０は従来の画像属性判別システムの２
次元画像平面を表す図、図１１は従来の画像属性判別シ
ステムのニューラルネットワーク構成図、図１２は従来
の画像属性判別システムの文字／写真／網点画像のサン
プルを示す図である。

【０００４】これらの図を用いて、画像属性判別の動作
を説明する。まず、画像属性を判別するために、注目画
素１の周辺の画像データに注目する必要がある。図１０
には、例として５×５の画素ウィンドウ２を形成し、こ
のウィンドウ２の中の画像データの値を抽出し判別する
ことを画素毎に行っていく構成とする。

【０００５】図１０においては、格子状に細分されてい
る一升が読み取りデータ（輝度値または濃度値）の１画
素を表し、この格子の中の太枠で囲まれた領域がウィン
ドウ２を示す。このウィンドウ２は黒丸で示した中心画
素１に対して画像属性判別に用いるデータであることを
示している。この中心画素１に対し後述する画像属性判
別が終了したら、ウィンドウ２は次のデータ（例えば中
心画素１の右隣）を中心画素とするように移動するもの
とする。

【０００６】図１１は画像属性判別を行うニューラルネ
ットワークを示す。ここでは、一例として３層のニュー
ラルネットワーク構成としている。入力層の数は、例え
ばウィンドウ内のすべての画素の値を入力するものとす
ると、５×５＝２５個となる。中間層の数は後述する訓
練の収束状態などによって増減されるが、便宣上ここで
は４個とした。出力層の数は画像属性判別する種類（ク
ラスタ数）になるが、ここでは文字・写真・網点を分類
するものとし３個とした。図１１の出力層は上から文字
判定出力３・写真判定出力４・網点判定出力５の順に配
置されているものとする。

【０００７】実際の画像属性判別動作は、図１１に示す
ニューラルネットワークに、図１０に示したウィンドウ
２内の画像データを入力して判別を行うが、その前にニ
ューラルネットワークを訓練しておく必要がある。

【０００８】図１２に示すように、文字／網点／写真の
画像の場合、画像ウィンドウ上に特徴的にデータが構成
される。すなわち、図１２（Ａ）の文字に対しては、画
素レベルで微視的にみると連続する直線の輪郭部分が観
測され、図１２（Ｂ）の写真画像に対してはあまり画像
データの変動のないデータとして観測され、図１２
（Ｃ）の網点画像に対しては孤立点状に観測される。

【０００９】このような特徴を持った画像データのサン
プル数を数多く図１１のニューラルネットワークに入力
し、予め既知の教師データを与えることにより学習を行
い、ニューラルネットワークを訓練する。

【００１０】例えば、図１２（Ａ）に示すような文字画
像を入力した場合、図１１に示すように、出力層である
文字判定出力３、写真判定出力４、網点判定出力５の教
師データを１、０、０とする。訓練はバックプロパゲー
ション法などにより行われ、誤差が十分小さくなるまで
続けられる。訓練された結果、ニューラルネットワーク
を構成する各ニューロ素子の重み係数、バイアスなどの
パラメータが得られる。

【００１１】上記訓練で求められたパラメータを図１１
のニューラルネットワークに設定することにより、実際
の画像データを入力すれば画像属性が逐次判別できるよ
うになる。

【００１２】ここで、「教師データ」及び「訓練デー
タ」について説明する。図１３はニューラルネットワー
クの訓練を説明する図である。ニューラルネットワーク
は図１３（ａ）に示すように、「訓練した結果得られた
パラメータ」を基に動作するものである。このパラメー
タを得るための訓練が図１３（ｂ）に示す図であり、代
表的な入力データ（特徴的な入力データサンプル）を用
いて訓練する。すなわち、この入力データが「訓練デー
タ」である。この訓練データに対し、期待される結果が
「教師データ」である。

【００１３】簡単な例として、ある２入力１出力のニュ
ーラルネットワークに対し、「ａ＋ｂ」の演算を実現さ
せるように訓練することを考えると、訓練データとし
て、（１，４）、（３，７）、（９，５）、（２，６）
を与えたときの教師データは５，１０，１４，８であ
る。

【００１４】

【発明が解決しようとする課題】しかしながら、上記し
た従来の画像属性判別システムでは、画像読み取りの解
像度を６００ｄｐｉとすると、ウィンドウ２内に入る網
点の個数がある程度多い場合、すなわち、概ね２００線
以上の網線数で形成された網点画像までしか判定できな
い。これを低い網線数の画像まで判断させようとする
と、ウィンドウ２のサイズを更に広くする必要があり、
そうすると注目画素１の属性判定を行うのに要するニュ
ーラルネットワークの演算量が著しく増大してしまう。
これは処理速度が著しく低下してしまう結果となってし
まう。また、判定をリアルタイムに行おうとすると回路
規模が大きくなってしまう。

【００１５】本発明はこの問題点を解決するもので、２
次元画像をブロック単位に分割し、注目画素の存在する
ブロックの画像属性の粗判定を行い、次に注目画素の周
囲の移動ウィンドウ中の画素データで精密に再判定を行
うことにより、演算量（または回路規模）の増加を少な
くして判別精度を向上させる画像属性判別システムを実
現することを目的としている。

【００１６】

【発明を解決するための手段】本発明は、上記課題を解
決するために、二次元の静止画像データに対して、前記
画像データをｍ画素×ｎ画素のブロック単位に分割する
手段と、前記ｍ画素×ｎ画素ブロック内の前記画像デー
タの輝度値（または濃度値）を入力層とし少なくとも網
点領域・文字領域・写真領域を粗判定出力する出力層を
持つ２層以上のニューラルネットワーク（入力層も１層
と勘定する）判定手段と、注目画素に隣接したｐ画素×
ｑ画素（ｐ≦ｍ、ｑ≦ｎ）の移動ウィンドウを形成する
手段と、前記移動ウィンドウ内の前記画像データの輝度
値（または濃度値）と前記ｍ画素×ｎ画素ブロック単位
での前記網点領域・文字領域・写真領域の粗判定出力値
を入力層とし少なくとも網点領域・文字領域・写真領域
を画素毎に精密判定出力する出力層を持つ２層以上のニ
ューラルネットワーク（入力層も１層と勘定する）判定
手段を有することを特徴とする構成とした。

【００１７】上記の構成により、回路規模を増大させる
ことなく判別精度を向上させる画像属性判別システムを
実現できる。

【００１８】

【発明の実施の形態】本発明の請求項１記載の発明は、
２次元の静止画像データに対して、前記画像データをｍ
画素×ｎ画素のブロック単位に分割する手段と、前記ｍ
画素×ｎ画素ブロック内の前記画像データの輝度値（ま
たは濃度値）を入力層とし少なくとも網点領域・文字領
域・写真領域を粗判定出力する出力層を持つ２層以上の
ニューラルネットワーク（入力層も１層と勘定する）判
定手段と、注目画素に隣接したｐ画素×ｑ画素（ｐ≦
ｍ、ｑ≦ｎ）の移動ウィンドウを形成する手段と、前記
移動ウィンドウ内の前記画像データの輝度値（または濃
度値）と前記ｍ画素×ｎ画素ブロック単位での前記網点
領域・文字領域・写真領域の粗判定出力値を入力層とし
少なくとも網点領域・文字領域・写真領域を画素毎に精
密判定出力する出力層を持つ２層以上のニューラルネッ
トワーク（入力層も１層と勘定する）判定手段を有する
画像属性判別システムであり、画素単位に正確にしかも
高速に画像の属性を判別できる。

【００１９】本発明の請求項２記載の発明は、２次元の
静止画像データに対して、前記画像データをｍ画素×ｎ
画素のブロック単位に分割する手段と、前記ｍ画素×ｎ
画素ブロック内の前記画像データの輝度値（または濃度
値）を入力層とし少なくとも網点領域・文字領域・写真
領域を粗判定出力する出力層を持つ２層以上のニューラ
ルネットワーク（入力層も１層と勘定する）判定手段
と、注目画素に隣接し前記ｍ画素×ｎ画素のブロックを
構成したときの解像度とは異なるｐ画素×ｑ画素の移動
ウィンドウを形成する手段と、前記移動ウィンドウ内の
前記画像データの輝度値（または濃度値）と前記ｍ画素
×ｎ画素ブロック単位での前記網点領域・文字領域・写
真領域の粗判定出力値を入力層とし少なくとも網点領域
・文字領域・写真領域を画素毎に精密判定出力する出力
層を持つ２層以上のニューラルネットワーク（入力層も
１層と勘定する）判定手段を有する画像属性判別システ
ムであり、網線数の低い読み取り画像に対しても、画素
単位に正確にしかも高速に画像の属性を判別できる。

【００２０】本発明の請求項３記載の発明は、請求項２
記載の画像属性判別システムであり、前記ｍ画素×ｎ画
素のブロックを構成する画素の解像度は、前記ｐ画素×
ｑ画素の移動ウィンドウを構成する画素の解像度よりも
低く設定する画像属性判別システムであり、ｍ画素×ｎ
画素ブロックのとる面積が広くできることにより、網線
数の低い読み取り画像に対しても、画素単位に正確にし
かも高速に画像の属性を判別できる。

【００２１】本発明の請求項４記載の発明は、２次元の
静止画像データに対して、前記画像データをｍ画素×ｎ
画素のブロック単位に分割する手段と、前記ｍ画素×ｎ
画素ブロック内の前記画像データの輝度値（または濃度
値）を入力層とし少なくとも網点領域・文字領域・写真
領域を粗判定出力する出力層を持つ２層以上のニューラ
ルネットワーク（入力層も１層と勘定する）判定手段
と、前記ｍ画素×ｎ画素から構成されるブロックの前記
粗判定手段による判定結果を一時保存する保存手段と、
注目画素に隣接したｐ画素×ｑ画素の移動ウィンドウを
形成する手段と、前記移動ウィンドウ内の前記画像デー
タの輝度値（または濃度値）を入力層とし少なくとも網
点領域・文字領域・写真領域を画素毎に精密判定出力す
る出力層を持つ２層以上のニューラルネットワーク（入
力層も１層と勘定する）判定手段と、前記保存手段に保
存されている前記粗判定結果のうち注目画素の存在する
前記ｍ画素×ｎ画素ブロックとそれに隣接するブロック
の前記粗判定結果と、前記注目画素に隣接したｐ画素×
ｑ画素から前記精密判定出力された結果と、前記注目画
素の座標を入力とし、これらの入力から少なくとも網点
領域・文字領域・写真領域を再度判定出力する属性再判
定手段を有する画像属性判別システムであり、前記ｍ画
素×ｎ画素固定ブロックにまたがる文字などのオブジェ
クトに対してさらに正確に画像の属性を判別できる。

【００２２】本発明の請求項５記載の発明は、２次元の
静止画像データに対して、前記画像データをｍ画素×ｎ
画素のブロック単位に分割する手段と、前記ｍ画素×ｎ
画素ブロック内の前記画像データの輝度値（または濃度
値）を入力層とし少なくとも網点領域・文字領域・写真
領域を粗判定出力する出力層を持つ２層以上のニューラ
ルネットワーク（入力層も１層と勘定する）判定手段
と、注目画素に隣接したｐ画素×ｑ画素（ｐ≦ｍ、ｑ≦
ｎ）の移動ウィンドウを形成する手段と、前記移動ウィ
ンドウ内の前記画像データの輝度値（または濃度値）と
前記ｍ画素×ｎ画素ブロック単位での前記網点領域・文
字領域・写真領域の粗判定出力値を入力層とし少なくと
も網点領域・文字領域・写真領域を画素毎に精密判定出
力する出力層を持つ２層以上のニューラルネットワーク
（入力層も１層と勘定する）判定手段と、前記画素毎に
精密判定出力の結果に応じてフィルタの特性を切り替え
る手段と、前記網点領域・文字領域・写真領域を画素毎
に精密判定出力するニューラルネットワークで使用する
ラインメモリと前記フィルタで使用する前記ラインメモ
リを兼用する構成を有する画像属性判別システムであ
り、メモリを兼用することによるコスト削減が可能とな
る。

【００２３】本発明の請求項６記載の発明は、２次元の
静止画像データに対して、前記画像データをｍ画素×ｎ
画素のブロック単位に分割する手段と、前記ｍ画素×ｎ
画素ブロック内の前記画像データの輝度値（または濃度
値）を入力層とし少なくとも網点領域・文字領域・写真
領域を粗判定出力する出力層を持つ２層以上のニューラ
ルネットワーク（入力層も１層と勘定する）判定手段
と、注目画素に隣接し前記ｍ画素×ｎ画素のブロックを
構成したときの階調数とは異なるｐ画素×ｑ画素（ｐ≦
ｍ、ｑ≦ｎ）の移動ウィンドウを形成する手段と、前記
移動ウィンドウ内の前記画像データの輝度値（または濃
度値）と前記ｍ画素×ｎ画素ブロック単位での前記網点
領域・文字領域・写真領域の粗判定出力値を入力層とし
少なくとも網点領域・文字領域・写真領域を画素毎に精
密判定出力する出力層を持つ２層以上のニューラルネッ
トワーク（入力層も１層と勘定する）判定手段を有する
画像属性判別システムであり、階調数削減による回路規
模を縮小できコスト削減が可能となる。

【００２４】本発明の請求項７記載の発明は、請求項６
記載の画像属性判別システムであり、前記ｐ画素×ｑ画
素の移動ウィンドウを構成する画素の階調数は、前記ｍ
画素×ｎ画素のブロックを構成する画素の階調数よりも
低く設定することを特徴とする請求項６記載の画像属性
判別システムであり、階調数削減による回路規模を縮小
できコスト削減が可能となる。

【００２５】（実施の形態１）以下、本発明の実施の形
態１について説明する。

【００２６】図１は本発明の画像属性判別システムに係
る実施の形態１の２次元画像平面を表す図で、図２は本
発明の画像属性判別システムに係る実施の形態１のニュ
ーラルネットワーク構成図である。

【００２７】これらの図を用いて、画像属性判別の動作
を説明する。まず、注目画素８の画像属性を判別するた
めに、注目画素８の周辺の画像データにも注目する必要
がある。図１において、格子状に細分されている一升が
読み取りデータ（輝度値または濃度値）の１画素を表
す。この格子の中において、ｍ×ｎ画素枠で囲まれた領
域６（以降「固定ブロック」と称する）とｐ×ｑ画素枠
で囲まれた領域７（以降「移動ウィンドウ」と称する）
の２種類の領域に場合分けする。ここで、領域のサイズ
は固定ブロック６の方が移動ウィンドウ７より広い（ｍ
＞ｐ、ｎ＞ｑ）ものとする。固定ブロック６は画像平面
をｍ×ｎ画素で区切られただけのものであるが、移動ウ
ィンドウ７は注目画素８（図中、黒丸で示すｐ×ｑ画素
の移動ウィンドウ７の中心）が図１の矢印で示すように
次のデータ（例えば右隣の画素）に移れば、そこを新た
に中心画素とするように移動する。図１の移動ウィンド
ウ７’は、中心画素８が右側に９画素移動したときのウ
ィンドウを示している。

【００２８】図２は画像属性判別を行うニューラルネッ
トワークを示す。ここでは一例として３層のニューラル
ネットワーク２段の構成としている。９はｍ×ｎ画素固
定ブロックに対するニューラルネットワーク、１０はｐ
×ｑ画素移動ウィンドウに対するニューラルネットワー
クである。

【００２９】入力層の数は、例えばｍ＝ｎ＝８，ｐ＝ｑ
＝５とし、ウィンドウ内のすべての画素の値を入力する
ものとすると、ニューラルネットワーク９では８×８＝
６４個であり、ニューラルネットワーク１０では５×５
＝２５個であるが、後で述べるようにニューラルネット
ワーク９の３個の出力がニューラルネットワーク１０の
入力として加わるので、ニューラルネットワーク１０の
入力層の数は３＋５×５＝２８個である。

【００３０】中間層の数は後述する訓練の収束状態など
によって増減されるが、便宣上ここではどちらのニュー
ラルネットワークでも４個とした。

【００３１】出力層の数は画像属性判別する種類（クラ
スタ数）になるが、ここでは文字、写真、網点の３属性
を分類するので、何れのニューラルネットワークでも３
個とした。出力層は何れのニューラルネットワークと
も、上から文字判定出力、写真判定出力、網点判定出力
の順に配置されているものとする。但し、ニューラルネ
ットワーク９の出力はニューラルネットワーク１０の入
力となっている。

【００３２】各層のノード（図中、○で示す）を結ぶ枝
にはそれぞれ重み係数が掛けられ、各層の各ノードには
バイアス係数が掛けられるので、入力層の各データにこ
れらの係数を掛けながら計算し、出力層に出力される。

【００３３】実際の画像属性判別動作は、図２に示すニ
ューラルネットワークに、図１で示した固定ブロック６
内または移動ウィンドウ７内の画像データを入力し属性
判別を行うが、その前にニューラルネットワーク９及び
１０を訓練しておく必要がある。

【００３４】訓練に関しては、従来例でも示したよう
に、図１２に示すような文字、写真、網点の画像サンプ
ルと、それに対する教師データによるバックプロパゲー
ション法などによって行われ、誤差が十分小さくなるま
で続けられる。

【００３５】図１２は５×５画素を例示しており、これ
を移動ウィンドウ７用の訓練データとすると、固定ブロ
ック６用の訓練データはこれより広いサイズの訓練デー
タを別途作成して訓練を行う。訓練された結果、ニュー
ラルネットワーク９および１０を構成する各ニューロ素
子の重み係数、バイアスなどのパラメータが得られる。

【００３６】ここで、訓練について更に詳しく説明す
る。図３はニューラルネットワークの訓練を説明する図
であり、入力層、中間層、出力層のノー度数をそれぞれ
１個、５個、１個とする。ニューラルネットワークのパ
ラメータとは、入力層と中間層の間の重みｗ₁〜ｗ₅と、
中間層のバイアスｂ₁〜ｂ₅と、中間層と出力層の間の重
みｗ₆〜ｗ₁₀と、出力層のバイアスｂ₆となる。

【００３７】入力訓練データが２１個与えられ、その期
待される出力が２１個教師データとして与えられ、ネッ
トワークの訓練が行われる。

【００３８】まず、ネットワークパラメータｗ₁〜ｗ₁₀
とｂ₁〜ｂ₆が適当な値に初期化され、次に入力「−１」
に対して（数１）に示す演算を行う。

【００３９】

【数１】

【００４０】この場合の出力値と教師データ「−０．９
６０２」とを比較して、その誤差を最小にするようにネ
ットワークパラメータｗ₁〜ｗ₁₀とｂ₁〜ｂ₆を調整す
る。

【００４１】入力「−１」に対する訓練が終了したら、
次に入力「−０．９」（この場合の教師データは「−
０．５７７０」）で訓練を行う。２１個の入力に対して
演算が終了したら、また初めの入力「−１」に戻る。

【００４２】この場合、２１個の入力に対する２１回の
演算走査を１エポックと呼び、通常、数百エポックの訓
練を繰り返す。

【００４３】上記訓練で求められたパラメータを図２の
ニューラルネットワークの各ニューロ素子（図２中、白
丸で表す）に設定することにより、実際の画像データを
入力すれば画像属性が逐次判別できるようになる。

【００４４】ここで、従来例に対して判別の精度を比べ
ると、移動ウィンドウよりも更に広い範囲でデータを見
ているので、低い網線数の画像に対して判別精度を向上
できる。

【００４５】また、演算の回数を調べてみると、図２に
示すニューラルネットワーク構成において、ｍ＝ｎ＝
８、ｐ＝ｑ＝５、中間層数４、出力層数３とすると、８
×８画素（６４画素）内の積和演算回数は約２２，００
０回だが、従来例の図１１で示すウィンドウ２のサイズ
を５×５画素とし、中間層数４、出力層数３とすると、
５×５画素（２５画素）内の積和演算回数は約２２，５
００回となり、殆ど演算量を増やすことなく判別精度を
向上できることになる。

【００４６】一方、従来例の図１１で示すウィンドウ２
のサイズを８×８画素として精度を向上させようとする
と、中間層数４、出力層数３は同数として、８×８画素
（６４画素）内の積和演算回数は約５０，０００回とな
り、約２倍以上の演算回数を要してしまう。従って、本
発明の構成の方が圧倒的に演算の回数が少ない。

【００４７】尚、図２では、固定ブロック６に対するニ
ューラルネットワーク９の出力値をニューラルネットワ
ーク１０の入力として構成した例を示したが、例えば図
４に示すようにニューラルネットワーク９とニューラル
ネットワーク１０の出力結果を使って判定処理する属性
再判定処理１１により判定する構成としても構わない。
ここで、属性再判定処理１１は、これ自体がニューラル
ネットワーク構成であっても構わないし、単純な重み計
算判定であっても構わない。

【００４８】（実施の形態２）以下、本発明の実施の形
態２について説明する。

【００４９】図５は本発明の画像属性判別システムに係
る実施の形態２の２次元画像平面を表す図である。ニュ
ーラルネットワークの構成は、実施の形態１で示した図
２または図４と同一のものとする。また、画像属性判別
のためのニューラルネットワークの学習や判別動作は、
実施の形態１と変わりないので省略する。

【００５０】ここでは、実施の形態１との違いを説明す
る。注目画素１２の画像属性を判別するために、注目画
素１２の周辺の画像データに注目する必要がある。図５
において、格子状に細分されている一升が読み取りデー
タ（輝度値または濃度値）の１画素を表す。この格子の
中において、ｍ×ｎ画素枠で囲まれた領域１３（以降
「固定ブロック」と称する）とｐ×ｑ画素枠で囲まれた
領域１４（以降「移動ウィンドウ」と称する）の２種類
の領域に場合分けする。

【００５１】ここで、領域のサイズは固定ブロック１３
の方が移動ウィンドウ１４より広い（ｍ＞ｐ、ｎ＞ｑ）
ものとする。固定ブロック１３は画像平面をｍ×ｎ画素
で区切られただけのものであるが、移動ウィンドウ１４
は注目画素１２（図中、黒丸で示すｐ×ｑ画素の移動ウ
ィンドウの中心）が図５の矢印で示すように次のデータ
（例えば右隣）になれば、そこを中心画素とするように
移動する。また、ｍ×ｎ画素枠で囲まれた固定ブロック
１３の画像解像度はｐ×ｑ画素枠で囲まれた移動ウィン
ドウ１４の解像度よりも低く設定されている。この解像
度が異なる点が実施の形態１との違いとなる。

【００５２】画像解像度を低くする手段として、実施の
形態２における一例として、元の画素から１／２に間引
きを行ったデータを使用するようにしている（図中星印
の画素が間引きされた画素に相当する）。図５では、間
引きされた画素の個数は８×８＝６４画素であり、これ
は実施の形態１において図１に示す固定ブロック６の画
素数と同一である。

【００５３】従って、ニューラルネットワークの演算量
も実施の形態１で示したものと同等である。しかし、同
一の画素数でも実施の形態２で示した図５の固定ブロッ
ク１３の方が広い面積を見ているので、さらに低網線画
像の画像判別が可能である。

【００５４】尚、本実施の形態では、画像の解像度を低
くする手段として間引きを考えたが、隣接画素との平均
値（または重みつき平均値等）としてもよい。

【００５５】（実施の形態３）以下、本発明の実施の形
態３について説明する。

【００５６】図６は本発明の画像属性判別システムに係
る実施の形態３の２次元画像平面を表す図で、図７は本
発明の画像属性判別システムに係る実施の形態３のニュ
ーラルネットワーク構成図である。

【００５７】これらの図を用いて、画像属性判別の動作
を説明する。まず、注目画素１５の画像属性を判別する
ために、注目画素１５の周辺の画像データも注目する必
要がある。図６において、Ａ〜Ｏまでの区分された領域
はそれぞれｍ×ｎ画素で構成された領域（以降固定ブロ
ックと称する）である。また、ｐ×ｑ画素で構成された
領域１６（以降移動ウィンドウと称する）は注目画素１
５が次のデータ（例えば右となりの画素）になれば、そ
こを中心画素とするように移動するタイプのウィンドウ
である。ここで、領域のサイズは固定ブロックの方が移
動ウィンドウより広い（ｍ＞ｐ、ｎ＞ｑ）ものとする。

【００５８】図７は画像属性判別を行うニューラルネッ
トワークを示す。ここでは一例として３層のニューラル
ネットワーク２段の構成としている。１８はｍ×ｎ画素
固定ブロックに対するニューラルネットワークで、２０
はｐ×ｑ画素移動ウィンドウに対するニューラルネット
ワークである。１９はｍ×ｎ画素固定ブロックに対する
ニューラルネットワーク１８からの判別結果を一時保存
する判別結果保存メモリである。２１は判別結果保存メ
モリ１８から出力された判別結果とｐ×ｑ画素移動ウィ
ンドウに対するニューラルネットワーク２０の判別結果
と、現在の注目画素の位置情報から再度属性判定する属
性再判定処理である。

【００５９】入力層の数は、例えばｍ＝ｎ＝８，ｐ＝ｑ
＝５とし、ウィンドウ内のすべての画素の値を入力する
ものとすると、ニューラルネットワーク１８では８×８
＝６４個であり、ニューラルネットワーク２０では５×
５＝２５個である。

【００６０】中間層の数は後述する訓練の収束状態など
によって増減されるが、便宣上ここではどちらのニュー
ラルネットワークでも４個とした。

【００６１】出力層の数は画像属性判別する種類（クラ
スタ数）になるが、ここでは文字、写真、網点を分類す
るものとし、どちらのニューラルネットワークでも３個
とした。出力層はどちらのニューラルネットワークと
も、上から文字判定出力、写真判定出力、網点判定出力
の順に配置されているものとする。

【００６２】実際の画像属性判別動作は、図７に示すニ
ューラルネットワークに図６で示した固定ブロック内ま
たは移動ウィンドウ内の画像データを入力し判別を行う
が、その前にニューラルネットワーク１８および２０を
訓練しておく必要がある。

【００６３】訓練に関しては、従来例でも示したよう
に、図１２に示すような文字／網点／写真の画像サンプ
ルとそれに対する教師データによるバックプロパゲーシ
ョン法などによって行われ、誤差が十分小さくなるまで
続けられる。

【００６４】ここで、図１２は５×５画素を例示してお
り、これを移動ウィンドウ１６用の訓練データとする
と、ｍ×ｎ固定ブロック用の訓練データはこれより広い
サイズの訓練データを別途作成して訓練を行う。訓練さ
れた結果、ニューラルネットワーク１８および２０を構
成する各ニューロ素子の重み係数、バイアスなどのパラ
メータが得られる。

【００６５】上記訓練で求められたパラメータを図７の
ニューラルネットワークの各ニューロ素子に設定するこ
とにより、実際の画像データを入力すれば画像属性が逐
次判別できるようになる。

【００６６】さて、ネットワークの動作を更に詳細に説
明する。いま、図６において注目画素１５が移動ウィン
ドウ１６にあるものとする。注目画素がこの位置の場
合、最終判定に用いられる固定ブロックの属性判別結果
はＢ，Ｃ，Ｄ，Ｇ，Ｈ，Ｉ，Ｌ，Ｍ，Ｎ固定ブロックそ
れぞれの画像データを入力とするニューラルネットワー
ク１８の判定結果である。固定ブロックの判定結果は、
繰り返し利用されるので、予め判別された結果を判別結
果保存メモリに保存しておき、必要に応じて引き出して
利用するようにしている。

【００６７】注目画素１５が移動ウィンドウ１６の位置
に存在する場合、移動ウィンドウ１６に対するニューラ
ルネットワーク２０の判定結果が、属性再判定処理２１
において一番高い重みをかけられるが、注目画素１７の
位置は固定ブロックＨの中に存在するので、属性再判定
処理２１においては固定ブロックＨの判定結果が次に高
い重みをかけて利用される。あとは、注目画素１５の存
在する位置に対して距離の近い順に、各固定ブロックに
対するニューラルネットワーク１８の判定結果に重み付
けが行なわれるようにし、属性再判定処理される。こう
することにより、精度の高い判別が可能となる。

【００６８】尚、注目画素１７に示す位置に存在する場
合、属性再判定処理２１に用いられるデータは、移動ウ
ィンドウ２２に対するニューラルネットワーク２０の判
定結果と固定ブロックＣ，Ｄ，Ｅ，Ｈ，Ｉ，Ｊ，Ｍ，
Ｎ，Ｏそれぞれの画像データを入力とするニューラルネ
ットワーク１８の判定結果となるように移動する。

【００６９】（実施の形態４）以下、本発明の実施の形
態４について説明する。

【００７０】図８は本発明の画像属性判別システムに係
る実施の形態４の画像属性判別の構成図である。図８に
おいて、３４はスキャナ、２３はスキャナ３４で読み取
られた２次元画像の模式図、２４は注目画素、２５は注
目画素２４の周辺に構成されたｐ×ｑ画素の移動ウィン
ドウ、２６はスキャナ３４から送られてきた最新の画像
データ、２７は現在読み取っているライン（図中ｒ行と
表示）よりも以前のラインの画像データを一時的に保存
するラインメモリ、２８は注目画素２４に対するウィン
ドウデータを形成するウィンドウ構成回路、２９は実施
の形態１、２、３で説明した図２または図７の中のｐ×
ｑ画素の移動ウィンドウに対するニューラルネットワー
ク、３０はハイパスフィルタ、３１は弱ハイパスフィル
タ、３２はローパスフィルタ、３３はセレクタである。

【００７１】図を用いて、以下に動作を説明する。スキ
ャナ３４で読み取られた原稿の読み取りデータは画素単
位に送られてくる。いま、最新の画像データ２６に示す
○のポイントとする。この最新の画像データ２６が入力
されることにより、ｐ×ｑ画素移動ウィンドウ２４は図
に示す位置となり、その注目画素は×のポイントとな
る。最新の画像データ２６は、ラインメモリ２７に保存
されるとともにウィンドウ構成回路２８に入力される。

【００７２】一方、ラインメモリからは、過去のデータ
（ｒ−１行からｒ−ｑ＋１行までの第ｍ列のデータ、図
中△で示すデータ）がウィンドウ構成回路２８へ入力さ
れる。ウィンドウ構成回路２８は、ｐ行ｑ段のシフトレ
ジスタ構成になっており、最新のデータが入るたびにウ
ィンドウが移動する。

【００７３】ウィンドウ構成回路２８で作られたウィン
ドウデータは、ニューラルネットワーク２９、ハイパス
フィルタ３０、弱ハイパスフィルタ３１、ローパスフィ
ルタ３２に入力される。ハイパスフィルタ３０、弱ハイ
パスフィルタ３１、ローパスフィルタ３２の演算結果は
セレクタ３３に入力され、ニューラルネットワーク２９
で文字判定または写真判定または網点判定された結果は
セレクタ３３の切り替え制御入力に入力される。

【００７４】セレクタ３３の動作は、文字判定された場
合はハイパスフィルタ３０の演算結果を選び、写真判定
された場合は弱ハイパスフィルタ３１の演算結果を選
び、網点判定された場合はローパスフィルタ３２の演算
結果を選ぶ。こうすることにより、最適なフィルタを選
択することができる。

【００７５】上記構成により、画像判別方法をハード化
してリアルタイム処理を行う場合に、ニューラルネット
ワークで必要なラインメモリとフィルタにより必要なラ
インメモリを兼用できるため、低コストを実現できる。

【００７６】（実施の形態５）以下、本発明の実施の形
態５について説明する。

【００７７】図９は本発明の画像属性判別システムに係
る実施の形態５の２次元画像平面を表す図である。ニュ
ーラルネットワークの構成は、実施の形態１で示した図
１または図２と同一なものとする。

【００７８】画像属性判別のためのニューラルネットワ
ークの学習や判別動作は、実施の形態１と変わりないの
で説明を省略し、ここでは、実施の形態１との違いを説
明する。

【００７９】注目画素３５の画像属性を判別するため
に、注目画素３５の周辺の画像データに注目する必要が
ある。図９において、格子状に細分されている一升が読
み取りデータ（輝度値または濃度値）の１画素を表す。
この格子の中において、ｍ×ｎ画素枠で囲まれた領域３
７（以降固定ブロックと称する）とｐ×ｑ画素枠で囲ま
れた領域３６（以降移動ウィンドウと称する）の２種類
の領域に場合分けする。ここで、領域のサイズは固定ブ
ロックの方が移動ウィンドウより広い（ｍ＞ｐ、ｎ＞
ｑ）ものとする。

【００８０】固定ブロック３７は画像平面をｍ×ｎ画素
で区切られただけものであるが、移動ウィンドウ３６は
注目画素３５（図中、黒丸で示すｐ×ｑ画素の移動ウィ
ンドウ３６の中心）が次のデータ（例えば図９の矢印で
示す右隣の移動ウィンドウの黒丸で表した中心画素）に
なれば、そこを中心画素とするように移動する。また、
ｐ×ｑ画素枠で囲まれた領域３６の画像階調数はｍ×ｎ
画素枠で囲まれた領域３７の階調数よりも低く設定され
ている。この階調数が異なる点が実施の形態１との違い
となる。階調数を減らすことにより、図２の１０に示す
ニューラルネットワークの演算規模が実施の形態１で示
したものより小さくてすむ。これは、画像判別方法をハ
ード化しリアルタイム処理を行う場合に、図２の１０に
示すようなニューラルネットワークで必要な演算器のビ
ット幅を小さくできるため、低コストを実現できる。

【００８１】もちろん、上述の、移動ウィンドウに対す
るニューラルネットワーク入力データの階調数削減は、
実施の形態２、３、４でも応用することができる。

【００８２】

【発明の効果】以上のように本発明によれば、２次元の
静止画像データに対して画像データをｍ画素×ｎ画素の
ブロック単位に分割された画素による網点領域、文字領
域、写真領域の粗判定と、注目画素に隣接したｐ画素×
ｑ画素の移動ウィンドウ中の画素による網点領域、文字
領域、写真領域の精密判定の組み合わせにより、ほとん
ど演算量を増やすことなく判別精度を向上できる。

【００８３】また、ｍ×ｎ画素固定ブロックの画像解像
度をｐ×ｑ画素移動ウィンドウの解像度よりも低く設定
することにより、固定ブロックがより広い面積を見るこ
とができるので、更に低網線画像の画像判別が可能であ
る。

【００８４】また、注目画素に隣接する移動ウィンドウ
に対する精密判定結果と、注目画素が位置する固定ブロ
ックの粗判定結果と、その周辺の固定ブロックの粗判定
結果を、注目画素の存在する位置に対して距離の近い順
に重み付けを行い、これらの判定結果を属性再判定処理
することにより、更に精度の高い判別が可能となる。

【００８５】また、画像判別方法をハード化し、リアル
タイム処理を行う場合に、移動ウィンドウに対するニュ
ーラルネットワーク演算で使用するラインメモリと、フ
ィルタで使用するラインメモリを兼用することによるコ
スト削減が可能となる。

【００８６】また、移動ウィンドウの画像階調数を固定
ブロックの階調数よりも低く設定することにより、ニュ
ーラルネットワークの演算規模が小さくてすみ、画像判
別方法をハード化し、リアルタイム処理を行う場合に、
ニューラルネットワークで必要な演算器のビット幅を小
さくできるため、低コストを実現できる。

【図面の簡単な説明】

【図１】本発明の画像属性判別システムに係る実施の形
態１の２次元画像平面を表す図

【図２】本発明の画像属性判別システムに係る実施の形
態１のニューラルネットワーク構成図

【図３】本発明の画像属性判別システムに係るニューラ
ルネットワークの訓練を説明する図

【図４】本発明の画像属性判別システムに係る実施の形
態１のニューラルネットワーク構成図

【図５】本発明の画像属性判別システムに係る実施の形
態２の２次元画像平面を表す図

【図６】本発明の画像属性判別システムに係る実施の形
態３の２次元画像平面を表す図

【図７】本発明の画像属性判別システムに係る実施の形
態３のニューラルネットワーク構成図

【図８】本発明の画像属性判別システムに係る実施の形
態４の画像属性判別の構成図

【図９】本発明の画像属性判別システムに係る実施の形
態５の２次元画像平面を表す図

【図１０】従来の画像属性判別システムの２次元画像平
面を表す図

【図１１】従来の画像属性判別システムのニューラルネ
ットワーク構成図

【図１２】従来の画像属性判別システムの文字／写真／
網点画像のサンプルを示す図

【図１３】ニューラルネットワークの訓練を説明する図

【符号の説明】

１注目画素２注目画素に対するウィンドウ３文字判定出力４写真判定出力５網点判定出力６ｍ×ｎ画素固定ブロック７ｐ×ｑ画素移動ウィンドウ８注目画素９ｍ×ｎ画素固定ブロックに対するニューラルネット
ワーク判定処理１０ｐ×ｑ画素移動ウィンドウに対するニューラルネ
ットワーク判定処理１１属性再判定処理１２注目画素１３ｍ×ｎ画素固定ブロック１４ｐ×ｑ画素移動ウィンドウ１５注目画素１６ｐ×ｑ画素移動ウィンドウ１７注目画素１８ｍ×ｎ画素固定ブロックに対するニューラルネッ
トワーク判定処理１９判別結果保存メモリ２０ｐ×ｑ画素移動ウィンドウに対するニューラルネ
ットワーク判定処理２１属性再判定処理２２ｐ×ｑ画素移動ウィンドウ２３２次元画像２４注目画素２５ｐ×ｑ画素移動ウィンドウ２６最新の画像データ２７ラインメモリ２８ウィンドウ構成回路２９ｐ×ｑ画素移動ウィンドウに対するニューラルネ
ットワーク判定処理３０ハイパスフィルタ３１弱ハイパスフィルタ３２ローパスフィルタ３３セレクタ３４スキャナ３５注目画素３６ｐ×ｑ画素移動ウィンドウ３７ｍ×ｎ画素固定ブロック

Claims

【特許請求の範囲】

【請求項１】２次元の静止画像データに対して、前記画
像データをｍ画素×ｎ画素のブロック単位に分割する手
段と、前記ｍ画素×ｎ画素ブロック内の前記画像データ
の輝度値（または濃度値）を入力層とし少なくとも網点
領域・文字領域・写真領域を粗判定出力する出力層を持
つ２層以上のニューラルネットワーク（入力層も１層と
勘定する）判定手段と、注目画素に隣接したｐ画素×ｑ
画素（ｐ≦ｍ、ｑ≦ｎ）の移動ウィンドウを形成する手
段と、前記移動ウィンドウ内の前記画像データの輝度値
（または濃度値）と前記ｍ画素×ｎ画素ブロック単位で
の前記網点領域・文字領域・写真領域の粗判定出力値を
入力層とし少なくとも網点領域・文字領域・写真領域を
画素毎に精密判定出力する出力層を持つ２層以上のニュ
ーラルネットワーク（入力層も１層と勘定する）判定手
段を有することを特徴とする画像属性判別システム。
【請求項２】２次元の静止画像データに対して、前記画
像データをｍ画素×ｎ画素のブロック単位に分割する手
段と、前記ｍ画素×ｎ画素ブロック内の前記画像データ
の輝度値（または濃度値）を入力層とし少なくとも網点
領域・文字領域・写真領域を粗判定出力する出力層を持
つ２層以上のニューラルネットワーク（入力層も１層と
勘定する）判定手段と、注目画素に隣接し前記ｍ画素×
ｎ画素のブロックを構成したときの解像度とは異なるｐ
画素×ｑ画素の移動ウィンドウを形成する手段と、前記
移動ウィンドウ内の前記画像データの輝度値（または濃
度値）と前記ｍ画素×ｎ画素ブロック単位での前記網点
領域・文字領域・写真領域の粗判定出力値を入力層とし
少なくとも網点領域・文字領域・写真領域を画素毎に精
密判定出力する出力層を持つ２層以上のニューラルネッ
トワーク（入力層も１層と勘定する）判定手段を有する
ことを特徴とする画像属性判別システム。
【請求項３】前記ｍ画素×ｎ画素のブロックを構成する
画素の解像度は、前記ｐ画素×ｑ画素の移動ウィンドウ
を構成する画素の解像度よりも低く設定することを特徴
とする請求項２記載の画像属性判別システム。
【請求項４】２次元の静止画像データに対して、前記画
像データをｍ画素×ｎ画素のブロック単位に分割する手
段と、前記ｍ画素×ｎ画素ブロック内の前記画像データ
の輝度値（または濃度値）を入力層とし少なくとも網点
領域・文字領域・写真領域を粗判定出力する出力層を持
つ２層以上のニューラルネットワーク（入力層も１層と
勘定する）判定手段と、前記ｍ画素×ｎ画素から構成さ
れるブロックの前記粗判定手段による判定結果を一時保
存する保存手段と、注目画素に隣接したｐ画素×ｑ画素
の移動ウィンドウを形成する手段と、前記移動ウィンド
ウ内の前記画像データの輝度値（または濃度値）を入力
層とし少なくとも網点領域・文字領域・写真領域を画素
毎に精密判定出力する出力層を持つ２層以上のニューラ
ルネットワーク（入力層も１層と勘定する）判定手段
と、前記保存手段に保存されている前記粗判定結果のう
ち注目画素の存在する前記ｍ画素×ｎ画素ブロックとそ
れに隣接するブロックの前記粗判定結果と、前記注目画
素に隣接したｐ画素×ｑ画素から前記精密判定出力され
た結果と、前記注目画素の座標を入力とし、これらの入
力から少なくとも網点領域・文字領域・写真領域を再度
判定出力する属性再判定手段を有することを特徴とする
画像属性判別システム。
【請求項５】２次元の静止画像データに対して、前記画
像データをｍ画素×ｎ画素のブロック単位に分割する手
段と、前記ｍ画素×ｎ画素ブロック内の前記画像データ
の輝度値（または濃度値）を入力層とし少なくとも網点
領域・文字領域・写真領域を粗判定出力する出力層を持
つ２層以上のニューラルネットワーク（入力層も１層と
勘定する）判定手段と、注目画素に隣接したｐ画素×ｑ
画素（ｐ≦ｍ、ｑ≦ｎ）の移動ウィンドウを形成する手
段と、前記移動ウィンドウ内の前記画像データの輝度値
（または濃度値）と前記ｍ画素×ｎ画素ブロック単位で
の前記網点領域・文字領域・写真領域の粗判定出力値を
入力層とし少なくとも網点領域・文字領域・写真領域を
画素毎に精密判定出力する出力層を持つ２層以上のニュ
ーラルネットワーク（入力層も１層と勘定する）判定手
段と、前記画素毎に精密判定出力の結果に応じてフィル
タの特性を切り替える手段と、前記網点領域・文字領域
・写真領域を画素毎に精密判定出力するニューラルネッ
トワークで使用するラインメモリと前記フィルタで使用
する前記ラインメモリを兼用する手段を有することを特
徴とする画像属性判別システム。
【請求項６】２次元の静止画像データに対して、前記画
像データをｍ画素×ｎ画素のブロック単位に分割する手
段と、前記ｍ画素×ｎ画素ブロック内の前記画像データ
の輝度値（または濃度値）を入力層とし少なくとも網点
領域・文字領域・写真領域を粗判定出力する出力層を持
つ２層以上のニューラルネットワーク（入力層も１層と
勘定する）判定手段と、注目画素に隣接し前記ｍ画素×
ｎ画素のブロックを構成したときの階調数とは異なるｐ
画素×ｑ画素（ｐ≦ｍ、ｑ≦ｎ）の移動ウィンドウを形
成する手段と、前記移動ウィンドウ内の前記画像データ
の輝度値（または濃度値）と前記ｍ画素×ｎ画素ブロッ
ク単位での前記網点領域・文字領域・写真領域の粗判定
出力値を入力層とし少なくとも網点領域・文字領域・写
真領域を画素毎に精密判定出力する出力層を持つ２層以
上のニューラルネットワーク（入力層も１層と勘定す
る）判定手段を有することを特徴とする画像属性判別シ
ステム。
【請求項７】前記ｐ画素×ｑ画素の移動ウィンドウを構
成する画素の階調数は、前記ｍ画素×ｎ画素のブロック
を構成する画素の階調数よりも低く設定することを特徴
とする請求項６記載の画像属性判別システム。