JPH1132206A - 画像処理装置 - Google Patents

Abstract

(57)【要約】 【課題】 合成時の白抜けや画像品質の劣化を抑え、ま
た、分離圧縮時の圧縮効率を高めた画像処理装置を提供
する。 【解決手段】 画像入力部１に入力された画像を、画像
分離部２において文字または線画の形状を示す画像Ｓ
と、文字または線画の色情報を示す画像Ｐと、入力画像
から文字または線画のデータを削除した画像Ｉに分離す
る。画像Ｉは画像記憶部３に一時保持される。画像Ｉ
は、文字または線画が存在していた部分が白抜けとなっ
ている。画像処理部４において、画像Ｉの白抜け領域の
画素について、白抜け領域の周辺の画素値を参照して画
素値を埋め込む処理を行なう。これによって画像Ｉの文
字や線画が存在していた部分も平坦な画像となり、文字
・線画との合成時に白抜けは発生せず、圧縮効率を高め
ることができる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、入力された画像情
報を複数の画像情報に分離して処理を行なう画像処理装
置に関するものである。

【０００２】

【従来の技術】入力された画像を保存や転送する場合に
は、なるべくデータ量を減少させることが望まれる。デ
ータ量を削減するために、入力画像を例えば文字や線画
情報と、それ以外の１以上の画像情報に分離し、それぞ
れ最適なデータ圧縮処理が施される場合がある。また、
データ圧縮処理前に、分離された画像情報毎に異なる解
像度へ画像を変換し、データ量をさらに削減する場合も
ある。

【０００３】特開平４−１０５１７８号公報では、入力
画像から文字領域と図表領域とイメージ領域を分離抽出
し、各領域に含まれる情報に適するデータに変換後、再
構築する構成が開示されている。

【０００４】図１６は、従来の画像処理装置における画
像分離処理の具体例の説明図である。図１６（Ａ）は入
力画像であり、ハッチングを施して示した部分はイメー
ジであり、イメージの上に文字「ＡＢＣ」が重なってい
る。このような入力画像に対して画像分離処理を行なう
と、図１６（Ｂ）に示すような文字領域を表わす画像
と、図１６（Ｂ）に示すようなイメージ領域を表わす画
像に分離される。上述の文献では、分離された文字領域
について文字認識処理を行ない、データ量を削減してい
る。

【０００５】一般にイメージ部分の画像は、データ量が
多い。例えば６００ｄｐｉのスキャナーからＡ４サイズ
の画像をＲＧＢ各色８ビットで読み取った場合のデータ
量は、約１０８Ｍバイトになってしまう。現状では一般
に文字や線画部分の解像度は６００ｄｐｉまたはこれ以
上の高解像度が必要とされているが、イメージ部分の解
像度は文字や線画部分と比べて低解像度でも差し支えな
い。そのため、イメージ部分の解像度を文字部分よりも
下げたり、ＪＰＥＧベースライン方式に代表されるよう
な圧縮手法を用いてデータ量を削減し、データの保持や
通信が行なわれている。

【０００６】例えば図１６（Ａ）に示す入力画像からイ
メージ部分のみピックアップした図１６（Ｃ）に示す画
像を低解像度で保持する場合を考える。出力する際には
低解像度で保持している画像を元の解像度へ解像度変換
し、図１６（Ｂ）に示す文字部画像と合成する。このと
き、イメージ部分を元の解像度へ変換した際に図１６
（Ｃ）に示す画像とエッジ部分で相違することがあり、
文字部分とイメージ部分の境界部に白抜けが発生する可
能性がある。

【０００７】また、図１６（Ｃ）に示すように、イメー
ジ領域のみを分離した画像上では、文字が存在していた
領域が白抜けする。特にイメージ上に細かい文字が多く
書かれている場合には、イメージ領域のみ分離した画像
上で白抜けが頻繁に存在し、画像中の高周波成分が大き
くなる。このような画像を、ＪＰＥＧベースライン方式
等の離散コサイン変換を用いた可変長かつ非可逆データ
圧縮方式を用いて圧縮すると、圧縮率の低下や、圧縮伸
長後の画像品質の劣化するという問題もある。

【０００８】

【発明が解決しようとする課題】本発明は、上述した事
情に鑑みてなされたもので、合成時の白抜けや画像品質
の劣化を抑え、また、分離圧縮時の圧縮効率を高めた画
像処理装置を提供することを目的とするものである。

【０００９】

【課題を解決するための手段】本発明は、入力された画
像情報を文字または線画情報からなる第１の画像情報
と、文字または線画情報以外の情報からなる第２の画像
情報に分離し、分離された第２の画像情報については、
第１の画像情報として分離された領域の一部または全部
に対して、当該領域の周囲の画素を参照して画像情報を
埋め込む。これによって第２の画像情報を低解像度に変
換し、再び元の解像度に戻して第１の画像情報と合成し
ても、埋め込まれた画像情報によって白抜けを起こすこ
とはない。また、イメージ部分に文字や線画が存在して
いても、第２の画像情報では文字や線画の部分に周囲の
画素を参照して、例えば圧縮効率が高くなるように画像
情報を埋め込むことができる。そのため、文字や線画が
存在していた部分で第２の画像情報の圧縮効率が低下す
ることはなく、効率よく圧縮することができるととも
に、復元時の画像品質を維持することができる。

【００１０】

【発明の実施の形態】図１は、本発明の画像処理装置の
実施の一形態を示すブロック図である。図中、１は画像
入力部、２は画像分離部、３，５〜７は画像記憶部、４
は画像処理部である。画像入力部１は、イメージスキャ
ナ等の画像入力装置あるいはネットワークから画像を入
力するインターフェース部などによって構成され、入力
された画像を画像分離部２に渡す。入力された画像は、
カラー画像や濃淡画像などであってよい。

【００１１】画像分離部２は、入力された画像を文字ま
たは線画の領域とそれ以外の領域に分離する。この例で
は、文字または線画の領域については、「文字または線
画の形状を示すデータ」と、「文字または線画の色情報
を示すパレットデータ」の２つのデータに分離する。ま
た文字または線画の領域以外の領域の画像とは、入力画
像から「文字または線画のデータを削除したデータ」で
ある。以下、「文字または線画の形状を示すデータ」を
画像Ｓ、「文字または線画の色情報を示すパレットデー
タ」を画像Ｐ、「文字または線画のデータを削除したデ
ータ」を画像Ｉと略す。分離した画像Ｉは画像記憶部３
へ、画像Ｓは画像記憶部６へ、画像Ｐは画像記憶部７へ
それぞれ格納する。この画像分離部２における画像の分
離方法は、例えば特開平３−１２６１８０号公報や、上
述の特開平４−１０５１７８号公報に記載されている方
式など、多くの方式が提案されており、どのような方式
を採用するかは任意である。

【００１２】画像処理部４は、画像記憶部３に格納され
ている画像Ｉ中の文字または線画として抽出されて抜け
ている部分に対し、画像記憶部６に格納されている画像
Ｓを用いて補正処理を施し、画像記憶部５に格納する。

【００１３】画像記憶部５は、画像処理部４で補正処理
された画像Ｉが格納される。画像記憶部５，６，７に格
納されている補正処理された画像Ｉ、画像Ｓ、画像Ｐ
は、それぞれ出力される。出力された各画像は、例えば
解像度変換したり符号化して、データベースに格納した
り、あるいはネットワークなどによって通信したりする
ことができる。解像度変換や符号化の際には、それぞれ
の画像について、それぞれの画像の特性に応じた解像度
に変換したり、それぞれの画像の特性に応じた符号化方
式で符号化すればよい。一例としては、画像Ｉは解像度
を下げてＪＰＥＧベースライン方式等により符号化して
格納することができる。また、画像Ｓはそのままの解像
度で例えばＪＢＩＧ方式などによって符号化して格納す
ることができる。画像Ｐは、非常に解像度を下げて、例
えばＪＰＥＧベースライン方式等によって符号化して格
納することができる。

【００１４】以下、画像処理部４における処理動作の例
について説明する。図２は、画像データの説明図であ
る。以下の説明では画像を２次元の座標で扱い、図２に
示すように画像の左上の座標を（ｉ，ｊ）＝（１，
１）、右上の座標を（ｉ，ｊ）＝（ｉ_max ，１）、左下
の座標を（ｉ，ｊ）＝（１，ｊ_max ）、右下の座標を
（ｉ，ｊ）＝（ｉ_max ，ｊ_max ）とする。

【００１５】また以下の説明において、Ｓ（ｉ，ｊ）は
画像Ｓの座標（ｉ，ｊ）に対応する画素値、Ｉ（ｉ，
ｊ）は画像Ｉの座標（ｉ，ｊ）に対応する画素値を表わ
すものとする。ここで、画像Ｓは１ビットのデータであ
り、各画素値Ｓ（ｉ，ｊ）＝１は「文字または線画」で
あることを示し、Ｓ（ｉ，ｊ）＝０は当該画素が「文字
または線画」以外であることを表わす。また、画像Ｉは
階調を持ったデータであり、カラーの場合には画素値Ｉ
（ｉ，ｊ）は例えば「赤（Ｒ）、青（Ｂ）、緑（Ｇ）」
のような複数の色に分色されたデータをそれぞれ多値デ
ータ（例えば８ビットで２５６階調）で表わされる。以
下の説明では一つの色成分について示すが、複数の色成
分に分色されている場合には、それぞれの色に対して同
じ演算を施せばよい。

【００１６】図３、図４は、画像処理部の第１の動作例
を示すフローチャートである。ここでは、画像処理部４
は、画像Ｉ中の文字または線画として抽出されて抜けて
いる部分に対し、その部分の両端部の画素値を用いて埋
め込む例を示している。より具体的には、各ライン（各
ｊ）ごとに画像Ｓを参照し、画素値が０から１に変わる
点を検出して文字や線画の存在する部分の左端（開始
点）とする。同様に、画像Ｓの画素値が１から０に変わ
る点を検出して右端（終了点）を求める。検出された開
始点から終了点までが画像Ｉにおける白抜け部分であ
る。この白抜け部分を埋める処理として、この例では、
その中央より左側では左端部の画像Ｉの画素値により埋
め、中央より右側では右端部の画像Ｉの画素値により埋
める。これによって画像Ｉ中の文字または線画として抽
出されて白抜け部分を各ラインごとに埋めてゆく。

【００１７】まずＳ２１において、処理を行なうライン
ｊを０として初期化し、次にＳ２２において、ｊに１を
加えて次のラインを処理ラインとする。処理開始直後で
はｊ＝０に１を加え、ｊ＝１となって先頭ラインを示す
ようになる。またＳ２２では処理ラインｊ中の処理すべ
き列ｉを０として初期化し、Ｓ２３においてｉに１を加
え、次の画素を注目画素とする。各ラインの先頭では、
ｉ＝０に１を加え、ｉ＝１となってラインの先頭画素を
示すようになる。

【００１８】Ｓ２３〜Ｓ２９では、画像Ｉにおける白抜
け領域の開始点を検出する。Ｓ２３でｉを更新後、Ｓ２
４において画像Ｓを参照して開始点か否かを判定する。
すなわち、画像Ｓにおける注目画素に対応する位置の画
素値Ｓ（ｉ，ｊ）が０で、次の画素値Ｓ（ｉ＋１，ｊ）
が１か否かを検出する。この条件を満足する場合、文字
や線画領域の開始点であるものとして、Ｓ４７において
変数αに画像Ｉにおいて対応する座標を持つ画素値Ｉ
（ｉ，ｊ）を格納し、変数Ａにその座標ｉを格納してＳ
３０に進む。変数αは、白抜け領域の開始点における画
素値を保存し、変数Ａは開始点の座標を保存する。

【００１９】また、Ｓ２４の条件を満足しない場合、ラ
インの先頭から白抜け領域となっている場合も考えられ
るので、Ｓ２５においてｉ＝１、すなわちラインの先頭
か否かを判定して、ラインの先頭の場合にはＳ２８にお
いて画像Ｓの画素値Ｓ（ｉ，ｊ）が１か否かを判定す
る。ラインの先頭で画像Ｓの画素値Ｓ（ｉ，ｊ）が１の
場合には、ラインの先頭から白抜け領域となっている。
この場合にはＳ２９において埋めるべき画素値として変
数αに０を、開始点の座標として変数Ａに１を格納し、
Ｓ３０に進む。

【００２０】Ｓ２５において注目画素がラインの先頭で
ない場合には、Ｓ２６において注目画素がラインの右端
の１画素手前まで達したか否かを判定し、右端の１画素
手前まで達していれば、次のラインの処理に移行すべく
Ｓ３９へ進む。なお、右端の画素については次の画素が
存在しないのでＳ２４における判定を行なう必要はな
く、開始点の検出の処理は行なわない。Ｓ２４で開始点
が検出されず、さらにＳ２６において注目画素がライン
の右端の２画素以上手前である場合、またはＳ２５にお
いてラインの開始点と判定されたがＳ２８において開始
点が文字や線画でなかった場合には、Ｓ２３へ戻り、ｉ
に１を加えて注目画素を次の画素に移す。

【００２１】このような処理を繰り返してゆく過程で、
ラインｊ上の白抜け部分の開始点（ラインの先頭から始
まる場合を含む）が検出された場合には、Ｓ３０へ進
む。Ｓ３０〜Ｓ３４では白抜け領域の終了点を検出する
処理である。Ｓ３０においてｉに１を加えて注目画素を
次の画素に移した後、Ｓ３１において、画像Ｓにおける
注目画素に対応する位置の画素値Ｓ（ｉ，ｊ）が１で、
次の画素値Ｓ（ｉ＋１，ｊ）が０か否かを判定する。条
件を満たす場合、Ｓ３３において変数βに画像Ｉにおい
て対応する座標を持つ画素値Ｉ（ｉ＋１，ｊ）を格納
し、変数Ｂにはその座標ｉ＋１を代入して、Ｓ３５に進
む。変数βは、白抜け領域の終了点における画素値を保
存し、変数Ｂは終了点の座標を保存する。

【００２２】Ｓ３１において条件を満たさない場合に
は、Ｓ３２において注目画素が右端の手前の画素か否か
を判定する。すなわち、白抜け領域がラインの右端まで
連続している場合を判定する。白抜け領域がラインの右
端まで達している場合には、Ｓ３４において変数βに画
素値として０を格納し、変数Ｂに終了点の座標としてｉ
_max を格納する。Ｓ３１で終了点が検出されず、注目画
素がラインの右端の２画素以上手前である場合には、Ｓ
３０へ戻り、ｉに１を加えて次の画素を注目画素とす
る。

【００２３】このような処理を繰り返すことによって、
Ｓ２３〜Ｓ２９の処理で白抜け領域の開始点が検出され
た場合のその白抜け領域の終了点を検出する。そしてＳ
３５へ進む。

【００２４】Ｓ３５〜Ｓ３７は、白抜け領域に保存して
おいた画素値を埋め込む処理を行なう。まずＳ３５にお
いて、白抜け領域の開始点における画素値（変数αの
値）と終了点における画素値（変数βの値）を比較し、
同じ値であればＳ３７において画像Ｉの画素値Ｉ（Ａ，
ｊ）〜Ｉ（Ｂ，ｊ）までを一律に変数αまたは変数βの
値とする。また、変数αと変数βの値が異なる場合に
は、Ｓ３６において、画像Ｉの画素値Ｉ（Ａ，ｊ）〜Ｉ
（Ａ＋［（Ｂ−Ａ）／２］，ｊ）を変数αの値とし、画
素値Ｉ（Ａ＋［（Ｂ−Ａ）／２］＋１，ｊ）〜Ｉ（Ｂ，
ｊ）を変数βの値とする。ここで、［］はガウス記号を
表わしている。このようにして白抜け領域はその開始点
または終了点の画素値によって埋められる。

【００２５】Ｓ３８において注目画素がラインの右端ま
で達したか否か、すなわち１ラインの処理を全て終えた
か否かを判定し、ラインの途中である場合にはＳ２３へ
戻り、白抜け領域の開始点の検出を続ける。また、１ラ
インの処理を終えた場合には、Ｓ３９において処理ライ
ンが最終ラインであったか否かを判定し、最終ラインで
ない場合にはＳ２２へ戻り、次のラインを処理ラインと
して処理を続ける。最終ラインまで処理を繰り返し行な
い、最終ラインの処理が終了した場合は画像処理部４に
おける処理を終了する。

【００２６】上述の例では白抜け領域の開始点と終了点
における画素値が異なる場合に、中央点Ｃ＝Ａ＋［（Ｂ
−Ａ）／２］を境としてその左側を開始点における画素
値、その右側を終了点における画素値とした。しかしこ
れに限らず、境界とする点は開始点、終了点に依存する
ものであれば任意に決めることができる。もちろん、開
始点あるいは終了点の画素値のいずれかで白抜け領域す
べてを埋めてもよい。

【００２７】また、上述の第１の動作例ではライン毎に
処理を行なうため、必要とするメモリ量は少なくてよ
い。さらに、１画素毎ではなく連続した白抜け部分の画
素値を一度に変換するために、処理時間が短縮できる。
しかも、処理後の画像Ｉにおいては、文字や線画の存在
していた部分において開始点や終了点から同じ画素値が
連続するため、例えばラインごとに変化点を検出するよ
うな圧縮方法を用いて画像Ｉを符号化した場合、符号化
効率を向上させることができる。

【００２８】上述の第１の動作例を、具体例を用いて説
明する。図５は、入力画像および分離された各画像の具
体例の説明図である。図５（Ａ）は入力画像の具体例を
示しており、写真などの中間調画像上に「ＡＢＣ」の３
文字が書かれている画像である。中間調部分にはその濃
度に応じたハッチングを施して示している。このような
入力画像は、画像分離部２によって図５（Ｂ）に示す画
像Ｉ、図５（Ｃ）に示す画像Ｓ、図５（Ｄ）に示す画像
Ｐに分離される。この状態では画像Ｉにおいて文字「Ａ
ＢＣ」が書かれていた部分が図５（Ｂ）に示すように白
抜けの状態となっている。

【００２９】図６は、分離された各画像および処理後の
画像Ｉにおける画素値の具体例の説明図である。図５
（Ｂ）および図５（Ｃ）における横線１１上の画素値の
一部を図６（Ｂ）および図６（Ａ）に示している。な
お、図６では説明を簡単にするため非常に低解像度の場
合を示している。図６（Ｂ）に示す画像Ｉにおいて、画
素値は８ビットで「０」を白、「２５５」を黒とし、図
５において右上がりのハッチングを施した部分を画素値
２０、クロスハッチングを施した部分を画素値５０、境
界を画素値９０としている。画像分離部２によって分離
した結果、図５（Ｂ）に示す画像Ｉにおいて文字「ＡＢ
Ｃ」が削除された部分は、図６（Ｂ）に示すように画素
値が０になっている。また、文字や線画として分離され
た画像Ｓにおいては、図６（Ａ）に示すように、文字
「ＡＢＣ」が存在している部分についてのみ１となって
いる。なおこの例では、文字「ＡＢＣ」の濃度等は画像
Ｐに分離されている。

【００３０】いま、処理ラインｊが図５（Ｂ）および図
５（Ｃ）において示した横線１１のラインであるものと
する。図３、図４に示したフローチャートに従い、この
ラインの左端から順に注目画素を右方向にずらしながら
処理を進めてゆく。ｉ＝ｐのとき、図６（Ａ）からＳ
（ｐ，ｊ）＝０、Ｓ（ｐ＋１，ｊ）＝１であるのでＳ２
４の条件が成立し、画像Ｉにおける開始点が検出され
る。Ｓ２７において変数αにＩ（ｐ，ｊ）＝２０が格納
され、変数Ａにｐが格納される。

【００３１】次にｉ＝ｑにおいてＳ（ｑ，ｊ）＝１、Ｓ
（ｑ＋１，ｊ）＝０となり、Ｓ３１の条件が成立する。
これによって画像Ｉの白抜け部分の終了点を検出し、Ｓ
３３において変数βにＩ（ｑ＋１，ｊ）＝２０、変数Ｂ
にｑ＋１が格納される。

【００３２】そして、変数Ａに格納されている位置ｐか
ら変数Ｂに格納されている位置ｑ＋１までの白抜け部分
を埋める。Ｓ３５において、変数αと変数βの値を比較
すると、値は等しいのでＳ３７において白抜け部分を変
数αまたは変数βの値２０で埋める。これによって図６
（Ｃ）に示すように位置ｐからｑ＋１までの白抜け領域
が値２０となり、白抜け領域であった部分を含め、値２
０の部分が連続することになる。

【００３３】同様にして位置ｒからｓ＋１までの領域、
位置ｔからｕ＋１までの領域、位置ｖからｗ＋１までの
領域の各白抜け部分では、その開始点あるいは終了点の
画素値５０によって埋められる。さらに、位置ｘからｙ
＋１までの白抜け領域では、開始点の画素値αが５０、
終了点の画素値βが２０であり、αとβが等しくない。
そのため、Ｓ３６において、位置ｘ＋１，ｘ＋２につい
ては画素値５０、位置ｙ−１，ｙについては画素値２０
が埋められる。

【００３４】このようにして、図６（Ｃ）に示すような
一連の画素値が得られる。これは図６（Ｂ）において存
在していた白抜け部分が埋められた画像を示している。
さらに図６（Ｃ）に示すように、白抜け部分を埋めるこ
とによってその周囲とも画素値が連続し、同じ画素値を
有する区間が長くなっている。これによって例えばＭＨ
符号化等のようにランレングスを用いた符号化や、ライ
ンごとの予測符号化を行なう場合には、ラン長が長くな
りまた予測が的中しやすくなるため、符号化効率を向上
させることができる。

【００３５】また、図５（Ｂ）に示すように白抜け部分
を有する画像Ｉを、データ量を減少させるために低解像
度の画像に解像度変換して保存しておき、出力時に元の
解像度に戻すと、白抜け部分のエッジが例えばぎざぎざ
になるなどして、もとの形状に戻らない場合がある。こ
のような状態で図５（Ｃ）および図５（Ｄ）に示す画像
Ｓおよび画像Ｐを用いて合成すると、文字の周囲に白抜
けが発生する恐れがある。しかし、本発明では白抜け部
分を埋めているので、文字との境界は画像Ｉには存在し
なくなり、解像度変換による影響は受けない。そのた
め、合成後の画像に白抜けが発生する恐れはなくなり、
良好な画像を出力することが可能となる。

【００３６】さらに、この第１の動作例ではライン毎の
処理を行なうため、必要とするメモリが非常に少なくて
済み、また埋め込む画素値を周辺画素と同じ画素値とす
ることによって処理が簡単であり、高速な処理が可能で
ある。

【００３７】図７、図８は、画像処理部の第２の動作例
を示すフローチャートである。上述の第１の動作例で
は、白抜け部分を埋める際に、白抜け部分の開始点およ
び終了点の画素値をそのまま用いて埋めた。この第２の
動作例では、白抜け部分の開始点および終了点の画素値
から、新たに白抜け部分の画素値を作り出す場合を示
す。

【００３８】図７、図８において、図３、図４と同様の
処理を行なう部分には同じ符号を付してあり、その部分
の説明を省略する。上述の第１の動作例と異なるのは、
Ｓ３６の処理がＳ４１の処理に変更されている点のみで
ある。Ｓ３５に至るまでの処理によって、白抜け部分の
開始点の座標とその画素値および終了点の座標とその画
素値が得られている。Ｓ３５において開始点の画素値α
と終了点の画素値βが等しくない場合、Ｓ４１において
白抜け部分の画素値を生成する。

【００３９】Ｓ４１では、白抜け部分の画素値すなわち
画素値Ｉ（Ａ，ｊ）〜Ｉ（Ｂ，ｊ）を、それぞれ開始点
Ａと終了点Ｂからの距離に応じて次のように決定する。 Ｉ（ｉ，ｊ）＝｛（ｉ−Ａ）β＋（Ｂ−ｉ）α｝／（Ｂ−Ａ） …（１） 画素値Ｉ（Ａ，ｊ）〜Ｉ（Ｂ，ｊ）をこの（１）式によ
って変換した後はＳ３８へ進み、終了するまで処理を続
ける。

【００４０】図９は、画像処理部の第２の動作例におけ
る画像Ｉの画素値の具体例の説明図である。上述の第１
の動作例と同様に、図５（Ａ）に示す入力画像が図５
（Ｂ）〜（Ｄ）に示す各画像に分離されたものとする。
図９（Ａ），（Ｂ）は図６（Ａ），（Ｂ）と同じもので
あり、図５（Ｃ），（Ｂ）に示す画像Ｓ，画像Ｉの横線
１１上の一部の画素値の具体例を示している。この第２
の動作例では、特に一点鎖線で囲んだ部分が上述の第１
の動作例と異なる動作を行なう部分である。

【００４１】図７、図８に示したフローチャートに沿っ
て具体例について動作を説明するが、特に上述の第１の
動作例と異なる部分のみについて説明する。位置ｐ〜ｑ
＋１，位置ｒ〜ｓ＋１，位置ｔ〜ｕ＋１，位置ｖ〜ｗ＋
１の各白抜け領域については、その開始点および終了点
の画素値が等しいので、Ｓ３７において開始点あるいは
終了点の画素値で白抜け領域が埋められる。

【００４２】位置ｘにおいて開始点が検出され、その位
置が変数Ａに格納されるとともに画素値５０が変数αに
格納される。また、位置ｙにおいて終了点が検出され、
その位置ｙ＋１が変数Ｂに格納されるとともに画素値２
０が変数βに格納される。Ｓ３５において変数αと変数
βの値を比べると異なるので、Ｓ４１において白抜け領
域を埋める処理が行なわれる。例えばＩ（ｘ＋１，ｊ）
は上述の（１）式より、 （１・β＋４・α）／５＝（２０＋２００）／５＝４４ となり、画素値４４が埋め込まれる。同様にして位置ｙ
の画素まで埋められる。このようにして画素が埋められ
た結果を図９（Ｃ）に示している。位置ｘから位置ｙ＋
１までの間の画素値が段階的に変化していることがわか
る。

【００４３】このように、白抜け領域の画素を段階的に
変化させて埋め込むことによって、階調の急激な変動を
少なくし、高周波成分の発生を抑えることができる。そ
のため、例えば離散コサイン変換等の周波数成分への変
換を伴う符号化方式を用いる場合においては、符号量を
低減し、また復号された画像の品質劣化を抑えることが
できる。

【００４４】もちろん、画像Ｉにおいて文字や線画とし
て分離されて白抜けとなっている部分が埋められている
ので、画像Ｉを低解像度に変換後、元の解像度に再変換
して文字や線画と合成しても、文字や線画のエッジ部分
に白抜けは発生せず、良好な合成画像を得ることができ
る。また、この第２の動作例もライン毎の処理を行なう
ため、必要とするメモリが非常に少なくて済むという利
点がある。

【００４５】次に画像処理部４の第３の動作例について
説明する。上述の第１および第２の動作例では、画像Ｉ
において白抜けした部分を埋める際に、同じライン上に
ある周辺２画素を参照し、白抜け部分の画素値を決定し
た。この第３の動作例では、同じライン上の周辺２画素
とともに、同じカラム上の周辺２画素を参照し、合計４
画素の画素値から新たに白抜け領域の各画素値を作り出
す例を示している。

【００４６】図１０ないし図１２は、画像処理部の第３
の動作例を示すフローチャートである。Ｓ５１〜Ｓ５３
は図３におけるＳ２１〜Ｓ２３と同様の処理であり、ま
ずＳ２１においてｊ＝０として初期化し、次にＳ２２に
おいて、ｊに１を加えて次のラインを処理ラインとす
る。またＳ２２ではｉ＝０として初期化し、Ｓ２３にお
いてｉに１を加え、次の画素を注目画素とする。

【００４７】Ｓ５３〜Ｓ５９は図３におけるＳ２３〜Ｓ
２９と同様の処理であり、画像Ｉにおける白抜け領域の
開始点を検出する。Ｓ５３でｉを更新後、Ｓ５４におい
て画像Ｓを参照して開始点か否かを判定する。すなわ
ち、画像Ｓにおける注目画素に対応する位置の画素値Ｓ
（ｉ，ｊ）が０で、次の画素値Ｓ（ｉ＋１，ｊ）が１か
否かを検出する。この条件を満足する場合、文字や線画
領域の開始点であるものとして、Ｓ５７において変数α
１に画像Ｉにおいて対応する座標を持つ画素値Ｉ（ｉ，
ｊ）を格納し、変数Ａ１にその座標ｉを格納する。さら
に、このときの座標ｊを変数Ｃに格納し、Ｓ６０に進
む。変数α１は、白抜け領域のライン方向の開始点にお
ける画素値を保存し、変数Ａ１にはライン方向の開始点
の座標を保存する。

【００４８】また、Ｓ５４の条件を満足しない場合、ラ
インの先頭から白抜け領域となっている場合も考えられ
るので、Ｓ５５においてｉ＝１、すなわちラインの先頭
か否かを判定して、ラインの先頭の場合にはＳ５８にお
いて画像Ｓの画素値Ｓ（ｉ，ｊ）が１か否かを判定す
る。ラインの先頭で画像Ｓの画素値Ｓ（ｉ，ｊ）が１の
場合には、ラインの先頭から白抜け領域となっている。
この場合にはＳ５９においてライン方向の開始点の画素
値として変数α１に０を、ライン方向の開始点の座標と
して変数Ａ１に１を格納する。さらに、このときの座標
ｊを変数Ｃに格納し、Ｓ６０に進む。

【００４９】Ｓ５５において注目画素がラインの先頭で
ない場合には、Ｓ５６において注目画素がラインの右端
の１画素手前まで達したか否かを判定し、右端の１画素
手前まで達していれば、次のラインの処理に移行すべく
Ｓ８２へ進む。なお、右端の画素については次の画素が
存在しないのでＳ５４における判定を行なう必要はな
く、開始点の検出の処理は行なわない。Ｓ５４で開始点
が検出されず、さらにＳ５６において注目画素がライン
の右端の２画素以上手前である場合、またはＳ５５にお
いてラインの開始点と判定されたがＳ５８において開始
点が文字や線画でなかった場合には、Ｓ５３へ戻り、ｉ
に１を加えて注目画素を次の画素に移す。

【００５０】このような処理を繰り返してゆく過程で、
ラインｊ上の白抜け部分の開始点が検出できる。開始点
が検出された場合には、Ｓ６０へ進む。Ｓ６０〜Ｓ６４
では、図３のＳ３０〜Ｓ３４と同様に、白抜け領域のラ
イン方向の終了点を検出する。Ｓ６０においてｉに１を
加えて注目画素を次の画素に移した後、Ｓ６１におい
て、画像Ｓにおける注目画素に対応する位置の画素値Ｓ
（ｉ，ｊ）が１で、次の画素値Ｓ（ｉ＋１，ｊ）が０か
否かを判定する。条件を満たす場合、Ｓ６３において変
数β１画像Ｉにおいて対応する座標を持つ画素値Ｉ（ｉ
＋１，ｊ）を格納し、変数Ｂ１はその座標ｉ＋１を代入
して、Ｓ６５に進む。変数β１は、白抜け領域のライン
方向の終了点における画素値を保存し、変数Ｂ１はライ
ン方向の終了点の座標を保存する。

【００５１】Ｓ６１において条件を満たさない場合に
は、Ｓ６２において注目画素が右端の手前の画素か否か
を判定する。すなわち、白抜け領域がラインの右端まで
連続している場合を判定する。白抜け領域がラインの右
端まで達している場合には、Ｓ６４において変数β１に
画素値として０を格納し、変数Ｂ１に終了点の座標とし
てｉ_max を格納する。Ｓ６１で終了点が検出されず、注
目画素がラインの右端の２画素以上手前である場合に
は、Ｓ６０へ戻り、ｉに１を加えて次の画素を注目画素
とする。

【００５２】このような処理を繰り返すことによって、
Ｓ５３〜Ｓ５９の処理で白抜け領域のライン方向の開始
点が検出された場合のその白抜け領域のライン方向の終
了点を検出することができる。そしてＳ６５へ進む。

【００５３】Ｓ６５〜Ｓ８０では、上述のようにして検
出した白抜け領域の開始点の次の画素から終了点の手前
の画素までについて、それぞれの画素値を算出して埋め
込む処理を行なう。Ｓ６５においてｉを白抜け領域のラ
イン方向の開始点である変数Ａ１にセットし、Ｓ６６に
おいて、ｉに１を加えて画素値を埋め込むべき画素を次
の画素に設定する。例えばＳ６５でｉを変数Ａ１にセッ
トした直後では、白抜け領域の開始点の次の画素とな
る。そしてＳ６７〜Ｓ７９で画素値を算出して埋め込
み、Ｓ８０で座標ｉが白抜け領域のライン方向の終了点
Ｂ１の手前の画素の座標であるか否か、すなわち白抜け
領域のライン方向のすべての画素について埋め込み処理
が終了したか否かを判定し、未処理の画素が残っている
場合にはＳ６６へ戻って座標ｉに１を加え、画素値を埋
め込むべき画素として次の画素を設定して処理を繰り返
す。

【００５４】Ｓ６７〜Ｓ７９において埋め込むべき画素
値を算出して埋め込む処理を行なうが、この動作例では
同じカラム上の白抜け領域の開始点および終了点の２画
素の画素値も参照する。そのために、Ｓ６７〜Ｓ７１で
はカラム方向の白抜け領域の開始点を求め、Ｓ７２〜Ｓ
７７ではカラム方向の白抜け領域の終了点を求める。

【００５５】Ｓ６７〜Ｓ７１では、画素値を埋め込むべ
き画素についてカラム方向の座標ｊを減少させてゆき、
カラム方向の開始点を検出する。Ｓ６７においてｊから
１を減じ、Ｓ６８においてラインｊの同じカラム位置に
おける画像Ｓの画素値Ｓ（ｉ，ｊ）が０で、次のライン
ｊ＋１の同じカラム位置における画像Ｓの画素値Ｓ
（ｉ，ｊ＋１）が１か否かを判定する。条件を満たす場
合、Ｓ７０において変数α２に画像Ｉにおいて対応する
座標を持つ画素値Ｉ（ｉ，ｊ）を格納し、変数Ａ２には
その座標ｊを代入して、Ｓ７２に進む。変数α２は、白
抜け領域のカラム方向の開始点における画素値を保存
し、変数Ａ２はカラム方向の開始点の座標を保存する。

【００５６】Ｓ６８において条件を満たさない場合に
は、Ｓ６９においてｊ＝１か否か、すなわち上端のライ
ンまで達したか否かを判定する。この判定で、白抜け領
域が上端のラインまで連続している場合を判定する。白
抜け領域が上端のラインまで達している場合には、Ｓ７
１において変数α２に画素値として０を格納し、変数Ａ
２に開始点の座標として１を格納する。Ｓ６８で終了点
が検出されず、また上端のラインまで達していない場合
には、Ｓ６７へ戻り、ｊから１を減じて１ライン前の同
じカラム位置について、白抜け領域のカラム方向の開始
点か否かを判定する。このような処理を繰り返すことに
よって、カラムｉにおける画素値を埋め込むべき画素に
対する白抜け領域のカラム方向の開始点を求めることが
できる。

【００５７】同様にして、Ｓ７２〜Ｓ７７においてカラ
ムｉにおける白抜け領域のカラム方向の終了点を求め
る。Ｓ７２においてｊをもとの処理ラインの手前のライ
ン（Ｃ−１）にセットし、Ｓ７３においてｊに１を加え
る。Ｓ７４において、ラインｊにおける画像Ｓの画素値
Ｓ（ｉ，ｊ）が１で、次のラインｊ＋１の画像Ｓの画素
値Ｓ（ｉ，ｊ＋１）が０か否かを判定する。条件を満た
す場合、Ｓ７６において変数β２に画像Ｉにおいて対応
する座標を持つ画素値Ｉ（ｉ，ｊ＋１）を格納し、変数
Ｂ２にはその座標ｊ＋１を代入して、Ｓ７８に進む。変
数β２は、白抜け領域のカラム方向の終了点における画
素値を保存し、変数Ｂ２はカラム方向の終了点の座標を
保存する。

【００５８】Ｓ７４において条件を満たさない場合に
は、Ｓ７５において最終ラインまで達したか否かを判定
する。すなわち、白抜け領域が最終ラインまで連続して
いる場合を判定する。白抜け領域が最終ラインまで達し
ている場合には、Ｓ７７において変数β２に画素値とし
て０を格納し、変数Ｂ２に終了点の座標としてｊ_max を
格納する。Ｓ７４で終了点が検出されず、最終ラインで
もない場合には、Ｓ７３へ戻り、ｊに１を加えて次のラ
インの同じカラムの画素について判定を行なう。このよ
うな処理を繰り返すことによって、カラムｉにおける白
抜け領域の終了点を検出することができる。

【００５９】次にＳ７８においてラインｊを変数Ｃに保
存しておいた座標に戻し、Ｓ７９において白抜け領域内
の画素Ｉ（ｉ，ｊ）の画素値を計算して埋め込む。画素
Ｉ（ｉ，ｊ）の画素値は、次の（２）式によって求める
ことができる。 Ｉ（ｉ，ｊ）＝｛（Ｂ１−ｉ＋Ｂ２−Ａ２）α１＋（ｉ−Ａ１＋Ｂ２−Ａ２ ）β１＋（Ｂ１−Ａ１＋Ｂ２−Ｃ）α２＋（Ｂ１−Ａ１＋Ｃ−Ａ２）β２｝／３ （Ｂ１−Ａ１＋Ｂ２−Ａ２） …（２） この式は、ライン方向の開始点Ａ１、終了点Ｂ１、カラ
ム方向の開始点Ａ２、終了点Ｂ２の４点からの距離に応
じた画素値を算出するものである。なお、画素値Ｉ
（ｉ，ｊ）を定める算出式は（２）式に限らず、白抜け
部分の周辺４画素の値と、注目画素から周辺４画素まで
の距離に依存する算出式であれば任意に定めることがで
きる。

【００６０】Ｓ８０においてｉ＝Ｂ１−１か否か、すな
わち白抜け領域のライン方向の終了点の手前の画素まで
埋め込み処理を終了したか否かを判定し、まだ未処理の
画素が残っている場合にはＳ６６へ戻り、同様の処理を
ｉ＝Ｂ１−１となるまで繰り返す。ｉ＝Ｂ１−１となっ
たらＳ８１へ進む。

【００６１】Ｓ８１では処理ラインの右端まで処理を終
えたか否かを判定し、右端まで達していない場合には他
の白抜け領域を検出すべくＳ５３に戻り、処理を繰り返
す。処理ラインの右端の画素まで処理を終えたら、Ｓ８
２において最終ラインまで処理を終えたか否かを判定
し、最終ラインに達していない場合にはＳ５２に戻って
同様の処理を最終ラインの処理がすべて終了するまで行
なう。最終ラインの処理が終了すると、画像処理部４の
処理を終了する。

【００６２】図１３は、画像処理部の第３の動作例にお
いて分離された画像Ｉの画素値の具体例の説明図、図１
４は、同じく画像Ｓの具体例の説明図、図１５は、同じ
く画像Ｉの一部の埋め込み処理前後の画素値の変化の説
明図である。この例では説明を簡単にするために６×８
画素で構成される画像を分離した場合を示しており、画
像Ｐは省略した。それぞれ便宜上、１〜６のカラム番号
と１〜８のライン番号を付した。なお、図１３、図１４
において‘＊’で示している画素は、説明に関係ないの
でその画素値の記載を省略している。また、図１５で
は、図１３、図１４に一点鎖線で囲んだライン３のカラ
ム２〜５の部分のみについて、埋め込み処理前（図１５
（Ａ））と埋め込み処理後（図１５（Ｂ））の画素値を
示している。

【００６３】以下、図１０〜図１２に示したフローチャ
ートに従って具体例における動作を説明してゆく。い
ま、ライン３が処理ラインであるものとする。Ｓ５３で
ｉ＝１となるとＳ５４においてＳ（１，３）＝０，Ｓ
（２，３）＝１となり、白抜け領域のライン方向の開始
点が検出される。そのため、Ｓ５７においてα１＝Ｉ
（１，３）＝２０、Ａ１＝１、Ｃ＝３が格納される。

【００６４】次にＳ６０でｉ＝５となると、Ｓ６１にお
いてＳ（５，３）＝１，Ｓ（６，３）＝０となり、白抜
け領域のライン方向の終了点が検出される。そのため、
Ｓ６３においてβ１＝Ｉ（６，３）＝５０、Ｂ１＝６が
格納される。

【００６５】Ｓ６５でｉ＝１とし、Ｓ６６でｉ＝１＋１
＝２とした後、Ｓ６７でｊを１減じて２とする。Ｓ６８
において、Ｓ（２，２）＝０、Ｓ（２，３）＝１である
からカラム方向の開始点が検出され、Ｓ７０においてα
２＝Ｉ（２，２）＝２０、Ａ２＝２が格納される。

【００６６】続いてＳ７２でｊ＝３−１＝２とし、Ｓ７
３で１加算してｊ＝３とした後、Ｓ７４の条件を判定す
るが、条件を満足しない。Ｓ７３でｊの値の加算が繰り
返され、ｊ＝７となるとＳ（２，７）＝１、Ｓ（２，
８）＝０となってＳ７４の条件を満足する。すなわちカ
ラム方向の終了点が検出された。Ｓ７６においてβ２＝
Ｉ（２，８）＝２０、Ｂ２＝８が格納される。

【００６７】このようにして、白抜け領域のライン方向
の開始点Ａ１＝１、その画素値α１＝２０、ライン方向
の終了点Ｂ１＝６、その画素値β１＝５０が得られ、さ
らにその白抜け領域内の画素（２，３）について、カラ
ム方向の開始点Ａ２＝２、その画素値α２＝２０、カラ
ム方向の終了点Ｂ２＝８、その画素値β２＝２０が得ら
れた。Ｓ７８においてｊ＝Ｃ＝３に戻した後、Ｓ７９に
おいて上述の（２）式に従ってＩ（２，３）を計算する
と、 Ｉ（２，３）＝｛（６−２＋８−２）×２０＋（２−１
＋８−２）×５０＋（６−１＋８−３）×２０＋（６−
１＋３−２）×２０｝／｛３×（６−１＋８−２）｝≒
２６ となる。この値をＩ（２，３）として図１５（Ｂ）に示
すように埋め込む。

【００６８】Ｓ８０でｉがライン３の右端まで達してい
ないのでＳ６６に戻り、ｉに１を加えてｉ＝３とする。
ｉ＝３のカラムにおいて同様にして白抜け領域のカラム
方向の開始点および終了点を求めると、カラム方向の開
始点Ａ２＝１、その画素値α２＝２０、カラム方向の終
了点Ｂ２＝５、その画素値β２＝９０が得られる。
（２）式より、Ｉ（３，３）＝４４と求められる。同様
にしてＩ（４，３）＝５３、Ｉ（５，３）＝４４と求め
られ、Ｉ（２，３）〜Ｉ（５，３）の値は図１５（Ｂ）
に示すように変換される。

【００６９】上述の例ではライン３について説明した
が、他のラインについても同様の埋め込み処理が行なわ
れる。このようにして変換された画像Ｉは、文字や線画
として抽出されて白抜け状態であった画素が、ｉ座標方
向だけではなくｊ座標方向の画素値の変化にも対応した
値によって埋められている。そのため、変換後の画像Ｉ
では文字や線画の存在していた部分が２次元的に滑らか
に変化するように埋められており、高周波成分の増加を
防いでいる。そのため、例えば２次元離散コサイン変換
等の２次元の周波数成分を符号化するような符号化方式
を採用して符号化を行なった場合でも、符号量を低減
し、復号された画像の品質の低下を防止することができ
る。

【００７０】もちろん、文字や線画として分離されて白
抜けとなっている部分が埋められているので、画像Ｉを
低解像度に変換後、元の解像度に再変換して文字や線画
と合成しても、文字や線画のエッジ部分に白抜けは発生
せず、良好な合成画像を得ることができる。このとき、
ｉ座標方向だけではなくｊ座標方向に対する最近周辺画
素の値も参照して変換後の画素値を決めているために、
文字部との合成の際にはｉ座標方向に対しても不具合を
生じることはない。

【００７１】なお、上述の説明においては、画像分離部
２において入力された画像を画像Ｉ、画像Ｓ、画像Ｐの
３つに分離した。例えばカラー画像であれば例えばＲ，
Ｇ，ＢやＣ，Ｍ，Ｙ等の各色座標系に応じた各色軸毎に
３つの画像に分離すればよい。ここで、画像Ｓは２値の
画像、画像Ｐは濃度を有する画像として文字や線画部分
を分離したが、本発明はこれに限らない。画像Ｓと画像
Ｐを別の画像とせず、濃度を有する１つの文字・線画画
像として分離してもよい。この場合、上述の説明におい
て画像Ｓを参照して値を比較する際には、０かそれ以外
の値かを調べればよい。また、さらに入力画像の分離の
際に属性データを生成し、生成した属性データも保存す
るように構成してもよい。

【００７２】

【発明の効果】以上の説明から明らかなように、本発明
によれば、入力された画像情報を、文字または線画情報
からなる第１の画像情報と、文字または線画情報以外の
情報からなる第２の画像情報とに分離した際に、第２の
画像情報中の第１の画像情報に対応して削除されて白抜
けとなった箇所を、当該箇所の周囲の画素を参照して画
像情報を埋め込む。これによって、第２の画像情報を低
解像度で保持し、画像出力時に元の解像度へ変換し、第
１の画像情報と合成した場合でも、イメージ上に書かれ
た文字の輪郭部分での白抜けはなくなり、良好な合成画
像を得ることができる。

【００７３】また、イメージ上に細かい文字や線画が多
く書かれている場合でも、第２の画像情報中での文字や
線画が存在していた領域の白抜けがなくなり、なるべく
平坦な画素値を有する画像となるので、符号化した際に
符号量を低減することができ、復号後の画質の低下を抑
えることができる。例えばＪＰＥＧベースライン方式等
の離散コサイン変換を用いた可変長且つ非可逆データ圧
縮方式を用いた場合でも、圧縮率の低下や、伸長後の画
像品質の劣化を防止することが可能となるという効果が
ある。

【図面の簡単な説明】

【図１】 本発明の画像処理装置の実施の一形態を示す
ブロック図である。

【図２】 画像データの説明図である。

【図３】 画像処理部の第１の動作例を示すフローチャ
ートである。

【図４】 画像処理部の第１の動作例を示すフローチャ
ート（続き）である。

【図５】 入力画像および分離された各画像の具体例の
説明図である。

【図６】 分離された各画像および処理後の画像Ｉにお
ける画素値の具体例の説明図である。

【図７】 画像処理部の第２の動作例を示すフローチャ
ートである。

【図８】 画像処理部の第２の動作例を示すフローチャ
ート（続き）である。

【図９】 画像処理部の第２の動作例における画像Ｉの
画素値の具体例の説明図である。

【図１０】 画像処理部の第３の動作例を示すフローチ
ャートである。

【図１１】 画像処理部の第３の動作例を示すフローチ
ャート（続き）である。

【図１２】 画像処理部の第３の動作例を示すフローチ
ャート（続き）である。

【図１３】 画像処理部の第３の動作例において分離さ
れた画像Ｉの画素値の具体例の説明図である。

【図１４】 画像処理部の第３の動作例において分離さ
れた画像Ｓの具体例の説明図である。

【図１５】 画像処理部の第３の動作例において分離さ
れた画像Ｉの一部の埋め込み処理前後の画素値の変化の
説明図である。

【図１６】 従来の画像処理装置における画像分離処理
の具体例の説明図である。

【符号の説明】

１…画像入力部、２…画像分離部、３，５〜７…画像記
憶部、４…画像処理部。

Claims (3)

【特許請求の範囲】
1. 【請求項１】 入力された画像情報を文字または線画情
   報からなる第１の画像情報と文字または線画情報以外の
   情報からなる第２の画像情報に分離する分離手段と、該
   分離手段により分離された前記第２の画像情報について
   前記第１の画像情報として分離された領域の一部または
   全部に対し当該領域の周囲の画素を参照して画像情報を
   埋め込む画像情報埋め込み手段を有することを特徴とす
   る画像処理装置。
2. 【請求項２】 前記画像情報埋め込み手段は、前記領域
   の注目画素における縦方向または横方向における同一ラ
   インに位置する前記周辺画素を参照して該周辺画素の画
   素値に基づいて前記注目画素の画素値を決定することを
   特徴とする請求項１に記載の画像処理装置。
3. 【請求項３】 前記画像情報埋め込み手段は、前記画素
   の注目画素に対する前記周辺画素の距離および前記周辺
   画素の画素値に基づいて前記注目画素の画素値を決定す
   ることを特徴とする請求項１に記載の画像処理装置。