JPH06119486A - 文字認識装置および表示方法 - Google Patents

Abstract

(57)【要約】 【構成】 表示装置（４１）およびポインティング装置
（４３）を用いて処理する領域の指定を行うとともに、
処理領域表示モジュール（２３）により指定されている
領域内で表示されているイメージの表示色の変更を行
う。文字認識を行う際、認識領域表示モジュール（２
５）により処理中の領域および文字認識をしている文字
列の強調表示を行う。 【効果】 処理する領域を排他的論理和を用いて表示す
ることにより、指定している領域の視認性が良くなる。
処理中の領域、文字列を強調表示することにより処理の
進行状況を視覚的に捕らえやすくなる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、手書きまたは印刷され
た文字を含む紙面から文字を認識する文字認識装置およ
び処理する領域や処理の進行状況をオペレータに知らせ
るための表示方法に関する。

【０００２】

【従来の技術】文字認識装置において、イメージスキャ
ナ等を用いて紙面のイメージを入力する場合、処理の必
要がない部分まで入力されることがある。そこで文字認
識処理が不必要な領域を含む紙面のイメージを入力した
場合、オペレータが表示装置とポインティング装置を用
いて処理する領域の指定を行う。従来の処理する領域の
表示方法はポインティング装置で、矩形の頂点の１つと
それに対角する頂点を選び、矩形の枠で表示を行ってい
た。例えば、図９（ａ）に示す３行の文から上の２行を
処理したい場合、ポインティング装置を用いて対角線上
にある２つの頂点を選び、図９（ｂ）に示すように処理
する領域を矩形で表し、その枠を点線や破線、もしくは
色を変えて表示していた。

【０００３】次に処理する領域の文字認識処理に移る
が、文字認識処理の進行状況を示す方法として、１行の
文字認識処理が終わる毎に１行分の認識結果を表示する
方法や次に認識する文字のイメージを表示する方法等に
より行われていた。

【０００４】

【発明が解決しようとする課題】しかしながら、文字認
識装置における従来の処理する領域の表示方法は、処理
する領域の指定結果を図９（ｂ）のように矩形の枠で表
示するため、視認性が悪く、特にモノクロの表示装置に
おいて指定した領域が分かりにくいという問題があっ
た。また、処理する領域を矩形の枠で表示する場合、文
字列との境界が分かりにくく、図９（ｂ）に示すよう
に、オペレータが誤って文字列の一部を欠いて領域の指
定をすることがあり、そのため文字の一部が欠け、文字
認識率の低下の原因となることがあった。

【０００５】また、文字認識処理の進行状況を示す方法
として、１行の文字認識処理が終わる毎に１行分の認識
結果を表示する方法や次に認識する文字のイメージを表
示する方法では、認識処理がどの程度進んでいるかオペ
レータが視覚的に捕らえることが困難であった。

【０００６】そこで、本発明の文字認識装置および表示
方法では処理する領域を指定する場合、文字列が指定中
の矩形の中に収まっているか確認しやすく、かつ処理す
る領域がモノクロの表示装置でも分かりやすく、そして
認識処理の進行状況が視覚的に捕らえやすい文字認識装
置を提供することを目的とするものである。

【０００７】

【課題を解決するための手段】上記課題を解決するため
に、本発明の文字認識装置および表示方法は、手書きま
たは印刷された文字を含む紙面のイメージを入力する入
力手段と、表示装置およびポインティング装置を用いて
処理する領域の指定を行う処理領域指定手段と、処理領
域指定手段と協調しながら指定された領域内において表
示されているイメージの表示色を変えて表示装置上の指
定された領域内に表示する処理領域表示手段と、処理領
域指定手段により指定された領域から文字列の切り出
し、文字の切り出し、文字の認識を行う認識手段と、認
識手段と協調して、認識手段が認識処理している領域
や、文字の認識を行っている文字列を強調表示する認識
領域表示手段とを備えたことを特徴とする。

【０００８】

【実施例】以下、本発明の一実施例について図面を用い
て説明する。

【０００９】図１は本実施例の装置の構成例を示すブロ
ック図である。同図より、本実施例の文字認識装置は、
各処理を制御するＣＰＵ１０と、処理モジュールなどが
格納されたＲＯＭ装置２０と、各処理結果を一時的に蓄
えるＲＡＭ装置３０と、文字の入力や表示などを行う入
出力装置４０とを備えている。ＲＯＭ装置２０には、手
書きまたは印刷された複数個の文字を含む紙面のイメー
ジを入力する処理である入力モジュール２１と、入力し
た紙面のイメージデータのうち処理する領域を得る処理
である処理領域指定モジュール２２と、処理領域指定モ
ジュールと協調して指定された処理する領域を表示する
処理である処理領域表示モジュール２３と、指定された
処理領域から文字列や文字の切り出し、切り出した文字
の認識を行う処理である認識モジュール２４と、認識モ
ジュール２４の処理の進行状況に合わせて処理している
場所を表示する認識領域表示モジュール２５とが備えら
れている。また、入出力装置４０には、手書きまたは印
刷された文字を含む紙面のイメージを入力するイメージ
スキャナ４１と、入力した紙面のイメージや処理する領
域、現在認識処理している領域を表示する表示装置４２
と、イメージスキャナ４１により入力したイメージのう
ち処理したい領域を指定するためのポインティング装置
４３とが備えられている。

【００１０】次に本実施例の処理内容について説明す
る。本実施例の文字認識装置の処理は図２に示すように
入力モジュール２１によるデータ読み込み処理である入
力手段１０１と、処理領域指定モジュール２２による処
理領域指定手段１０２と、処理領域表示モジュール２３
による処理領域表示手段１０３と、認識ジュール２４に
よる認識手段１０４と、認識領域表示モジュール２５に
よる認識領域表示手段１０５とから構成される。

【００１１】まず、データ入力手段１０１について説明
する。データ入力手段１０１は、イメージスキャナ４１
を用いて手書きまたは印刷された文字を含む紙面のイメ
ージを読み込む。具体的には、オペレータがＣＰＵ１０
の制御下で入力モジュール２１を起動させ雑誌等に印刷
された所望の文字を含む紙面のイメージを読み取る。こ
の読み取りによって紙面のイメージデータが入力され
る。また、入力された紙面のイメージは表示装置４２に
表示される。

【００１２】次に、処理領域指定手段１０２について説
明する。データ入力手段１０１により入力した紙面のイ
メージには認識処理を必要としない領域を含むことがあ
る。そこで処理領域指定手段１０２は、オペレータがＣ
ＰＵ１０の制御下で処理領域指定モジュール２２を起動
させ、表示装置４２に表示された紙面のイメージをもと
に処理したい領域をポインティング装置４３を用いて指
定を行い、ポインティング装置４３で示されている座標
を得るとともに、処理する領域の座標を求める。また、
ポインティング装置４３からポイントされている位置が
確定か移動中かの情報も得るものとする。なお、処理領
域は複数指定することも可能とする。

【００１３】処理領域表示手段１０３は、処理領域指定
手段１０２と協調してオペレータに指定された処理する
領域を表示装置４２に表示する。処理領域表示手段１０
３の処理の流れを図３を用いて説明する。始めに、処理
領域の始点となる最初に確定した座標を処理領域指定手
段１０２から得て、その座標位置を（ｘ1，ｙ1）とする
（ステップ２０１）。処理領域の終点座標を（ｘ2，ｙ
2）とし、始点（ｘ1，ｙ1）の値を用いて初期化する。
なお、処理領域は矩形とし、矩形の１つの頂点を始点
（ｘ1，ｙ1）、始点と対角の位置にある頂点を終点（ｘ
2，ｙ2）とする（ステップ２０２）。処理領域指定手段
１０２より次にポイントされている座標およびポイント
している座標位置が確定か移動中かの情報を得て、得た
座標を（ｘ，ｙ）とする（ステップ２０３）。ステップ
２０３で得た座標をもとに、表示色変更処理を行う（ス
テップ２０４）。なお、表示色変更処理については後で
説明する。ステップ２０３で得た座標が確定しているか
判断し（ステップ２０５）、確定の場合は処理を終了し
（ステップ２０６）、そうでなければステップ２０３に
戻る。 次に表示色変更処理（ステップ２０４）の処理
内容について図を用いて説明する。まず、排他的論理和
を用いて行う方法を図４を用いて行う。始めに、「（ｘ
2≠ｘ）もしくは（ｙ2≠ｙ）」であるか判断する（ステ
ップ３０１）。判断した結果が偽であれば、表示色変更
処理を終了する。ステップ３０２での判断結果が真であ
る場合は始点（ｘ1、ｙ1）および終点（ｘ2、ｙ2）を用
いて矩形（ｘ1、ｙ1）−（ｘ2、ｙ2）を求め、求めた矩
形内において紙面イメージと処理する領域を表す色Ａと
の排他的論理和を求めその結果を求めた矩形内に表示す
る（ステップ３０２）。ここで「矩形（ａ1，ａ2）−
（ｂ1，ｂ2）」とは、点（ａ1，ａ2）と点（ｂ1，ｂ2）
を対角上にある頂点としてできる矩形のことである。な
お、ステップ３０２の処理により表示色の変更がされて
いない初期の状態に戻る。ここで、色Ａはどのような色
であってもかまわないが、例えば表示装置４２に表示さ
れた紙面の色の補色となる色もしくは補色に近い色とす
るとよい。次に矩形（ｘ1、ｙ1）−（ｘ、ｙ）を求め、
求めた矩形内において紙面イメージと色Ａとの排他的論
理和を求め、その結果を求めた矩形内に表示する（ステ
ップ３０３）。ステップ３０３の処理によって、現在オ
ペレータにより指示されている領域の表示色の変更が行
われる。そして、ｘ2、ｙ2にｘ、ｙを代入し（ステップ
３０４）、表示色変更処理を終了する。

【００１４】別な表示色変更処理として、色の変換を用
いる方法を説明する。ここでは、入力した紙面のイメー
ジを表示装置４２にＮ色の色を用いて表示しているもの
とする。また、表示しているＮ色の色を「元色」と言
い、各「元色」とペアとなる変更後の色を「対応色」と
してあらかじめ設定しておくものとする。ここで、元色
に対する対応色の選択はどのようであってもかまわない
が、例えば、図５（ａ）に示す対応色（例１）のように
対応色を元色の補色もしくは補色に近い色としたり、あ
るいは対応色（例２）のように表示装置４２において視
認性がよく、元色と違う色を選び設定するとよい。

【００１５】図５（ｂ）を用いてここでの表示色変更処
理を説明する。始めに、「（ｘ2≠ｘ）もしくは（ｙ2≠
ｙ）」であるか判断する（ステップ３０５）。判断した
結果が偽であれば、表示色変更処理を終了する。ステッ
プ３０５での判断結果が真である場合は始点（ｘ1、ｙ
1）および終点（ｘ2、ｙ2）を用いて矩形（ｘ1、ｙ1）
−（ｘ2、ｙ2）を求め、求めた矩形内において対応色を
元色に戻し、その結果を求めた矩形内に表示する（ステ
ップ３０６）。ステップ３０６の処理により表示色の変
更がされていない初期の状態に戻る。次に矩形（ｘ1、
ｙ1）−（ｘ、ｙ）を求め、求めた矩形内において元色
を対応色に変換し、その結果を求めた矩形内に表示する
（ステップ３０７）。ステップ３０７の処理によって、
現在オペレータにより指定されている領域の表示色の変
更が行われる。そして、ｘ2、ｙ2にｘ、ｙを代入し（ス
テップ３０８）、表示色変更処理を終了する。

【００１６】以上のようにして処理領域表示手段１０３
により１つの領域の表示を行う。なお、複数の領域の指
定が行われる場合は図３の処理が繰り返されることにな
る。また、入力手段１０１により入力した紙面イメージ
全体の認識処置を行う場合は、処理領域の指定を行わな
わずに認識手段１０４に移るものとする。このとき処理
する領域として紙面全体が選択されてたものとして認識
手段１０４へ移る。

【００１７】図６に処理領域表示手段１０３を用いた場
合の表示装置４２への表示例を示す。図６（ａ）はイメ
ージスキャナ４１より入力した紙面のイメージを表示装
置４２に表示した例である。ここでは図６（ａ）に示さ
れる３行から上の２行を処理したいものとする。処理す
る領域を指定している途中の表示例を図６（ｂ）に示
す。なお、表示が例えば２値で行われ、表示装置４２に
表示された紙面の色が「０」（白）、文字の色が「１」
（黒）で表示されてるものとし、図４の排他的論理和を
用いて表示色の変更をする場合には色Ａを表示装置４２
に表示された紙面の色の補色である「１」（黒）、図５
の色の変換により表示の変更を行う場合には、元色
「０」（白）に対する対応色を「１」（黒）、元色
「１」（黒）に対する対応色を「０」（白）とする。表
示装置４２とポインティング装置４１を用いて処理する
領域を指定する過程において、矩形内に文字列が収まっ
ていないと、図６（ｂ）に示すように矩形の枠に当たる
部分がすべて「１」（黒）とはならず矩形の枠の部分が
切れているように見えるため、処理する領域を指定中の
オペレータは上記のような表示によって矩形内に文字列
が収まっていないことが分かりやすくなる。また、図６
（ｃ）に処理する領域が確定した場合の表示結果の例を
示す。図６（ｃ）において、矩形の枠の部分が「１」
（黒）となり、オペレータが文字列が矩形内にすべて収
まっていることが容易に確認できる。また、指定した処
理領域の視認性が良いことも分かる。特に、表示装置４
２がモノクロ表示しかできない場合、上記の処理領域表
示手段１０３による表示方法の視認性についての効果は
大きい。

【００１８】次に認識手段１０４の処理について説明す
る。認識手段１０４の処理は処理領域指定手段１０２に
よって指定した処理領域から文字列の切り出しを行い、
切り出した文字列から１文字毎の文字イメージの切り出
しを行い、切り出した１文字イメージの認識を行う。ま
た、現在認識している領域および文字列についての情報
を認識領域表示手段１０５に伝える。

【００１９】認識手段１０４における文字列の切り出
し、１文字の文字イメージの切り出し方法として、例え
ば公知の方法である射影を用いる。横書きの文書の場
合、射影を用いた文字列の切り出し、文字の切り出しは
以下のように行われる。始めに水平方向の射影（垂直軸
に対する射影）を測定し、射影の値が特定の数値超える
範囲を文字列として切り出す。次に切り出した文字列を
用いて垂直方向の射影（水平軸に対する射影）を測定
し、射影の値が特定の数値超える範囲を文字として切り
出す。また、切り出した文字イメージの文字認識方法
は、例えば公知の方法であるペリフェラル特徴とメッシ
ュ特徴とを用いた文字認識方法（目黒ら：”マルチフォ
ント印刷漢字の認識”、電子通信学会論文誌'82/8 Vol.
J65-D No.8）等を用いて行う。なお、認識手段１０４で
の文字列の切り出し、１文字イメージの切り出し、文字
の認識はどのような方法を用いてもかまわない。

【００２０】最後に認識領域表示手段１０５について説
明する。認識領域表示手段１０５は認識手段１０４が処
理している文字列の情報を得ながら認識手段１０４が現
在処理している領域や文字列の表示を行う。処理の流れ
を図７を用いて説明する。始めに処理する領域の番号を
示す変数「ｎ」を「１」で初期化する（ステップ４０
１）。認識手段１０４が処理領域指定手段１０２により
指定した領域のうちの１つの領域の処理を始めると同時
に、その処理する領域に関する情報を処理領域表示手段
１０５に与える（ステップ４０２）。処理する領域に関
する情報とは処理対象の領域の位置情報や次に処理する
領域の有無等の情報である。変数「ｎ−１」が「１」以
上であれば「ｎ−１」番目の処理領域の強調表示を解除
する（ステップ４０３）。処理領域の強調表示とは図８
（ａ）のように処理領域の表示がされていた場合、例え
ば図８（ｂ）のように認識処理対象となる領域の外を太
い線の矩形で囲む表示方法のことである。また、別な強
調表示方法として処理領域内を特定のパターンで表示し
たり、処理する領域内において特定のパターンと表示し
ているイメージとの排他的論理和を求め、その結果を表
示してもよい。その他の方法として認識処理する領域の
色を変える等により調処理を行うこともできる。

【００２１】ステップ４０２で得た処理する領域に関す
る情報より、認識処理する領域が終了したかを判断し
（ステップ４０４）、終了した場合には認識領域表示手
段１０５の処理を終了する（ステップ４１３）。認識処
理する領域が終了していない場合には「ｎ」番目の領域
の強調表示を行う（ステップ４０５）。処理する文字列
番号を示す変数「ｍ」を「１」で初期化し（ステップ４
０６）、認識手段１０４が処理領域指定手段１０２によ
り指定した「ｎ」番目の領域の文字列毎の文字認識処理
を始めるとともに、現在処理している文字列に関する情
報を処理領域表示手段１０５に与える（ステップ４０
７）。処理している文字列に関する情報とは処理対象の
文字列の位置情報や次に認識処理する文字列の有無等の
情報である。「ｍ−１」が「１」以上の場合、「ｎ」番
目の領域の「ｍ−１」番目の文字列の強調表示を解除す
る（ステップ４０８）。なお、文字列の強調表示とは図
８（ｂ）のように認識処理対象となる領域の表示がされ
ていた場合、例えば図８（ｃ）のように文字認識処理の
対象となる文字列を示す領域において、強調表示されて
いる色と認識処理されている文字列を表す色Ｂとの排他
的論理和を求め、求めた結果を文字列を示す領域内に表
示する。ここで、色Ｂはどのような色であってもかまわ
ないが、例えば入力した表示装置４２に表示された紙面
の色の補色もしくは補色に近い色とするとよい。この場
合の認識処理している文字列の強調表示の解除はもう一
度排他的論理和を求め結果を表示することにより元のイ
メージに戻すことができる。文字認識処理の対象となる
文字列の強調表示の別な方法として、図５で説明したよ
うに元色に対して対応色を決めておき、色の変換を行う
方法でも可能である。

【００２２】次にステップ４０７で得た処理する文字列
に関する情報より文字認識する文字列が終了したかを判
断し（ステップ４０９）、終了した場合には処理する領
域を表す変数「ｎ」に１を加え（ステップ４１２）、ス
テップ４０２に戻る。終了していない場合は、「ｍ」番
目の文字列の強調表示を行う（ステップ４１０）。例え
ば、図８（ｃ）の１行目の強調表示を解除して２行目を
強調表示すると図８（ｄ）のようになる。そして、文字
認識処理する文字列を表す変数「ｍ」に１を加え（ステ
ップ４１１）ステップ４０７へ戻る。なお、処理領域指
定手段１０２により処理領域が指定されていない場合
は、入力手段１０１で入力した紙面全体の認識処理を行
うものとし、その場合は処理する領域の強調表示は行な
っても、行わなくてもよく、文字認識処理する文字列が
なくなり次第処理領域表示手段１０５による文字列の強
調表示を終了するものとする。

【００２３】以上のようにして、現在認識している領域
および文字列の強調表示を行う。このような表示を行う
ことにより認識処理の進行状況が視覚的に捕らえやすい
文字認識装置を実現することができる。

【００２４】

【発明の効果】以上説明したように本発明の文字認識装
置および表示方法は、認識処理する領域を指定する場
合、ポインティング装置を用いて指定した処理する領域
内において表示している領域と処理する領域を表す色と
の排他的論理和を求め、求めた結果を処理する領域に表
示する、あるいは表示装置に表示している紙面のイメー
ジに使われている色に対応する色をあらかじめ決めてお
き、対応する色で変換を行い、変換結果を処理する領域
に表示することにより、例えば図６（ｃ）のように表示
することが可能となり、図９（ｂ）に示す従来のような
表示方法に比べ視認性がよくなり、特にモノクロの表示
装置において視認性が良くなる。そして、処理する領域
を指定する途中で、指定している矩形内に文字列が入っ
ていないと図６（ｂ）のように矩形の外形が切れたよう
に表示され、指定した領域と文字列との境界が分かりや
すく表示されるので、オペレータが処理する領域を指定
する際、誤って文字列の一部が欠けるような指定をする
ということが少なくなり、その結果文字列の一部が欠け
ることにより起る文字認識率の低下を防ぐことができ
る。

【００２５】また、認識処理と連動して認識処理の進行
状況を現在処理している領域や文字列の表示を行うこと
により認識処理がどの程度進んでいるかをオペレータが
視覚的に捕らえることが可能となる。

【図面の簡単な説明】

【図１】 本発明に必要な装置の構成例を示す図であ
る。

【図２】 本発明のブロック図である。

【図３】 処理領域表示手段を説明するための流れ図で
ある。

【図４】 表示色変更処理を説明するための流れ図であ
る。

【図５】 表示色変更処理を別な方法で行うための処理
例を示す図である。

【図６】 処理領域表示手段を用いて表示を行った例を
示す図である。

【図７】 認識領域表示手段を説明するための流れ図で
ある。

【図８】 認識領域表示手段を用いて表示を行った例を
示す図である。

【図９】 従来の処理する領域を表示する例を示す図で
ある。

【符号の説明】

１０ ＣＰＵ ２０ ＲＯＭ装置 ２１ 入力モジュール ２２ 処理領域指定モジュール ２３ 処理領域表示モジュール ２４ 認識モジュール ２５ 認識領域表示モジュール ３０ ＲＡＭ装置 ４０ 入出力装置 ４１ イメージスキャナ ４２ 表示装置 ４３ ポインティング装置

Claims (7)

【特許請求の範囲】
1. 【請求項１】 手書きまたは印刷された文字を含む紙面
   のイメージを入力する入力手段と、 表示装置およびポインティング装置を用いて処理する領
   域の指定を行う処理領域指定手段と、 前記処理領域指定手段と協調しながら指定された領域内
   において表示されているイメージの表示色を変えて前記
   表示装置上の前記指定された領域内に表示する処理領域
   表示手段と、 前記処理領域指定手段により指定された領域から文字列
   の切り出し、文字の切り出し、文字の認識を行う認識手
   段と、 前記認識手段と協調して、前記認識手段が認識処理して
   いる領域や、文字の認識を行っている文字列を強調表示
   する認識領域表示手段とを備えたことを特徴とする文字
   認識装置。
2. 【請求項２】 前記処理領域表示手段で指定領域を示す
   色と前記指定された領域内において表示されているイメ
   ージの表示色との排他的論理和を求め、前記求めた結果
   を表示することにより、前記表示装置上の前記指定され
   た領域内の表示色の変更を行うことを特徴とする請求項
   １記載の文字認識装置。
3. 【請求項３】 前記処理領域表示手段で前記紙面のイメ
   ージを前記表示装置に表示する際に用いた表示色と変更
   後の表示色との対応表を用いて、前記表示装置上の前記
   指定された領域内の表示色の変更を行うことを特徴とす
   る請求項１記載の文字認識装置。
4. 【請求項４】 手書きまたは印刷された文字を含む紙面
   のイメージを入力する入力手段と、表示装置およびポイ
   ンティング装置を用いて処理する領域の指定を行う処理
   領域指定手段と、前記処理領域指定手段により指定され
   た領域から文字列の切り出し、文字の切り出し、文字の
   認識を行う認識手段とを備えた文字認識装置において、 前記処理領域指定手段と協調しながら指定された領域内
   において表示されているイメージの表示色を変えて前記
   表示装置上の前記指定された領域内に表示することを特
   徴とする表示方法。
5. 【請求項５】 指定領域を示す色と前記指定された領域
   内において表示されているイメージの表示色との排他的
   論理和を求め、前記求めた結果を表示することにより、
   前記表示装置上の前記指定された領域内の表示色の変更
   を行うことを特徴とする請求項４記載の表示方法。
6. 【請求項６】 前記紙面のイメージを前記表示装置に表
   示する際に用いた表示色と変更後の表示色との対応表を
   用いて、前記表示装置上の前記指定された領域内の表示
   色の変更を行うことを特徴とする請求項４記載の表示方
   法。
7. 【請求項７】 手書きまたは印刷された文字を含む紙面
   のイメージを入力する入力手段と、表示装置およびポイ
   ンティング装置を用いて処理する領域の指定を行う処理
   領域指定手段と、前記処理領域指定手段により指定され
   た領域から文字列の切り出し、文字の切り出し、文字の
   認識を行う認識手段とを備えた文字認識装置において、 前記認識手段と協調して、前記認識手段が認識処理して
   いる領域や文字の認識を行っている文字列を強調表示す
   ることを特徴とする表示方法。