JPH10188016A - ドキュメントリーダ及びドキュメントリーダにおけるレイアウト解析ならびに修正処理方法 - Google Patents

Abstract

(57)【要約】 【課題】 本発明は、改良されたユーザインタフエース
を持つドキュメントリーダ及びドキュメントリーダにお
けるレイアウト解析ならびに修正処理方法を提供するこ
とを主な特徴とする。 【解決手段】 (1) ポインティングデバイス６で領域を
ドラッグ時にポインテイングデバイスのポインタ位置が
常にウインドウの中心となるように文書画像の拡大イメ
ージを表示する、(2) ウインドウを持つ領域設定で領域
の属性を設定する際に、属性の一覧をウインドウ表示
し、設定したい属性を選択して、その属性を設定したい
領域をポインテイングデバイスでクリックすることによ
り領域設定を行う、(3) 修正画面等のイメージを表示す
る画面５でイメージが表示されているウインドウをポイ
ンテイングデバイスのポインタの移動方向、移動量によ
りイメージのスクロールを調節する、(4) 誤読修正の際
に促音文字から通常文字へ、通常文字から促音文字へ１
操作で実現する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ドキュメントリー
ダ及びドキュメントリーダにおけるレイアウト解析なら
びに修正処理方法に関する。

【０００２】

【従来の技術】雑誌やワードプロセッサ文書のようなフ
リーフォーマットの日本語活字文書をそのまま読み取
り、コンピュータのアプリケーションに利用できるよう
に指定フォームで入力するデータ取り込みの手段として
ドキュメントリーダが普及している。

【０００３】ドキュメントリーダの処理の流れを図８に
示す。イメージ入力処理は、認識対象のイメージをスキ
ャナ、あるいは他の手段で入手したイメージをドキュメ
ントリーダ内に読み込むための処理である。レイアウト
解析処理は、指定されたイメージの中から自動あるい
は、ユーザ指定に基づいて読み取るべき領域を抽出する
処理である。文字認識処理は、レイアウト解析処理で抽
出された読み取り領域から１文字毎のパターンを切り出
して文字認識を行う処理である。修正処理は、画面に読
み取り結果を表示してユーザのキー入力によりクリーン
データを生成する処理である。出力変換処理は、中間フ
ァィル形式で保存された読み取り結果をワードプロセッ
サあるいはパーソナルコンピュータ等のアプリケーショ
ンで利用できるように指定のフォーマットに変換する処
理である。

【０００４】図示したごとく、認識対象イメージをスキ
ャナ等で読み取り、レイアウト解析を繰り返して文字認
識を行って修正処理を施し、指定フォーマットに変換す
ることにより初期の目的を達成していたものである。処
理の都度ユーザの介入を要し、かならずしも使い勝手の
良いものとは言えなかった。

【０００５】

【発明が解決しようとする課題】上述した処理の流れに
示すように、従来のドキユメントリーダによれば、ノン
ストップオペレーションは事実上不可能であり、処理の
各段階でユーザによる確認、修正のための手間が必要で
あった。従って、ドキュメントリーダで効率的な処理を
実現するためにはＧＵＩ（Ｇｒａｐｈｉｃ Ｕｓｅｒ
Ｉｎｔｅｒｆａｃｅ）を含むユーザインタフェースを如
何に使い勝手の良いものとするかが重要設計事項となっ
ていた。

【０００６】本発明は上記事情に鑑みてなされたもので
あり、改良されたユーザインタフエースを持つドキュメ
ントリーダ及びドキュメントリーダにおけるレイアウト
解析ならびに修正処理方法を提供することを目的とす
る。

【０００７】

【課題を解決するための手段】本発明のドキュメントリ
ーダは、スキャナと、スキャナによりシステムに取り込
まれた文書画像の全体が見えるように縮小して画面表示
し、レイアウト解析ならびに修正処理のためにポインテ
ィングデバイスにより設定された領域の内容を上記縮小
表示とは別ウインドウに拡大表示するマルチウインドウ
表示装置と、上記拡大画面を使用して読み取り結果の確
認ならびにユーザによるキー入力を促して修正のための
クリーンデータを生成し、上記認識結果ならびにクリー
ンデータをアプリケーションで使用できる指定フォーマ
ットに変換して出力するユーザインタフェース装置とを
具備することを特徴とする。

【０００８】また、本発明のドキュメントリーダにおけ
るレイアウト解析方法は、システムに取り込まれた文書
画像の全体が見えるように縮小してウインドゥ表示し、
全体が表示された画像上の読み取り領域をポインティン
グデバイスによりドラッグして領域設定を行ない、レイ
アウト解析ならびに認識、修正を行うドキュメントリー
ダにおいて、ポインティングデバイスにて縮小画面にお
ける設定領域をドラッグする際、演算装置により、ポイ
ンテングデバイスのポインタ位置が常にウインドウの中
心となるように所定の演算処理を施し、このポインタと
ポインタ近傍の文書画像の拡大イメージを拡大画面とし
て別ウインドウに表示し、この拡大画面を使用してレイ
アウト解析もしくは修正を行うことを特徴とする。
（１）領域設定を行う際、そこに表示されるデータ種別
毎色分けして表示する、（２）領域の属性を設定するに
あたり、属性の一覧をウインドウとして表示し、選択入
力を促すことも特徴とする。本発明のドキュメントリー
ダにおけるレイアウト解析方法は更に、システムに取り
込まれた文書画像の全体が見えるように縮小してウイン
ドゥ表示し、全体が表示された画像上の読み取り領域を
ポインティングデバイスによりドラッグして領域設定を
行ない、レイアウト解析ならびに修正処理のためにポイ
ンティングデバイスにより設定された領域の内容を上記
縮小表示とは別ウインドウに拡大表示するドキュメント
リーダにおいて、縮小画面におけるドラッグの方向を拡
大画面におけるスクロール方向と一致させ、縮小画面に
おけるドラッグの移動距離に比例してスクロール速度を
算出し、拡大画面のスクロールを行ないながら修正処理
を施すことも特徴とする。

【０００９】更に本発明のドキュメントリーダにおける
修正方法は、通常文字から促音文字へ、あるいは逆方向
への変換を指示するアイコンを設け、このアイコンによ
る指示を検出することによりそれぞれの変換処理ルーチ
ンを起動し、通常文字から促音文字へ、あるいは逆方向
への文字変換を行ない修正処理を施すことも特徴とす
る。

【００１０】本発明によりＧＵＩを含めた改良されたユ
ーザインタフェースを提供でき、従来に比較して操作性
が大幅に向上し、使い勝手のよいドキュメントリーダを
構築できる。

【００１１】

【発明の実施の形態】以下、図面を使用して本発明の実
施形態につき詳細に説明する。

【００１２】図１は本発明の実施形態を示すドキュメン
トリーダの内部構成を示すブロック図である。

【００１３】図において、１はドキュメントリーダ本体
であり、中央制御部１１、イメージ入力処理部１２、レ
イアウト処理部１３、文字認識処理部１４、修正処理部
１５、出力変換処理部１６、そして、マルチウインドウ
表示制御部１７から構成される。機能的には、ドキュメ
ントリーダ本体系１３、１４とユーザインタフェース系
１２、１５、１６、１７に区分される。また、周辺装置
として、イメージファイルが格納されるイメージ記憶装
置２、スキャナ等イメージ入力装置３、フロッピー、ハ
ードディスク等、データがコードイメージで記憶される
外部記憶装置４、ディスプレイ装置５、そしてマウス等
ポインティングデバイス６を含むキーボード等データ入
力装置が接続される。

【００１４】中央制御部１１はドキュメントスキャナの
制御中枢となる他、接続される周辺装置とのデータ交換
を行い、各処理ブロックへデータの受け渡しを行う。ハ
ードウェア的には高性能マイクロプロセッサ、主記憶装
置、周辺制御用ＬＳＩで構成される。本発明の実施形態
としてはパーソナルコンピュータ程度の規模を想定して
いる。イメージ入力処理部１２は、認識対象のイメージ
をスキャナ装置、あるいは他の手段で入手したイメージ
をドキュメントリーダ内に読み込むための処理を司る。
レイアウト処理部１３は、指定されたイメージの中から
自動あるいは、ユーザ指定に基づいて読み取るべき領域
を抽出する処理を司る。文字認識処理部１４は、レイア
ウト処理部１３にてレイアウト解析され抽出された読み
取り領域から１文字毎のパターンを切り出して文字認識
を行う処理を司る。修正処理部１５は、ディスプレイ５
画面に読み取り結果を表示してユーザのキー入力により
クリーンデータを生成する処理を司る。出力変換処理部
１６は、中間ファィル形式で保存された読み取り結果を
ワードプロセッサあるいはパーソナルコンピュータ等の
アプリケーションで利用できるように指定のフォーマッ
トに変換する処理を司る部分である。画面処理制御部１
７は中央制御部１１によるコントロールの下、ディスプ
レイ装置を介し、入力内容、あるいは処理の結果をマル
チウインドウ表示する。

【００１５】上述したイメージ処理部１２、レウアウト
処理部１３、文字認識部１４、修正処理部１５、出力処
理部１６は、通常プログラムとして外部記憶装置４に格
納され、必要に応じて中央制御部１１により内蔵する主
記憶にローディングされ、実行されるものである。

【００１６】図２乃至図６は本発明の実施形態による動
作を表示画面上で示した図であり、読み取り領域設定画
面、同じく読み取り領域設定画面、領域属性の設定画
面、字種属性設定画面、修正画面、促音変換処理画面の
それぞれを示す。

【００１７】以下、図２乃至図６を参照しながら図１に
示す本発明実施形態の動作について詳細に説明する。ド
キュメントリーダ１では文書画像中から読み取るべき領
域を段落等の単位で自動抽出する。この処理のことをレ
イアウト解析という。最近のレイアウト解析処理では一
般のテキスト領域だけではなく、図、写真、表等の領域
を自動的に抽出することができる。しかしながら現状、
これらの領域を完全に抽出することができず、多少の誤
差が生じる。そこで、レイアウト解析を確実なものにす
るためにユーザがレイアウト解析の結果を修正したり、
レイアウト解析の前に読み取り領域をあらかじめ設定す
る必要がある。ここでは、ユーザが読み取り領域の指定
／修正を行うことを領域設定と呼ぶことにする。

【００１８】領域設定は、図２に示すように画面処理制
御部１７を介してマルチウインドウ表示を行い、例えば
画面左ウインドウに文書画像の全体が見えるように縮小
表示し、全体が表示された画像上の読み取り領域をマウ
ス等ポインティングデバイス６でドラッグすることによ
り行う。本発明では、領域設定時に文書画像の全体イメ
ージに隣接するウインドウに拡大イメージを表示し、こ
の場合、ａで示すポインティングデバイス６のポインタ
の位置を常に拡大イメージの中心になるように設定して
ある。ポインティングデバイス６にて縮小画面における
設定領域をドラッグする際、中央制御部１１により、ポ
インテングデバイス６によるポインタ位置が常にウイン
ドウの中心となるように所定の演算処理を施し、このポ
インタとポインタ近傍の文書画像の拡大イメージを拡大
画面として別ウインドウに表示している。縮小画面が表
示されるウインドウにおけるポインタ位置を拡大画面が
表示されるウインドウの中心位置に固定するには、その
ウンンドウの大きさを考慮してドラッグの方向と移動の
量を中心座標との相対位置で示せばよい。このことによ
り、新聞等フォーマットが入り組んだ文書の領域設定の
効率が大幅に向上する。

【００１９】最近のレイアウト解析処理では、読み取り
領域をテキスト領域だけでなく、図、写真、表等の種類
も識別する。そこで本発明では、レイアウト解析結果を
表示する際や、領域設定するときに領域の種類別に色分
けして表示している。このことによりユーザの視認性が
大幅に向上する。図３では（１）から（８）までをテキ
スト領域として、（９）を表領域、（１０）（１１）を
図領域として色分け表示してある。

【００２０】領域には縦書きや横書き、日本語や英語等
の属性がある。これらの属性は、イレアウト処理部１３
によるレイアウト解析によって自動判定するが、ユーザ
がマニュアルで指定した方が読み取りの精度は向上す
る。本発明では領域の属性を設定する際に設定可能な全
領域属性の一覧を図４に示すように表示して、ユーザに
設定したい属性を一つまたは複数選択し、設定対称領域
をマウス等のポインティングデバイス６でクリックする
ことを促すユーザインタフェースを提供するものであ
る。図では、画面処理制御部５によるコントロールの下
で、設定のためのパレットが別ウインドウとして拡大画
面に優先して重ね合わせ表示されており、領域の種類、
レイアウト解析モード、言語、行方向、半角検知、スペ
ース検知、行の区切り、見出し検知等の属性設定がユー
ザにより設定できるようになっている。

【００２１】このようなユーザインタフェースは直感的
で初心者にも理解しやすく、ウインドウの階層も浅いた
め操作性に優れる。

【００２２】字種も領域の重要な属性である。字種も上
記同様のユーザインタフェースにより設定される。図５
にこのための設定画面が示されている。

【００２３】現状の文字認識では技術レベルの問題か
ら、あるいは、かすれ、つぶれ等の印字品質の問題から
１００％正読することは不可能である。そこで、本発明
のドキュメントリーダでは、図６に示すような修正画面
を表示して誤読の修正を行う。使い勝手を重要視した場
合、如何に誤読が発見しやすく、修正が容易であるかが
キーとなる。図６に示した（１）はカーソルがある行の
行イメージである。ふつう、このイメージと読み取り結
果とを対比させて誤読を修正するが、複数の行が俯瞰し
て見えるとより効果的である。図６の（２）は文書画像
の一部の拡大イメージである。物理画面領域の制限より
当然のことながら画像の一部しか表示されない。ウイン
ドウに表示されていない部分を表示させるためには、イ
メージをスクロール表示する必要がある。

【００２４】従来のユーザインタフェースでスクロール
表示を実現するには、水平／垂直スクロールバーを操作
することにより行っていた。しかしながらスクロールバ
ーインタフェースでは斜めスクロールは水平垂直の２段
階操作となって煩わしいものであった。また、スクロー
ルの速度が固定であり、速度調節の必要性もあった。本
発明ではこのことを解決するためのスクロールユーザイ
ンタフェースを提供する。即ち、図６の（３）に示すよ
うに、拡大イメージ上にポインテイングデバイス６のポ
インタをおきドラッグすることにより、拡大イメージの
スクロールを制御可能となる。具体的には、スクロール
速度をドラッグの方向と一致させ、かつ、スクロール速
度をドラッグの移動距離に比例させるようにする。ポイ
ンティナグデバイス６の移動量と移動方向を中央制御部
１１へ通知し、中央制御部１１にて演算することによ
り、比例定数Ｋの設定次第でスクロールの方向と速度を
１アクションで実現できる。

【００２５】一方、促音がある文字はその字体によって
促音文字と通常文字を間違って認識することが多々あ
る。このとき簡便な方法で変換できると便利である。そ
こで本発明では、修正画面上に図７で（１）で示すよう
に、例えば、通常文字から促音文字（つ→っ）へ、ある
いは（２）で示すように促音文字から通常文字（っ→
つ）へ変換するアイコンを設け、このアイコンを押下す
ることにより、現在カーソルの指定位置にある文字に対
し、通常文字から促音文字へ、あるいは逆の変換を自動
的に行うことができる。具体的な変換処理については、
カナ文字からカタカナに変換するごとく、それぞれのア
イコンが押下されることにより動作する変換処理ルーチ
ンを内蔵するだけでよい。従来より周知の簡便な方法で
実現できる。

【００２６】尚、上述した本発明実施形態ではドキュメ
ントリーダについてのみ説明したが、これに限定される
ものではなく、レイアウト解析系についてはイメージ処
理ツール、修正系についてはワードプロセッサ等にも同
様の手法にて応用できる。

【００２７】

【発明の効果】以上説明のように本発明は以下に列挙す
るユーザインタフェースを提供するものであり、このこ
とにより、使い勝手のよいドキュメントリーダを提供で
きるものである。

【００２８】（１）レイアウト解析を援用するための領
域設定で、ポインティングデバイスで領域をドラッグ時
にポインテイングデバイスのポインタ位置が常にウイン
ドウの中心となるように文書画像の拡大イメージを表示
するウインドウを持つ。

【００２９】（２）レイアウト解析結果または領域設定
の結果を表示する画面で、領域の種類別に色分けして領
域を表示する。

【００３０】（３）領域設定で領域の属性を設定する際
に、属性の一覧をウインドウ表示し、設定したい属性を
選択して、その属性を設定したい領域をポインテイング
デバイスでクリックすることにより領域設定を行う。

【００３１】（４）修正画面等のイメージを表示する画
面で、イメージが表示されているウインドウをポインテ
イングデバイスのポインタの移動方向、移動量によりイ
メージのスクロールを調節する。

【００３２】（５）誤読修正の際に促音文字から通常文
字へ、通常文字から促音文字へ、１操作で実現する。

【図面の簡単な説明】

【図１】本発明の実施形態を示すブロック図。

【図２】本発明の実施形態による動作を表示画面上で示
した図であり、読み取り領域設定画面を示す。

【図３】本発明の実施形態による動作を表示画面上で示
した図であり、図２と同じく読み取り領域設定画面を示
す。

【図４】本発明の実施形態による動作を表示画面上で示
した図であり、領域属性の設定画面を示す。

【図５】本発明の実施形態による動作を表示画面上で示
した図であり、字種属性の設定画面を示す。

【図６】本発明の実施形態による動作を表示画面上で示
した図であり、修正画面を示す。

【図７】本発明の実施形態による動作を表示画面上で示
した図であり、促音変換処理画面を示す。

【図８】従来のドキュメントリーダにおける処理の流れ
を示す図。

【符号の説明】

１…ドキュメントスキャナ本体、２…イメージメモリ、
３…イメージ入力装置、４…外部記憶装置、５…ディス
プレイ装置、６…ポインテングデバイス、１１…中央制
御部、１２…イメージ処理部、１３…レイアウト処理
部、１４…文字認識処理部、１５…修正処理部、１６…
出力処理部、１７…画面処理制御部。

Claims (6)

【特許請求の範囲】
1. 【請求項１】 スキャナと、スキャナによりシステムに
   取り込まれた文書画像の全体が見えるように縮小して画
   面表示し、レイアウト解析ならびに修正処理のためにポ
   インティングデバイスにより設定された領域の内容を上
   記縮小表示とは別ウインドウに拡大表示するマルチウイ
   ンドウ表示装置と、上記拡大画面を使用して読み取り結
   果の確認ならびにユーザによるキー入力を促して修正の
   ためのクリーンデータを生成し、上記認識結果ならびに
   クリーンデータをアプリケーションで使用できる指定フ
   ォーマットに変換して出力するユーザインタフェース装
   置とを具備することを特徴とするドキュメントリーダ。
2. 【請求項２】 システムに取り込まれた文書画像の全体
   が見えるように縮小してウインドゥ表示し、全体が表示
   された画像上の読み取り領域をポインティングデバイス
   によりドラッグして領域設定を行ない、レイアウト解析
   ならびに認識、修正を行うドキュメントリーダにおい
   て、ポインティングデバイスにて縮小画面における設定
   領域をドラッグする際、演算装置により、ポインテング
   デバイスのポインタ位置が常にウインドウの中心となる
   ように所定の演算処理を施し、このポインタとポインタ
   近傍の文書画像の拡大イメージを拡大画面として別ウイ
   ンドウに表示し、この拡大画面を使用してレイアウト解
   析もしくは修正を行うことを特徴とするドキュメントリ
   ーダにおけるレイアウト解析ならびに修正方法。
3. 【請求項３】 領域設定を行う際、そこに表示されるデ
   ータ種別毎色分けして表示することを特徴とする請求項
   ２記載のドキュメントリーダにおけるレイアウト解析方
   法。
4. 【請求項４】 領域の属性を設定するにあたり、属性の
   一覧をウインドウとして表示し、選択入力を促すことを
   特徴とする請求項２記載のドキュメントリーダにおける
   レイアウト解析方法。
5. 【請求項５】 システムに取り込まれた文書画像の全体
   が見えるように縮小してウインドゥ表示し、全体が表示
   された画像上の読み取り領域をポインティングデバイス
   によりドラッグして領域設定を行ない、レイアウト解析
   ならびに修正処理のためにポインティングデバイスによ
   り設定された領域の内容を上記縮小表示とは別ウインド
   ウに拡大表示するドキュメントリーダにおいて、縮小画
   面におけるドラッグの方向を拡大画面におけるスクロー
   ル方向と一致させ、縮小画面におけるドラッグの移動距
   離に比例してスクロール速度を算出し、拡大画面のスク
   ロールを行ないながら修正処理を施すことを特徴とする
   ドキュメントリーダにおけるレイアウト解析ならびに修
   正処理方法。
6. 【請求項６】通常文字から促音文字へ、あるいは逆方向
   への変換を指示するアイコンを設け、このアイコンによ
   る指示を検出することによりそれぞれの変換処理ルーチ
   ンを起動し、通常文字から促音文字へ、あるいは逆方向
   への文字変換を行ない修正処理を施すことを特徴とする
   ドキュメントリーダにおける修正処理方法。