JPH06131111A - 文字認識装置及び文字認識方法 - Google Patents

Abstract

(57)【要約】 【目的】 文字認識装置における認識対象領域の指定手
段、認識結果の編集手段を提供する。 【構成】 文字認識装置は、座標位置入力に使用するペ
ン１２と、ディスプレイつきタブレット１３を備え、入
力した画像をタブレットのディスプレイ上に表示する画
像表示手段１４と、画像表示手段１４により表示された
画像中の認識対象文字を含む認識対象画像領域をペン１
２を用いて不定形閉曲線で囲うことにより認識対象画像
データを抽出する認識対象画像データ抽出手段１５と、
抽出された認識対象画像データ中の文字を認識する抽出
文字列認識手段１６と、抽出した文字列をディスプレイ
に表示させる抽出文字列表示手段１７と、ペン１２のジ
ェスチャ入力を編集コマンドとして認識するジェスチャ
認識手段１８と、抽出文字列の編集処理を行う抽出文字
列編集手段１９とを備えている。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、命令入力手段として入
力ペンとタブレットとを用いた文字認識装置及び文字認
識方法に関するものである。

【０００２】

【従来の技術】近年、文字認識装置を利用して文字や図
形などを含む文書の修正・編集作業が一般的に行われて
いる。従来の文字認識装置は、文字領域の指定やコマン
ドの指定等の座標位置入力手段としてマウスを用いてい
た。例えば、表示画面上に表示された入力画像中から特
定の文字領域を抽出する場合には、使用者は、マウスを
移動させて画面上のカーソルマークを矩形領域の始点と
終点とに移動させて矩形領域を指定することによって、
この矩形領域に囲まれた範囲内の文字領域を抽出するよ
うに操作していた。

【０００３】また、認識動作の実行や認識データの編集
等を指示する場合には、予め表示されたメニューボタン
または、使用者からの何らかの指示をきっかけに表示さ
れるメニューボタンをマウスでクリックする操作を行っ
ていた。

【０００４】

【発明が解決しようとする課題】しかしながら、最近の
文字認識装置に対しては、指示入力操作や編集命令入力
操作等の操作性の向上が要求されている。従来の文字認
識装置に使用されているマウスは、キーボードに比べて
操作が容易であるが、入力画像中の領域指定は矩形領域
に限定されており、またマウスの形状が扱いにくいと感
じられる場合があるなど、使用者にとって必ずしも扱い
易い装置ではなかった。

【０００５】したがって、本発明は上記問題点に鑑みて
なされたもので、特定の画像領域の認識動作や編集動作
の指示操作性に優れた文字認識装置及び文字認識方法を
提供することを目的とする。

【０００６】

【課題を解決するための手段】請求項１の発明に係る文
字認識装置は、座標位置を入力するためのペンと、座標
読み取り領域を有し、この座標読み取り領域上で動かさ
れる前記ペンの軌跡の座標値を読み取るタブレットと、
文字領域を含む文書の画像データを入力する入力手段
と、タブレットの座標読み取り領域と対応付けられた表
示領域を有する表示手段と、表示領域に画像データを表
示させる画像表示手段と、入力された画像データを表示
領域に表示しているとき、領域抽出モードにあり、この
領域抽出モードにおいて使用者がペンでタブレットの座
標読み取り領域上をなぞると、ペンで指定された範囲に
相当する文字領域の画像データを抽出し表示するように
制御する制御手段と、制御手段により抽出された文字領
域の画像データを文字コードに変換するデータ変換手段
と、抽出された文字領域を表示手段の表示領域に表示す
る抽出文字列表示手段とを備えている。

【０００７】請求項２の発明に係る文字認識装置では、
請求項１の文字認識装置に対して、さらに表示手段の表
示領域が、タブレットの座標読み取り領域に重複するよ
うにタブレットに設けられている。請求項３の発明に係
る文字認識装置では、請求項２の文字認識装置に対し
て、制御手段が、領域抽出モードにあるときに、使用者
がペンを用いてタブレットの座標読み取り領域上に不定
形閉曲線をなぞることによって、その不定形閉曲線の内
部に含まれる全ての文字列を抽出するように制御動作を
行う。

【０００８】請求項４の発明に係る文字認識装置では、
請求項２の文字認識装置に対して、制御手段が、領域抽
出モードにあるときに、使用者がペンを用いてタブレッ
トの座標読み取り領域上に不定形閉曲線をなぞることに
よって、少なくともその一部が不定形閉曲線の内部に含
まれる文字列を行単位で抽出するように制御動作を行
う。

【０００９】請求項５の発明に係る文字認識装置では、
請求項１ないし４の文字認識装置に対して、さらに制御
手段が、領域抽出モードと文字編集モードとに切り換え
可能であり、領域抽出モードにおいてペン操作により領
域抽出処理が行われ、文字編集モードにおいては、使用
者がペンを用いてタブレット上に行う描画操作をコマン
ド入力として認識するように制御動作を行う。

【００１０】請求項６の発明に係る文字認識装置は、請
求項５の文字認識装置に対して、さらに、識別されたコ
マンドに基づいて、抽出された前記文字領域の文字デー
タの編集処理を行う編集手段を備えている。請求項７の
発明は、入力ペンとタブレットを用いて、表示装置に表
示された画像中から所望の文字領域を抽出する文字認識
方法であって、表示された画像中の所望の文字領域を取
り囲むように、入力ペンを用いてタブレットの座標読み
取り領域上に不定形閉曲線を描くことによって、不定形
閉曲線に囲まれた領域を黒画素とし、かつ不定形閉曲線
の外側の領域を白画素とする抽出領域選択画像データを
作成するステップと、表示された画像の画像データと抽
出領域選択画像データとの画素毎の論理積をとることに
よって所望の文字領域のみを表示する画像データを作成
するステップとを備えている。

【００１１】請求項８の発明は、入力ペンとタブレット
を用いて、表示装置に表示された画像中から所望の文字
領域を抽出する文字認識方法であって、表示された画像
中の所望の文字領域の少なくとも一部を含むように、入
力ペンを用いてタブレットの座標読み取り領域上に不定
形閉曲線を描くステップと、不定形閉曲線に囲まれた領
域から上下左右方向に画像データを走査し、白画素領域
が所定範囲に渡って連続する位置を各々上限、下限、左
限、右限として検出し、この範囲内にある画像データを
所望の文字領域のみを表示する画像データとして抽出す
るステップとを備えている。

【００１２】

【作用】請求項１に係る文字認識装置は、座標認識手段
としてタブレットとペンを備え、タブレットの座標読み
取り領域上をペンでなぞる動作によって紙に鉛筆書きす
るような感覚で任意形状の図形描画が可能である。そし
て、制御手段は、領域抽出モードでは、ペン入力された
描画領域を認識して、この領域に対応する画像データを
抽出する。

【００１３】請求項２の文字認識装置は、タブレットの
座標読み取り領域と表示画面が重複しているため、ペン
を用いた画像抽出領域の指定が容易に行える。請求項３
及び請求項７の発明では、ペンで不定形閉曲線で取り囲
んだ領域内の全ての画像データを抽出することができ
る。請求項４及び請求項８の発明では、ペンを用いて大
まかな領域を指定することにより、文章中の行間や段落
などの区切りを検出して抽出するので、抽出しようとす
る領域を正確に指定しなくても、所望の領域を抽出する
ことができる。

【００１４】請求項５及び請求項６の文字認識装置は、
制御手段によって文字編集モードに切り換わると、ペン
を用いて入力された描画図形をコマンド入力信号として
受取り、その図形パターンを識別してコマンドが判断さ
れ、領域抽出モードで抽出された文字データに対して入
力コマンドに対応した編集処理が行われる。

【００１５】

【実施例】以下、本発明の実施例による文字認識装置に
ついて、図面を参照しながら説明する。図１は、本発明
の実施例における文字認識装置の構成を示すブロック図
である。図１を参照して、本発明による文字認識装置
は、大別して、画像データを入力するための画像入力部
１０と、入力画像データを記憶する画像データ記憶部１
１と、座標入力用のペン１２と、ディスプレイ付きタブ
レット１３と、画像データの抽出・編集動作を制御する
制御部とを有する。

【００１６】画像入力部１０は、外部ファイルやスキャ
ナ等から画像データを読み込む動作を行う。画像データ
記憶部１１は、入力された画像データを文字などの表示
対象の黒画素を１、背景の白画素を０で示した２値のド
ットパターンで記憶する。ディスプレイ付きタブレット
１３は、画像を表示する画面を有し、この画面上をペン
１２でポインティングしたりなぞったりすることによ
り、ペン１２の軌跡座標値が読み取られる。このディス
プレイ付きタブレット１３は、表示画像上を直接ペン１
２で指定することができるため、紙に鉛筆書きするよう
な感覚で操作でき、操作性に優れている。

【００１７】制御部は、主に領域抽出モード時に動作す
る認識対象画像データ抽出手段１５、抽出文字列認識手
段１６、抽出文字列表示手段１７と、主に文字編集モー
ド時に動作するジェスチャ認識手段１８、抽出文字列編
集手段１９とから構成される。なお、後で詳述するが、
領域抽出モードは入力された画像データの中から所望の
文字列の画像データを抽出して表示する動作モードであ
り、文字編集モードは、入力ペンでコマンドを入力し、
抽出した文字列に対して種々の編集動作を行う動作モー
ドである。

【００１８】認識対象画像データ抽出手段１５は、使用
者がペン１２で指示したタブレット１３のディスプレイ
上の領域座標を受取り、この領域に対応する文字領域の
画像データを入力された画像データ中から抽出して抽出
文字列認識手段１６に出力する。抽出文字列認識手段１
６は、抽出された文字領域の画像データを文字単位で認
識し、文字コードに変換し、抽出文字列表示手段１７に
出力するとともに保持する。

【００１９】抽出文字列表示手段１７は、抽出した文字
列をタブレット１３のディスプレイ上に入力画像とは異
なる表示領域、例えば異なるウインドウ等に表示する。
ジェスチャ認識手段１８は、文字編集モードにおいて、
抽出文字列の表示領域に対して入力ペン１２による描画
入力動作が行われた場合に、描画図形から対応するコマ
ンドを解釈する。

【００２０】抽出文字列編集手段１９は、ジェスチャ認
識手段１８で認識したコマンドの内容に応じて抽出文字
列に種々の編集動作を行う。編集結果は、抽出文字列表
示手段１７によってディスプレイ上に表示される。次
に、この文字認識装置の動作について説明する。図２な
いし図４は、文字認識装置の動作手順を示す動作フロー
である。図２に示すように、この文字認識装置の動作
は、主に文字領域抽出動作と文字編集動作に分けられ、
図３に文字領域抽出動作のフローが、また図４に文字編
集動作のフローが示されている。

【００２１】まず、文字領域認識動作（領域抽出モー
ド）について説明する。画像入力手段１０は、スキャナ
あるいはファイルから文字列を含む画像を読み込む（画
像入力ステップ）。画像記憶手段１１は、画像入力手段
１０で読み込んだ画像を、文字などの黒画素を１、背景
の白画素を０とした２値データで記憶する。

【００２２】画像表示手段１４は画像記憶手段１１で記
憶している画像データをディスプレイつきタブレット１
３のディスプレイ上に表示する（画像表示ステップ）。
使用者は、ディスプレイつきタブレット１３に表示され
た画像中で、認識したい文字を含む画像領域を、ペン１
２を用いて抽出する。ここで、文字画像領域の抽出方法
には２つの方法がある。

【００２３】まず第１の方法について、図５を用いて説
明する。図５（a）に示すように、使用者は、入力ペン
１２を用いて画面上の抽出すべき文字領域の周囲を囲む
不定形閉曲線２０を描く。認識対象画像データ抽出手段
１５は、不定形閉曲線２０の軌跡の座標値等を求める。
そして、図５（ｂ）に示すような、入力画像領域と同じ
大きさであって、不定形閉曲線の内部の全ての画素が黒
画素であることを示す「１」であり、不定形閉曲線の外
部の全ての画素が白画素であることを示す「０」から構
成される選択領域画像データを作成する。その後、入力
画像データと選択領域画像データとの画素毎の論理積を
とることにより、不定形閉曲線２０で囲まれた領域以外
の画素が白画素に変換され、図５（ｃ）に示すように、
不定形閉曲線２０の内部の画像データのみが抽出され
る。

【００２４】さらに、第２の方法について図６を用いて
説明する。図６（ａ）に示すように、使用者は、ディス
プレイつきタブレット１３に表示された画像中で、抽出
したい文字領域の一部にペン１２を用いて不定形閉曲線
２１の印をつける。認識対象画像データ抽出手段１５
は、不定形閉曲線２１の座標情報を受け取って以下のよ
うに処理を行う。図６（ｂ）を参照して、認識対象画像
データ抽出手段１５は、まず不定形閉曲線２１のｘ座標
の最小値ｘｍｉｎ、最大値ｘｍａｘ、ｙ座標の最小値ｙ
ｍｉｎ、最大値ｙｍａｘを求める。次に、ｙ座標の最小
値ｙｍｉｎを起点として、不定形閉曲線のｘ座標の最小
値ｘｍｉｎから最大値ｘｍａｘまでの範囲を上へ走査し
て、ｘｍｉｎからｘｍａｘまでの範囲の画素が全てが白
画素「０」となる画素の行が、初めてＮｙ行以上連続し
たｙ座標を認識対象領域の上限のｙ座標ｙｓとする。同
様に、ｙ座標の最大値ｙｍａｘを起点として、不定形閉
曲線のｘ座標の最小値ｘｍｉｎから最大値ｘｍａｘまで
の範囲を下へ走査して、ｘｍｉｎからｘｍａｘまでの範
囲の画素が全てが白画素「０」になる画素の行が、初め
てＮｙ行以上連続したｙ座標を認識対象領域の下限のｙ
座標ｙｅとする。

【００２５】今度は、ｘ座標の最小値ｘｍｉｎを起点と
して、不定形閉曲線のｙ座標の最小値ｙｍｉｎから最大
値ｙｍａｘまでの範囲を左へ走査して、ｙｍｉｎからｙ
ｍａｘまでの範囲の画素が全てが白画素「０」となる画
素の行が、初めてＮｘ行以上連続したｘ座標を認識対象
領域の上限のｘ座標ｘｓとする。同様に、ｘ座標の最大
値ｘｍａｘを起点として、不定型閉曲線のｙ座標の最小
値ｙｍｉｎから最大値ｙｍａｘまでの範囲を右へ走査し
て、ｙｍｉｎからｙｍａｘまでの範囲の画素が全てが白
画素「０」になる画素の行が、初めてＮｘ行以上連続し
たｘ座標を認識対象領域の下限のｘ座標ｘｅとする。そ
して、上限、下限のｙ座標、左限、右限のｘ座標で囲ま
れた画像ブロックを抽出文字領域の画像データとして抽
出する。

【００２６】なお、第２の方法の他の例として、上下限
及び左右限の走査は、不定形閉曲線２１の重心位置（Ｇ
ｘ、Ｇｙ）から開始してもよい。また、左右限の走査開
始の起点をｘｍｉｎ、ｘｍａｘとし、上下限の走査開始
の起点を重心位置Ｇｙとしてもよい。さらに、走査領域
の幅や走査の順序は任意に設定してもよい。このように
して抽出された文字領域の画像データは、抽出文字列認
識手段１６によって、画素単位の画像データから文字コ
ードに変換され保持される。

【００２７】抽出文字列表示手段１７は、抽出文字列認
識手段１６で抽出された文字列をタブレット１３のディ
スプレイの画面上に表示する（抽出文字領域の表示ステ
ップ）。以上が領域抽出モードでの動作である。つぎ
に、文字編集動作について説明する。この動作モードで
は、使用者がペン１２でタブレット上をなぞって描画す
る動作（この動作をジェスチャと称する）からコマンド
を認識して、抽出された文字列に対して種々の編集動作
が行われる。

【００２８】まず、タブレット１３のディスプレイ画面
上の抽出文字列表示領域をペン１２でなぞる動作はジェ
スチャとして受け付けられるように設定される。そし
て、使用者がペン１２で予め定められた図形をなぞる
と、その図形の座標値等の軌跡データがジェスチャ認識
手段１８に与えられる。ジェスチャ認識手段１８は、ジ
ェスチャの意味を解釈して所定の処理コマンドを識別し
て、抽出文字列編集手段１９に処理命令を与える。ここ
で、図７は、ジェスチャ形状の例を示す図である。図
中、矢印はジェスチャの筆跡の向きを示している。

【００２９】図７（ａ）に例示するようなジェスチャＡ
が描かれた場合、ジェスチャ認識手段１８は、抽出文字
列編集手段１９にジェスチャＡが描かれたこととジェス
チャＡの開始座標及び終了座標とを通知する。抽出文字
列編集手段１９は、ジェスチャの開始座標及び終了座標
とから、抽出文字列中のどの文字又は文字列が対象とな
るかを計算し、例えば、該当文字を反転表示するなどし
て選択されたことを表示する。

【００３０】また、ジェスチャＡに続いて図７（ｂ）に
例示するようなジェスチャＢが描かれた場合、ジェスチ
ャ認識手段１８は文字列の次候補への変換コマンド入力
と認識する。そして、抽出文字列編集手段１９は、ジェ
スチャＡによって選択されている文字を次候補に訂正す
る。次候補とは現在表示されている候補文字の次に確か
らしい候補文字である。

【００３１】さらに、図７（ｃ）に例示するようなジェ
スチャＣの場合には、選択されている文字または文字列
の選択候補を画面上に全て表示する。さらに、図７
（ｄ）に例示するようなジェスチャＤの場合には、選択
されている文字又は文字列を削除する。このような編集
処理が行われた後、編集後の抽出文字列が抽出文字列表
示手段１７によってタブレット１３のディスプレイ上に
表示される。

【００３２】さらに、使用者の指示によって次の処理が
行われる。なお、上記実施例で説明したジェスチャは例
示に過ぎず、種々の図形をコマンドと関連付けて使用す
ることができる。また、上記実施例では、ディスプレイ
付きタブレットを使用したが、タブレットと分離したデ
ィスプレイ装置を使用してもかまわない。

【００３３】

【発明の効果】このように、本発明の文字認識装置は、
座標入力手段としてペンとタブレットを備え、領域抽出
モード時には、タブレット上をペンでなぞることによっ
て、画像表示手段に表示された画像上の所望の領域の画
像データを抽出するように制御されるので、鉛筆書きの
感覚で不定形閉曲線を用いた領域抽出指示が行え、文字
認識動作の操作性が向上する。

【００３４】また、文字編集モードでは、抽出した文字
領域の表示画面に対してペンを用いた描画動作をコマン
ド入力として受けとるように構成されているので、簡便
な描画動作で文字列の編集動作の指示を容易に行わせる
ことができる。さらに、請求項７及び８に係る発明で
は、ペンでタブレット上に不定形閉曲線を描画すること
によって、所望の文字領域を認識することができるの
で、複雑な領域指定や大まかな領域指定が可能となり、
操作性が向上する。

【図面の簡単な説明】

【図１】本発明の実施例における文字認識装置の構成を
示すブロック図である。

【図２】図１に示す文字認識装置の動作手順を示すメイ
ンフロー図である。

【図３】図１に示す文字認識装置の動作手順を示すサブ
フロー図である

【図４】図１に示す文字認識装置の動作手順を示すサブ
フロー図である

【図５】本発明の文字認識装置の文字領域抽出動作の一
例を説明するための模式図である。

【図６】本発明の文字認識装置の文字領域抽出動作の他
の例を説明するための模式図である。

【図７】ジェスチャの形状の例を示す図である。

【符号の説明】

１０ 画像入力手段 １１ 画像記憶手段 １２ ペン １３ ディスプレイつきタブレット １４ 画像表示手段 １５ 認識対象画像データ抽出手段 １６ 抽出文字列認識手段 １７ 抽出文字列表示手段 １８ ジェスチャ認識手段 １９ 抽出文字列編集手段

───────────────────────────────────────────────────── フロントページの続き (72)発明者 中尾 一郎 大阪府門真市大字門真1006番地 松下電器 産業株式会社内

Claims (8)

【特許請求の範囲】
1. 【請求項１】 座標位置を入力するためのペンと、 座標読み取り領域を有し、この座標読み取り領域上で動
   かされる前記ペンの軌跡の座標値を読み取るタブレット
   と、 文字領域を含む文書の画像データを入力する入力手段
   と、 前記タブレットの座標読み取り領域と対応付けられた表
   示領域を有する表示手段と、 前記表示領域に前記画像データを表示させる画像表示手
   段と、 入力された画像データを表示領域に表示しているとき領
   域抽出モードにあり、この領域抽出モードにおいて使用
   者が前記ペンで前記タブレットの座標読み取り領域上を
   なぞると、前記ペンで指定された範囲に相当する文字領
   域の画像データを抽出し表示するように制御する制御手
   段と、 前記制御手段により抽出された文字領域の画像データを
   文字コードに変換するデータ変換手段と、 抽出された文字領域を前記表示手段の表示領域に表示す
   る抽出文字列表示手段とを備えた、文字認識装置。
2. 【請求項２】 前記表示手段の表示領域は、 前記タブレットの座標読み取り領域に重複するように前
   記タブレットに設けられていることを特徴とする、請求
   項１記載の文字認識装置。
3. 【請求項３】 前記制御手段は、領域抽出モードにある
   ときに、使用者が前記ペンを用いて前記タブレットの座
   標読み取り領域上に不定形閉曲線をなぞることによっ
   て、その不定形閉曲線の内部に含まれる全ての文字列を
   抽出することを特徴とする、請求項２記載の文字認識装
   置。
4. 【請求項４】 前記制御手段は、領域抽出モードにある
   ときに、使用者が前記ペンを用いて前記タブレットの座
   標読み取り領域上に不定形閉曲線をなぞることによっ
   て、少なくともその一部が前記不定形閉曲線の内部に含
   まれる文字列を行単位で抽出することを特徴とする、請
   求項２記載の文字認識装置。
5. 【請求項５】 前記制御手段は、領域抽出モードと文字
   編集モードとに切り換え可能であり、前記領域抽出モー
   ドにおいてペン操作により領域抽出処理が行われ、文字
   編集モードにおいては、使用者が前記ペンを用いて前記
   タブレット上に行う描画操作をコマンド入力として認識
   することを特徴とする、請求項１ないし請求項４のいず
   れかに記載の文字認識装置。
6. 【請求項６】 該文字認識装置は、さらに、 識別されたコマンドに基づいて、抽出された前記文字領
   域の文字データの編集処理を行う編集手段を備えること
   を特徴とする、請求項５記載の文字認識装置。
7. 【請求項７】 入力ペンとタブレットを用いて、表示装
   置に表示された画像中から所望の文字領域を抽出する文
   字認識方法であって、 表示された画像中の所望の文字領域を取り囲むように、
   入力ペンを用いてタブレットの座標読み取り領域上に不
   定形閉曲線を描くことによって、不定形閉曲線に囲まれ
   た領域を黒画素とし、かつ不定形閉曲線の外側の領域を
   白画素とする抽出領域選択画像データを作成するステッ
   プと、 表示された前記画像の画像データと前記抽出領域選択画
   像データとの画素毎の論理積をとることによって所望の
   文字領域のみを表示する画像データを作成するステップ
   とを備えた、文字認識方法。
8. 【請求項８】 入力ペンとタブレットを用いて、表示装
   置に表示された画像中から所望の文字領域を抽出する文
   字認識方法であって表示された画像中の所望の文字領域
   の少なくとも一部を含むように、入力ペンを用いてタブ
   レットの座標読み取り領域上に不定形閉曲線を描くステ
   ップと、 前記不定形閉曲線に囲まれた領域から上下左右方向に画
   像データを走査し、白画素領域が所定範囲に渡って連続
   する位置を各々上限、下限、左限、右限として検出し、
   この範囲内にある画像データを所望の文字領域のみを表
   示する画像データとして抽出するステップとを備えた、
   文字認識方法。