JPH09102013A

JPH09102013A - 手書文字・図形読取装置

Info

Publication number: JPH09102013A
Application number: JP7257711A
Authority: JP
Inventors: Katsuhiko Takahashi; 勝彦高橋; Takeshi Kamimura; 健上村; Noboru Nakajima; 昇中島
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 1995-10-04
Filing date: 1995-10-04
Publication date: 1997-04-15
Anticipated expiration: 2015-10-04
Also published as: JP2985935B2

Abstract

(57)【要約】【課題】紙・黒板等に筆記された手書きの文字・図形
を高精度出認識できる手書文字・図形読取装置を提供す
る。【解決手段】ビデオカメラを含む画像入力部１０１か
ら得られる時系列入力画面から、筆跡抽出部１０２は、
筆記跡を抽出する。抽出された筆記跡は、座標系列ある
いは筆跡画像系列として文字図形認識部１０３へ出力さ
れ、文字・図形として認識され、文字・図形コードに変
換される。文字図形コードは、位置情報とともにコード
情報記憶部１０４に格納される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、手書文字・図形読
取装置に関する。

【０００２】

【従来の技術】従来の文字・図形読取装置は、スキャナ
やタブレットといった入力装置を用い、入力された情報
に基づいて文字・図形の認識を行っている。即ち、スキ
ャナを有するＯＣＲ（光学式文字読取装置）の場合は、
原稿の表面をスキャナでスキャンして原稿の表面に書か
れた文字・図形等をコード化し、その後、文字・図形等
の認識を行う。また、タブレットを備えた文字・図形読
取装置では、タブレット上に筆記される文字を時系列情
報として取り込み、文字認識を行っている。

【０００３】また、ビデオカメラを用いて文字・図形を
読み取る装置もある。例えば、特開昭６１−１７５７７
６号公報には、ビデオカメラを用いて画像を取り込みコ
ード化する装置が開示されている。

【０００４】

【発明が解決しようとする課題】入力装置としてスキャ
ナを備えた文字・図形読取装置では、読取の対象が限定
される。即ち、スキャナの読み取り面に載置できる物体
の平面に記述された文字・図形や、紙等のシート状の物
体に書かれた文字・図形等しか読み取ることができなと
いう問題点がある。また、この装置では、互いに近接し
て筆記された文字・図形等の認識が難しいという問題点
もある。さらに、この装置では、装置が比較的大型で可
変性に劣るという問題点もある。

【０００５】また、タブレットを入力装置として有する
文字・図形読取装置では、紙などに比べ、文字・図形が
書きづらく、また、書かれた文字・図形も見にくいとい
う問題点がある。また、この装置では、タブレット上に
筆記されたものしか、読み取れないという問題点もあ
る。

【０００６】一方、ビデオカメラなどの撮像装置を用い
た文字・図形読取装置では、黒板等を含めどの様な物体
に記述された文字・図形であっても読み取ることが可能
であるが、依然として、近接した文字・図形を分離、認
識することが困難であるという問題点がある。

【０００７】本発明は、どの様な物体に記述された文字
・図形であっても読み取ることが可能で、しかも、手書
の文字・図形を高精度出認識できる手書文字・図形読取
装置を提供することを目的とする。

【０００８】

【課題を解決するための手段】本発明によれば、時系列
画像を取得するための画像入力手段と、前記時系列画像
から筆記跡を抽出し筆跡情報を出力する筆跡抽出手段
と、前記筆跡情報から文字・図形を認識し、文字・図形
コード及び位置情報を出力する文字・図形認識手段と、
前記文字・図形コード及び位置情報を格納する文字・図
形記憶手段とを有することを特徴とする手書文字・図形
読取装置が得られる。

【０００９】より具体的には、本発明によれば、前記筆
跡抽出手段が、前記時系列画像の画素値を監視して、画
素値が変化してから所定時間その値を維持する画素を抽
出する筆跡候補画素抽出部と、前記時系列画像の画素値
を監視して、画素値が変化してから所定時間内に再び変
化する画素を抽出する筆記者候補画素抽出部と、前記筆
跡候補画素抽出部と前記筆記者候補画素抽出部との出力
に基づいて、真の筆記跡を決定し前記筆跡情報として出
力する筆記跡出力部とを有することを特徴とする手書文
字・図形読取装置がえられる。

【００１０】あるいは、前記筆跡抽出手段が、１時刻前
までに抽出された前記筆記情報を累積し累積筆記画像と
して記憶する累積筆跡画像記憶部と、前記時系列画像の
内最新のものから順に所定フレーム数だけ蓄積する画像
メモリと、該画像メモリに蓄積された全ての画像におい
て値に変化がない黒画素位置を抽出する安定黒画素抽出
部と、該安定黒画素抽出部の出力から得られる画像と、
前記累積筆跡画像との差分を求め、前記筆跡情報として
出力する手書文字・図形読取装置が得られる。

【００１１】または、前記筆跡抽出手段が、１時刻前ま
でに抽出された前記筆記情報を累積し累積筆記画像とし
て記憶する累積筆記画像記憶部と、前記時系列画像と前
記累積筆記画像とを比較して画素値が異なる領域を抽出
する変化領域抽出部と、該変化領域抽出部の出力から筆
記具と筆記者の身体を表わす領域を抽出する筆記者抽出
部と、前記変化領域抽出部の出力と前記筆記者抽出部の
出力とに基づいて新たな筆記跡を抽出して前記筆記情報
として出力する新規筆跡抽出部とを有することを特徴と
する手書文字・図形読取装置が得られる。

【００１２】さらには、前記筆跡抽出手段が、１時刻前
までに確定された前記筆記情報を累積し累積筆記画像と
して記憶する累積筆記画像記憶部と、１時刻前に生成さ
れた筆跡候補画像を記憶する筆跡候補画像記憶部と、前
記時系列画像と前記累積筆記画像とを比較して画素値が
異なる領域を抽出する変化領域抽出部と、該変化領域抽
出部の出力から筆記具と筆記者の身体を表わす領域を抽
出する筆記者抽出部と、前記変化領域抽出部の出力と前
記筆記者抽出部の出力とに基づいて未確定の筆記跡を抽
出する未確定筆跡抽出部と、該未確定筆跡抽出部の出力
と前記筆跡候補画像とに基づいて新たな筆跡箇所を確定
し、前記筆記情報として出力する筆跡確定部と、前記筆
記者抽出部の出力と前記筆跡候補画像都に基づいて、前
記筆記者及び前記筆記具によって隠蔽された未確定筆跡
を抽出する被隠蔽筆跡抽出部と、該被隠蔽筆跡抽出部の
出力と前記未確定筆跡抽出部の出力とに基づいて前記筆
跡候補画像を生成する筆跡候補画像生成部とを有するこ
とを特徴とする手書文字・図形読取装置が得られる。

【００１３】さらにまた、本発明によれば、前記筆跡抽
出部が、前記筆跡情報を累積して累積筆跡画像として記
憶する累積筆跡画像記憶部と、前記時系列画像から筆記
具の先端の２次元位置を抽出する筆記具追跡部と、該筆
記具追跡部が抽出した前記筆記具の位置に対応する画素
の変化を、前記累積筆跡画像と前記時系列画像とに基づ
いて検出する画素変化検出部と、該画素変化検出部の出
力に基づいて筆記が行われたか否かの判定を行い、筆記
が行われた場合は前記筆記部の位置を前記筆跡情報とし
て出力するモード判定部とを有することを特徴とする手
書文字・図形読取装置が得られる。

【００１４】

【作用】図１の手書文字・図形読取装置によれば、紙
面、黒板等どの様なものに筆記した文字・図形を認識す
ることができるので、タブレットを有する手書文字・図
形読取装置に比べ使いやすい。特に、ビデオカメラを用
いて時系列画像を得るので、筆記位置及び筆記時間とい
う２種類の情報を獲得できるので、筆記者の書いた文字
や図形が互いに近接している場合であっても高精度に文
字・図形を分離・認識できる。

【００１５】図４の筆跡抽出部では、ビデオカメラから
得られる時系列画像において、時間軸方向での画素値の
変化に着目する。証明条件が一定であれば、時間軸方向
の画素値の変化は、筆記具による筆記跡、あるいは筆記
者の身体や筆記具の動きによってもたらされたと考えら
れる。そこで、これら画素値が変化した画素のうち、所
定時間を経過しても画素値が再び変化することのない線
分状の画素群を抽出することにより、筆記跡のみを得る
ことができる。

【００１６】図５の筆跡抽出部では、１時刻前までに抽
出した筆記跡画像と、現時刻の入力画像とを比較して画
素値が変化した領域を求める。この領域には、新たに筆
記された筆記跡と筆記者の身体等が含まれている筈なの
で、この領域から筆記者に対応する部分を取り除く（差
分を求める）ことによって、新たに筆記された筆記跡の
みを抽出することができる。ここで、変化領域を求める
には、時系列画像と累積筆跡画像との差分を求めれば良
い。また、筆記者の部分は、画素値が変化した領域に対
して筆記跡が消滅する程度の収縮処理と同数の膨脹処理
とを行うことにより、筆記者及び筆記具を抽出すること
ができる。

【００１７】図８の筆跡抽出部では、１時刻前までに抽
出した筆記跡画像と、現時刻の入力画像とを比較して画
素値が変化した領域を求め、この領域中から新たな筆記
箇所の候補を抽出する。この処理を毎時刻行い、連続す
る２時刻において発見された筆記候補箇所を抽出する
（論理積を求める）ことによって、真の筆記箇所を得る
ことができる。ここで、変化領域を求めるには、図５の
場合と同様に、時系列画像と累積筆跡画像との差分を求
めれば良い。また、筆記者の部分は、画素値が変化した
領域に対して筆記跡が消滅する程度の収縮処理と同数の
膨脹処理とを行うことにより、筆記者及び筆記具を抽出
することができる。

【００１８】図９の筆跡抽出部では、所定時間の間、筆
記跡に等しい画素値を保ち続ける画素を抽出することに
より、筆跡のみを獲得できる。これは図５の筆跡抽出部
に比べ、比較的太い筆記跡でも抽出できる。

【００１９】図１１の筆跡抽出部では、筆記具先端の２
次元的位置を求めた後、筆記具通過に伴う画素値の変化
の仕方から筆記中か否かを判別することができる。よっ
て、筆記中と判断したときの筆記具位置を抽出すれば筆
記跡を得ることができる。

【００２０】図１４の筆跡抽出部では、連続した時刻に
おいて抽出された２点の筆記画素について、２画素間を
結ぶ線分上にある点も筆記画素として扱うことにより、
筆記速度が速い場合でも認識に必要な筆跡画素を抽出で
きる。

【００２１】図１５の手書文字・図形読取装置では、筆
記中でない筆記具の動きはジェスチャを示していると判
定することにより原稿描写モードとジェスチャ入力モー
ドとを自在に切り替えることができる。

【００２２】

【発明の実施の形態】以下、図面を参照して本発明の実
施の形態について説明する。図１に本発明の手書文字・
図形読取装置の一実施形態を示す。図１の手書文字・図
形読取装置は、ビデオカメラ等の時系列画像を取得する
画像入力部１０１と、時系列画像から筆軌跡の画素のみ
を抽出し、筆跡情報を出力する筆跡抽出部１０２と、筆
跡情報に基づいて文字・図形を認識して文字・図形コー
ド情報を作成する文字・図形認識部１０３と、文字・図
形コード情報を記憶するコード情報記憶部１０４とを有
している。

【００２３】画像入力部１０１は、筆記者が文字・図形
等を筆記している動作を撮像し、時系列画像信号を出力
する。ここでは、文字・図形が、紙面や黒板（白板）に
記述される場合を想定しており、画像入力部は、これら
紙面や黒板に向かい、筆記跡を撮像できる位置に固定さ
れているものとする。

【００２４】筆跡抽出部１０２は、画像入力部１０１よ
り入力される時系列画像信号の各フレームから筆記跡の
画素のみを時々刻々と抽出し、筆記跡情報を出力する。
この筆記跡情報は、位置情報及び時間情報を含み、座標
列として表現されたり、ある時刻に抽出された筆跡画像
の系列として表現される。

【００２５】コード情報記憶部１０４は、メモリを有し
ており、文字・図形認識部１０３からのコード情報を記
憶する。

【００２６】文字・図形認識部１０３は、筆跡抽出部１
０２からの筆記跡情報に基づいて文字や図形を認識す
る。そして、認識した文字・図形をコード情報に変換し
て出力する。筆跡抽出部１０２からの筆記跡情報は、文
字・図形が筆記された画素の位置及び時刻情報を含んで
いるので、例えば、図２に示すように２つの文字が接触
しており、位置情報のみでは分離が困難な場合であって
も、時刻情報を併用することによって容易に図３の様に
セグメンテーションすることができる。即ち、筆記跡情
報が、文字「接」３０１は、例えば、時刻ｔ＝１からｔ
＝２の間に筆記され、文字「触」３０２が、例えば、時
刻ｔ＝２からｔ＝３の間に筆記されたという情報を含ん
でいるので、これらの文字を分離、認識できる。なお、
ここでの認識は、時々刻々と行ってもよいし、全ての筆
記情報が得られたあとレイアウト解析を行ってから行っ
てもよい。

【００２７】次に、筆跡抽出部１０２のより詳細な実施
の形態について説明する。図４に筆跡抽出部１０２の第
１の実施の形態を示す。この筆跡抽出部１０２は、筆跡
候補画素抽出部４０１、筆記者候補画素抽出部４０２、
及び筆記跡出力部４０３を有している。

【００２８】筆跡候補画素抽出部４０１は、入力される
時系列画像信号から、時間経過と共に画素値が変化した
画素のうち、所定時間、変化直後の画素値を保ち続ける
線分状画素群を筆記跡の候補箇所として抽出する。

【００２９】また、筆記者候補画素抽出部４０２は、入
力された時系列画像信号から、時間経過と共に画素値が
変化した画素のうち、所定時間内に再び画素値が変化す
る画素を筆記者もしくは筆記具に対応する画素の候補と
して抽出する。

【００３０】筆記跡出力部４０３は、筆跡候補画素抽出
部４０１が出力する情報と、筆記者候補画素抽出部４０
２が出力する情報とを統合して、真の筆記跡のみを抽出
する。抽出された真の筆記跡は、文字・図形認識部１０
３に出力されると共に、筆跡候補画素抽出部４０１へ出
力される。

【００３１】なお、筆跡抽出部１０２は、精度の低下が
許されるならば、筆跡候補画素抽出部４０１のみで構成
することにより、小型化を図ることもできる。

【００３２】次に、図５を参照して、筆跡抽出部１０２
の第２の実施の形態を説明する。この筆跡抽出部１０２
は、変化領域抽出部５０１、筆記者抽出部５０２、新規
筆跡抽出部５０３、及び累積筆跡画像記憶部５０４を有
している。

【００３３】変化領域抽出部５０１は、画像入力部１０
１からの時系列画像と累積筆跡画像記憶部５０４に記憶
されている累積筆跡画像との差分を求め、これを２値化
して新たに筆記された箇所と筆記者の身体部分などを含
む画像を出力する。

【００３４】筆記者抽出部５０２は、筆記具の筆記跡に
対応する画素群が身体に対応する画素群に比べて細かい
という仮定に基づき、変化領域抽出部５０１の出力画像
に対して筆記跡が消滅する程度の回数だけ収縮処理を施
す。その後、同じ回数の膨脹処理を行い、筆記者の身体
部分（筆記具）に対応する画素を抽出する。

【００３５】新規筆跡抽出部５０３は、変化領域抽出部
５０１の出力画像と、筆記者抽出部５０１の出力画像と
の差分を求めることにより新たな筆跡のみを抽出し、こ
れを文字・図形認識部１０３と累積筆跡画像記憶部５０
４に出力する。

【００３６】累積筆跡画像記憶部５０４は、新規筆跡跡
抽出部５０３の出力と、時系列画像の画素値から筆記跡
を累積した累積筆記画像を生成する。

【００３７】図６及び図７を参照すると、図５の筆跡抽
出部１０２の動作を容易に理解することができる。即
ち、筆跡抽出部１０２に入力される入力画像（画像入力
部１０１の出力画像）が、図６（ａ）及び図７（ａ）に
示すように、ひらがな「あ」を筆記している動作を、所
定のサンプリング時間間隔で撮像したものとすると、各
時刻（ｔ＝０〜ｔ＝９）に対応する変化領域抽出部５０
１の出力画像は、図６（ｂ）及び図７（ｂ）に示す様に
なる。つまり、累積筆跡画像記憶部５０４に記憶されて
いる前時刻の累積筆跡画像との差分を表わす画像が得ら
れる。筆記者抽出部５０２は、その画像に収縮、膨脹処
理を施し、図６（ｃ）及び図７（ｃ）に示すように、筆
記具のみの画像を取り出す。そして、新規筆跡抽出部５
０３は、変化領域抽出部５０１の出力画像と、筆記者抽
出部５０１の出力画像との差分を求めることにより、図
６（ｄ）及び図７（ｄ）に示すように、新たな筆跡のみ
の画像を出力する。最後に累積筆跡画像記憶部は、図６
（ｅ）及び図７（ｅ）に示すような累積筆跡画像を生成
し、時刻情報と共に記憶する。

【００３８】図６及び図７では、説明の都合上、サンプ
リング時間間隔を大きく設定しているので、各時刻にお
いて新たに出現する筆記跡箇所が多量に抽出されるが、
実際には、サンプリング時間間隔をさらに細かくし、よ
り緻密な筆跡情報を得るようにする。これは、サンプリ
ング間隔が広いと、筆記した文字が筆記者の身体などで
隠れてしまう可能性が大きくなり、図７の時刻ｔ＝７に
おける画像のように、筆跡に飛びが生じやすくなるから
である。なお、このような現象の発生頻度を抑制するに
は、サンプリング時間間隔を細かくすることのほかに、
画像入力部１０１のカメラ位置に注意し、筆記跡が筆記
者の影に隠れないようすることも重要である。また、仮
に筆跡に飛びが生じても、図７の時刻ｔ＝８の画像から
の分かるように、時間が経過すれば飛んでいた画素が発
見されるので、飛びがなくなるように筆跡情報を修正し
たり、オフライン文字認識手法を用いて文字・図形を認
識することができる。

【００３９】また、一旦筆記された筆跡が消去された
り、ノイズを筆跡として誤認識した場合には、筆跡が消
去された時刻及びノイズが消滅した時刻において、新規
筆跡抽出部５０３から再び筆跡が抽出されることになる
が、累積筆跡画像中の画素値と、入力時系列画像の画素
値とを参照すれば、画素が筆記されたのか否かを判定す
ることができる。もし、画素が消滅した場合には、累積
筆跡画像記憶部５０４では、対応する画素を消去し、文
字・図形認識部１０３では、対応する文字・図形認識結
果を破棄する様にすればよい。

【００４０】次に図８を参照して、筆跡抽出部１０２の
第３の実施の形態について説明する。この筆跡抽出部１
０２は、図５のものより正確に筆記跡を抽出できるよう
にしたものであって、変化領域抽出部８０１、筆記者抽
出部８０２、未確定筆跡抽出部８０３、筆跡確定部８０
４、被隠蔽筆跡抽出部８０５、筆跡候補画像生成部８０
６、累積筆跡画像記憶部８０７、及び筆跡候補画像記憶
部８０８を有している。以下、この筆跡抽出部１０２の
動作を説明する。

【００４１】まず、変化領域抽出部８０１は、画像入力
部１０１から入力される時系列画像と、累積筆跡画像記
憶部８０７からの１時刻前に抽出された累積筆跡画像と
から、新たに筆記された箇所、及び筆記者の身体等を含
む画像を出力する。

【００４２】筆記者抽出部８０２は、変化領域抽出部８
０１の出力画像に対して、筆記跡が消滅する程度の回数
の収縮処理を施した後、同じ回数の膨脹処理を実行し
て、身体部分に対応する画素のみを抽出する。

【００４３】未確定筆跡抽出部８０３は、筆記者抽出部
８０２の出力画像と、変化領域抽出部７０１の出力画像
との差分を求め新たな筆記跡のみを抽出する。

【００４４】筆跡確定部８０４は、未確定筆跡抽出部８
０３から画像が若干のノイズ成分を含むことを前提と
し、筆記跡のみをより正確に抽出するために、１時刻前
に抽出され筆跡候補画像記憶部８０８に記憶された筆跡
候補画像と、未確定筆跡抽出部８０３から出力画像との
論理積を求め、その結果得られる画像をこの時刻におけ
る新たな筆記跡として、文字・図形認識部１０３及び累
積筆跡画像記憶部８０７へ出力する。

【００４５】このように、筆跡確定部８０４は、連続す
る２つの時刻において抽出された筆記跡を真の筆記跡と
して確定する。このため、先の時刻において抽出された
筆記跡が現時刻において筆記者等の影に隠れている場合
には、真の筆記跡として確定されないことになる。そこ
で、被隠蔽筆跡抽出部８０５は、筆跡候補画像記憶部８
０８に記憶されている筆跡候補画像と筆記者抽出部から
の画像とに基づいて、現時刻において筆記者等によって
隠蔽されている筆跡の画素を抽出する。そして、筆跡候
補画像生成部８０６は、被隠蔽筆跡抽出部８０５からの
画像と、未確定筆跡抽出部８０３からの画像の和を求
め、現時刻の（次時刻に使用される）筆跡候補画像とし
て、筆跡候補画像記憶部８０８へ出力する。こうして、
筆記者の影に隠れてしまった筆跡画素が存在しても、そ
の確定処理を順次、次の時刻に延期していくことができ
るので、再び画素が出現した時点で真の筆跡として確定
することができる。

【００４６】図９及び図１０を参照すると、図８の筆跡
抽出部１０２の動作を容易に理解することができる。こ
こで、図９（ａ）及び図１０（ａ）は変化領域抽出部８
０１への入力画像、図９（ｂ）及び図１０（ｂ）は変化
領域抽出部８０１の出力画像、図９（ｃ）及び図１０
（ｃ）は筆記者抽出部８０２の出力画像、図９（ｄ）及
び図１０（ｄ）は未確定筆跡抽出部８０３の出力画像、
図９（ｅ）及び図１０（ｅ）は筆跡確定部８０４の出力
画像、図９（ｆ）及び図１０（ｆ）は被隠蔽筆跡抽出部
８０５の出力画像、図９（ｇ）及び図１０（ｇ）は、筆
跡候補画像生成部８０６の出力画像、及び図９（ｈ）及
び図１０（ｈ）は累積筆跡画像記憶部８０８に記憶され
る累積筆跡画像を、それぞれ表わしている。

【００４７】時刻の経過と共に、図９（ａ）及び図１０
（ａ）に示される画像が入力されると、変化領域抽出部
８０１は１時刻前の累積筆跡画像との差を求めて図９
（ｂ）及び図１０（ｂ）に示す画像を出力する。筆記者
抽出部８０２は、図９（ｂ）及び図１０（ｂ）の各画像
に収縮、膨脹処理を行い、筆記具のみの画像、即ち、図
９（ｃ）及び図１０（ｃ）に示す画像を得る。未確定筆
跡抽出部８０３は、各時刻において、図９（ｂ）及び図
１０（ｂ）と図９（ｃ）及び図１０（ｃ）との差分を表
わす画像、即ち、図９（ｄ）及び図１０（ｄ）に示す画
像を出力する。筆跡確定部８０４は、現時刻の図９
（ｄ）及び図１０（ｄ）に示す画像と、その１時刻前の
図９（ｇ）及び図１０（ｇ）に示す画像との論理積を求
め、図９（ｅ）及び図１０（ｅ）に示す画像を出力す
る。被隠蔽筆跡抽出部８０５は、現時刻の図９（ｂ）及
び図１０（ｂ）に示す画像と、その１時刻前の図９
（ｇ）及び図１０（ｇ）に示す画像との論理積を求め、
図９（ｆ）及び図１０（ｆ）に示す画像を出力する。筆
跡候補画像生成部８０６は、図９（ｄ）及び図１０
（ｄ）の画像と図９（ｆ）及び図１０（ｆ）の画像との
和を求め、図９（ｇ）及び図１０（ｇ）に示す画像を出
力する。累積筆跡画像記憶部８０７は、図９（ｅ）及び
図１０（ｅ）の画像を順次累積して図９（ｈ）及び図１
０（ｈ）の画像を出力する。

【００４８】このように、図８の筆跡抽出部１０２で
は、筆跡を確定するのに２時刻を要するので、実際に筆
記された時刻よりも１時刻遅れて筆記跡が確定される。

【００４９】なお、この筆跡抽出部１０２においても、
ノイズを筆跡として誤確定してしまったり、筆記跡が消
去された場合の処理は、図５の筆跡抽出部と同様の方法
で実現できる。

【００５０】次に図１１を参照して筆跡抽出部１０２の
第４の実施の形態について説明する。この筆跡抽出部１
０２は、画像メモリ１００１、安定黒画素抽出部１００
２、差分画像生成部１００３、及び累積筆跡画像記憶部
１００４を有している。

【００５１】画像メモリ１００１は、画像入力部１０１
からの画像を順次受け取る。受け取った画像は、所定数
に達するまでは、全て記憶するが、その後は、新たな画
像が入力される度に最も古い画像を消去する。

【００５２】安定黒画素抽出部１００２は、画像メモリ
１００１に蓄積された全画像において値が変化しない黒
画素を抽出する。ここで、値が変化しない黒画素とは、
値の変化がしきい値を越えないものを指す。この様に値
が変化しない黒画素のみを抽出することにより、筆記者
の腕や筆記具など時間の経過と共に移動する物体は除去
され、時間の経過によっても移動しない物体、即ち、文
字・図形等の画像を得ることができる。ただし、ここで
は、筆記具による筆記跡が黒っぽい画素として観察され
る様に、画像入力部１０１を設定している。例えば、黒
板に白墨で書かれた文字を読み取る場合には、画像入力
部１０１において、白黒反転の処理を行っておく。

【００５３】差分画像生成部１００３は、安定黒画素抽
出部１００２からの画像と累積筆跡画像記憶部に記憶さ
れた累積筆跡画像との差分を求め、新たな筆跡箇所を抽
出する。そして、抽出した画像を累積筆跡画像記憶部９
０４と、文字・図形認識部１０３へ出力する。

【００５４】図１２に、画像メモリ１００１が、４フレ
ーム分の画像を蓄積できるものとした場合の、入力画像
と累積筆跡画像記憶部１００４に記憶される画像とを示
しておく。

【００５５】この筆跡抽出部１０２は、筆記跡に対応す
る画素の値が、移動する身体部分に対応する画素とは異
なり、安定していることを利用するものである。このた
め、サンプリング時間間隔を長くとりすぎると筆記跡が
筆記者に隠されてしまう、短すぎると筆記者を筆記跡と
して誤抽出してしますという可能性がある。したがっ
て、ビデオカメラの設置位置にもよるが、サンプリング
時間間隔は、１秒から１０秒程度が適当である。

【００５６】次に、図１３を参照して筆跡抽出部１０２
の第５の実施の形態について説明する。この筆跡抽出部
１０２は、筆記具追跡部１３０１、画素変化検出部１３
０２、モード判定部１３０３、及び累積筆跡画像記憶部
１３０４を有している。

【００５７】筆記具追跡部１３０１は、筆記具の形状や
色などの特徴に基づいて、入力画像の中の筆記具の２次
元的な位置を同定し、その位置座標を出力する。

【００５８】画素変化検出部１３０２は、画像中の筆記
具先端位置に対応する画素値の変化を検出する。このと
き、画素変化検出部１３０２は、筆記具が通過する以前
の画素として、累積筆跡画像記憶部１３０４に記憶され
ている累積筆跡画像を参照する。また、筆記具が通過し
た後の画素としては、１時刻後に、筆記具追跡部１３０
１を介して得られる画像を参照する。そして、画素変化
検出部１３０２は、筆記部先端位置の画素値の変化を下
記の４つのパターンに分類し、筆記具先端位置の座標値
と、画素値変化を示すパターン番号とを対にして出力す
る。なお、４つのパターンとは、未筆記と判断される
画素から未筆記と判断される画素への変化（変化な
し）、未筆記と判断される画素から筆記済みと判断さ
れる画素への変化、筆記済みと判断される画素から筆
記済みと判断される画素への変化（変化なし）、及び
筆記済みと判断される画素から未筆記と判断される画素
への変化、である。

【００５９】モード判定部１３０３は、画素変化検出部
１３０２の出力に基づき、現時刻における筆記モードを
判定する。ここで、上記は筆記中ではない状態、は
筆記中、及びは消去中であると特定できるが、につ
いては特定することができない。の状況は、すでに描
かれた線上に筆記具が横切る場合等を表わしており、現
在筆記具が筆記を行っているのか、単に上方を移動して
いるのにすぎないのかを、画素値から判断することがで
きないからである。そこで、モード判定部１３０３は、
現時刻の画素変化パターンがの場合には、１時刻前に
おける画素変化パターンを継承する。即ち、前時刻の画
素変化パターンがの場合には、現在も筆記中ではない
と判定する。また、前時刻の画素変化パターンがの場
合は、現在も筆記中であると判定する。なお、このと
き、判定誤りが生じたとしても、筆記される線分は画像
全体からみれば非常に細く、また、１サンプリング時間
に筆記される線分の長さも限られているので、その影響
を受ける画素は、非常に少ないと考えられる。また、筆
記具がすでに書かれた線分上を横切るだけならば、直ぐ
に、筆記具は未筆記の画素上に移動するので、また、正
しく判定できるようになるので、文字・図形の認識に影
響を与えるようなことはない。ただし、本実施の形態で
は、筆記具の先端が筆記具自体や身体等に隠蔽されない
ように、ビデオカメラの位置に注意する必要がある。

【００６０】こうして、モード判定部１３０３は、の
場合及びかつ前時刻がの場合のみ、筆記中である判
定して、筆記具の先端位置座標を文字・図形認識部１０
３及び累積筆跡画像記憶部１３０４に出力する。

【００６１】累積筆跡画像記憶部１３０４は、入力され
た筆記具の先端位置を新たな筆記位置として、記憶する
累積筆跡画像に追加し、新たな累積筆跡画像を生成して
記憶する。

【００６２】次に、図１４を参照して筆跡抽出部１０２
の第６の実施の形態について説明する。この筆跡抽出部
１０２は、図１３の筆跡抽出部に、筆跡補間部１４０１
を接続した構成をとる。

【００６３】筆跡補間部１４０１は、モード判定部１３
０３から出力される筆記具の先端位置情報にもとづい
て、２つの連続する時刻における筆記具の先端位置を結
ぶ直線分上に位置する画素も筆記画素とする情報を生成
し、文字・図形認識部１０３及び累積筆跡画像記憶部１
３０４に出力する。この構成によれば、筆記具が高速に
動き（あるは、サンプリング時間間隔が長く）、検出さ
れた筆記具の先端位置が連続していない場合でもその間
の筆跡を近似でき、文字・図形の認識を容易にする。

【００６４】次に、本発明の他の実施の形態について図
１５を参照して説明する。この手書文字・図形読取装置
は、ビデオカメラを有する画像入力部１５０１と、画像
入力部１５０１から入力される自系列画像から筆記具の
先端位置を抽出する筆跡抽出部１５０２と、筆跡抽出部
１５０２が出力する筆跡情報から文字・図形を認識する
文字・図形認識部１５０３と、筆跡抽出部１５０２が出
力する筆跡情報からゼスチャを認識するジェスチャ認識
部１５０４と、文字・図形コード情報を記憶するコード
情報記憶部１５０５とを備えている。

【００６５】筆跡抽出部１５０２は、筆記具先端位置を
抽出したあと、筆記中であると認識した場合は、筆記具
先端位置を文字・図形認識部１５０３へ出力し、筆記中
ではないと認識した場合は、筆記具の位置をジェスチャ
認識部１５０４へ出力する。これにより、筆記者は、モ
ード切り替え等の操作を行うことなく、筆記とジェスチ
ャとを自在に行うことができる。また、ジェスチャによ
り、図１６に示すようなコマンド入力を行うことも可能
である。但し、筆記中の無意識の動作が、ジェスチャコ
マンドとして認識されることがないように、ジェスチャ
コマンドを設定する必要がある。

【００６６】

【発明の効果】本発明によれば、時系列画像から画素値
の変化点を抽出したり、筆記具の動きを時々刻々抽出し
たりすることにより、高精度に文字や図形の切り出し認
識をすることができる。これにより、紙や黒板などに筆
記された文字等を、時刻情報を利用して読み取ることが
できる。

【００６７】また、筆記具先端部が上部を通過した画素
の画素値が、筆記具の通過の前後で変化したか否かを調
べることにより筆記中か否かを自動判定できるので、ゼ
スチャによるコマンドの入力ができる。

【図面の簡単な説明】

【図１】本発明の一実施の形態を示すブロック図であ
る。

【図２】図１の筆跡抽出部の動作を説明するための原稿
図である。

【図３】図２の原稿を読み取ったときの図１の筆跡抽出
部の出力概念図である。

【図４】図１の筆跡抽出部の詳細な第１の実施の形態を
示すブロック図である。

【図５】図１の筆跡抽出部の詳細な第２の実施の形態を
示すブロック図である。

【図６】図５の筆跡抽出部の動作を説明するための各部
の出力画像と時刻との関係を示す概念図である。

【図７】図５の筆跡抽出部の動作を説明するための各部
の出力画像と時刻との関係を示す概念図である。

【図８】図１の筆跡抽出部の詳細な第３の実施の形態を
示すブロック図である。

【図９】図８の筆跡抽出部の動作を説明するための各部
の出力画像と時刻との関係を示す概念図である。

【図１０】図８の筆跡抽出部の動作を説明するための各
部の出力画像と時刻との関係を示す概念図である。

【図１１】図１の筆跡抽出部の詳細な第４の実施の形態
を示すブロック図である。

【図１２】図１１の筆跡抽出部の動作を説明するための
入力画像と出力画像との関係を示す概念図である。

【図１３】図１の筆跡抽出部の詳細な第５の実施の形態
を示すブロック図である。

【図１４】図１の筆跡抽出部の詳細な第６の実施の形態
を示すブロック図である。

【図１５】本発明の他の実施の形態を示すブロック図で
ある。

【図１６】図１５の手書文字・図形読取装置において使
用されるジェスチャコマンドの例を示す図である。

【符号の説明】

１０１画像入力部１０２筆跡抽出部１０３文字・図形認識部１０４コード情報記憶部４０１筆跡候補画素抽出部４０２筆記者候補画素抽出部４０３筆記跡出力部５０１変化領域抽出部５０２筆記者抽出部５０３新規筆跡抽出部５０４累積筆跡画像記憶部８０１変化領域抽出部８０２筆記者抽出部８０３未確定筆跡抽出部８０４筆跡確定部８０５被隠蔽筆跡抽出部８０６筆跡候補画像生成部８０７累積筆跡画像記憶部８０８筆跡候補画像記憶部１００１画像メモリ１００２安定黒画素抽出部１００３差分画像生成部１００４累積筆跡画像記憶部１３０１筆記具追跡部１３０２画素変化検出部１３０３モード判定部１３０４累積筆跡画像記憶部１４０１筆跡補間部１５０１画像入力部１５０２筆跡抽出部１５０３文字・図形認識部１５０４ジェスチャ認識部１５０５コード情報記憶部

Claims

【特許請求の範囲】

【請求項１】時系列画像を取得するための画像入力手
段と、前記時系列画像から筆記跡を抽出し筆跡情報を出
力する筆跡抽出手段と、前記筆跡情報から文字・図形を
認識し、文字・図形コード及び位置情報を出力する文字
・図形認識手段と、前記文字・図形コード及び位置情報
を格納する文字・図形記憶手段とを有することを特徴と
する手書文字・図形読取装置。
【請求項２】前記筆跡抽出手段が、前記時系列画像の
画素値を監視して、画素値が変化してから所定時間その
値を維持する画素を筆跡に対応する画素と判定すること
を特徴とする請求項１の手書文字・図形読取装置。
【請求項３】前記筆跡抽出手段が、前記時系列画像の
画素値を監視して、画素値が変化してから所定時間その
値を維持する画素を抽出する筆跡候補画素抽出部と、前
記時系列画像の画素値を監視して、画素値が変化してか
ら所定時間内に再び変化する画素を抽出する筆記者候補
画素抽出部と、前記筆跡候補画素抽出部と前記筆記者候
補画素抽出部との出力に基づいて、真の筆記跡を決定し
前記筆跡情報として出力する筆記跡出力部とを有するこ
とを特徴とする請求項１または２の手書文字・図形読取
装置。
【請求項４】前記筆跡抽出手段が、１時刻前までに抽
出された前記筆記情報を累積し累積筆記画像として記憶
する累積筆跡画像記憶部と、前記時系列画像の内最新の
ものから順に所定フレーム数だけ蓄積する画像メモリ
と、該画像メモリに蓄積された全ての画像において値に
変化がない黒画素位置を抽出する安定黒画素抽出部と、
該安定黒画素抽出部の出力から得られる画像と、前記累
積筆跡画像との差分を求め、前記筆跡情報として出力す
る請求項１、または２の手書文字・図形読取装置。
【請求項５】前記筆跡抽出手段が、１時刻前までに抽
出された前記筆記情報を累積し累積筆記画像として記憶
する累積筆記画像記憶部と、前記時系列画像と前記累積
筆記画像とを比較して画素値が異なる領域を抽出する変
化領域抽出部と、該変化領域抽出部の出力から筆記具と
筆記者の身体を表わす領域を抽出する筆記者抽出部と、
前記変化領域抽出部の出力と前記筆記者抽出部の出力と
に基づいて新たな筆記跡を抽出して前記筆記情報として
出力する新規筆跡抽出部とを有することを特徴とする請
求項１の手書文字・図形読取装置。
【請求項６】前記変化領域抽出部が、前記時系列画像
と前記累積筆跡値画像との比較を行う際、互いに対応す
る画素間の画素値の差が、予め定められたしきい値未満
ならば「０」を、しきい値以上ならば「１」を与え、差
分画像として出力ようにしたことを特徴とする請求項５
の手書文字・図形読取装置。
【請求項７】前記筆記者抽出部が、前記変化領域抽出
部からの出力画像または出力から得られる画像に対して
所定回数の収縮処理と、同回数の膨脹処理を施して前記
筆記具と前記筆記者の身体を表わす領域を抽出するよう
にしたことを特徴とする請求項５の手書文字・図形読取
装置。
【請求項８】前記新規筆跡情報部が、前記変化領域抽
出部の出力から得られる画像と前記筆記者抽出部からの
出力から得られる画像との差分画像を生成し、値が所定
の範囲内の画素の位置情報を前記筆記情報として出力す
ることを特徴とする請求項５の手書文字・図形読取装
置。
【請求項９】前記累積筆跡画像記憶部が、前記新規筆
跡抽出部からの前記筆跡情報から、新しい筆跡箇所の位
置情報を獲得するともに、前記時系列画像から前記位置
情報が示す画素の画素値を獲得し、前記累積画像に順次
追加していくことを特徴とする請求項５の手書文字・図
形読取装置。
【請求項１０】前記筆跡抽出手段が、１時刻前までに
確定された前記筆記情報を累積し累積筆記画像として記
憶する累積筆記画像記憶部と、１時刻前に生成された筆
跡候補画像を記憶する筆跡候補画像記憶部と、前記時系
列画像と前記累積筆記画像とを比較して画素値が異なる
領域を抽出する変化領域抽出部と、該変化領域抽出部の
出力から筆記具と筆記者の身体を表わす領域を抽出する
筆記者抽出部と、前記変化領域抽出部の出力と前記筆記
者抽出部の出力とに基づいて未確定の筆記跡を抽出する
未確定筆跡抽出部と、該未確定筆跡抽出部の出力と前記
筆跡候補画像とに基づいて新たな筆跡箇所を確定し、前
記筆記情報として出力する筆跡確定部と、前記筆記者抽
出部の出力と前記筆跡候補画像都に基づいて、前記筆記
者及び前記筆記具によって隠蔽された未確定筆跡を抽出
する被隠蔽筆跡抽出部と、該被隠蔽筆跡抽出部の出力と
前記未確定筆跡抽出部の出力とに基づいて前記筆跡候補
画像を生成する筆跡候補画像生成部とを有することを特
徴とする請求項１の手書文字・図形読取装置。
【請求項１１】前記変化領域抽出部が、前記時系列画
像と前記累積筆跡値画像との比較を行う際、互いに対応
する画素間の画素値の差が、予め定められたしきい値未
満ならば「０」を、しきい値以上ならば「１」を与え、
差分画像として出力ようにしたことを特徴とする請求項
１０の手書文字・図形読取装置。
【請求項１２】前記筆記者抽出部が、前記変化領域抽
出部からの出力画像または出力から得られる画像に対し
て所定回数の収縮処理と、同回数の膨脹処理を施して前
記筆記具と前記筆記者の身体を表わす領域を抽出するよ
うにしたことを特徴とする請求項１０の手書文字・図形
読取装置。
【請求項１３】前記未確定筆跡抽出部が、前記変化領
域抽出部の出力から得られる画像と前記筆記者抽出部の
出力から得られる画像との差分画像を出力することを特
徴とする請求項１０の手書文字・図形読取装置。
【請求項１４】前記筆跡確定部が、前記未確定筆跡抽
出部の出力から得られる画像と、前記筆跡候補画像と
の、互いに対応する画素同士の論理積を求め、その値が
「１」の画素の位置を示す情報を前記筆跡情報として出
力することを特徴とする請求項１０の手書文字・図形読
取装置。
【請求項１５】前記被隠蔽筆跡抽出部が、前記筆跡候
補画像と、前記筆記者抽出部の出力から得られる画像と
の、互いに対応する画素毎に論理積を求めることを特徴
とする請求項１０の手書文字・図形読取装置。
【請求項１６】前記筆跡候補画像生成部が、前記未確
定筆跡抽出部の出力から得られる画像と、前記被隠蔽筆
跡抽出部の出力から得られる画像との、互いに対応する
画素毎の論理和を求めることを特徴とする請求項１０の
手書文字・図形読取装置。
【請求項１７】前記累積筆跡画像記憶部が、前記筆跡
確定部からの前記筆跡情報から、確定した筆跡箇所の位
置情報を獲得するともに、前記時系列画像から前記位置
情報が示す画素の画素値を獲得し、前記累積画像に順次
追加していくことを特徴とする請求項１０の手書文字・
図形読取装置。
【請求項１８】前記筆跡抽出部が、前記筆跡情報を累
積して累積筆跡画像として記憶する累積筆跡画像記憶部
と、前記時系列画像から筆記具の先端の２次元位置を抽
出する筆記具追跡部と、該筆記具追跡部が抽出した前記
筆記具の位置に対応する画素の変化を、前記累積筆跡画
像と前記時系列画像とに基づいて検出する画素変化検出
部と、該画素変化検出部の出力に基づいて筆記が行われ
たか否かの判定を行い、筆記が行われた場合は前記筆記
部の位置を前記筆跡情報として出力するモード判定部と
を有することを特徴とする請求項１の手書文字・図形読
取装置。
【請求項１９】前記筆跡抽出部が、前記モード判定部
から連続する２時刻に出力された２つの位置を結ぶ直線
上の画素も筆跡として補間し、新たな前記筆跡情報とし
て出力する筆跡補間部を有することを特徴とする請求項
１８の手書文字・図形読取装置。
【請求項２０】前記筆跡情報に基づいて、前記筆記者
のゼスチャによる制御コマンドの入力を検知するジェス
チャ認識部を備え、前記筆跡抽出部が、筆跡画素を検出
したときに前記筆記具の先端位置情報を前記文字・図形
認識部へ出力し、前記筆跡画素を検出しなかったときに
前記筆記部の先端位置情報を前記ジェスチャ認識部へ出
力するようにしたことを特徴とする請求項１８または１
９の手書文字・図形読取装置。