JPH10254989A

JPH10254989A - 画像処理システムおよびその方法

Info

Publication number: JPH10254989A
Application number: JP9055781A
Authority: JP
Inventors: Toru Yamakita; 徹山北
Original assignee: Casio Computer Co Ltd
Current assignee: Casio Computer Co Ltd
Priority date: 1997-03-11
Filing date: 1997-03-11
Publication date: 1998-09-25

Abstract

(57)【要約】【課題】入力ユーザインタフェイスの向上を計ると共
に、携帯端末の小型化を推進する。【解決手段】紙面に手書きメモ等を記入し、そのメモ
を取り囲むように閉ループパターンを描いておく。画像
入力部３を用いて紙面の画像を読み取る。画像処理部４
は、入力された画像データから閉ループパターンを検出
すると、その閉ループパターンの内側領域の画像データ
を抽出してホスト装置６に送る。画像パターン解析・認
識部７は、携帯端末１から受信した差分画像データに対
して画像認識処理を実行し、その認識結果を携帯端末１
に返送する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ある端末装置を用
いて入力された画像データを他の情報処理装置に処理さ
せるシステムに関する。また、電子カメラ等を用いて読
み取られた画像パターンから不要なパターンを除去する
技術に係わる。

【０００２】

【従来の技術】近年の情報化社会においては、特に業務
上、様々な文書あるいは図面等が電子化されてきてい
る。場合によっては、メモ書き程度の内容であっても、
電子化して保存しておくことが要求される。

【０００３】文書の電子化に際しては、パソコン上で文
書作成用のアプリケーションプログラム等を起動し、文
書作成者がキーボードを利用して１文字ずつ入力してい
く方法が最も一般的である。また、図面などの電子化に
際しては、図面作成用のアプリケーションプログラム等
を起動し、図面作成者がキーボードやマウス装置を利用
して入力する方法が一般的である。

【０００４】ところで、最近、電子カメラが普及してき
ている。電子カメラは、被写体を撮影することによって
読み取った画像データをデジタルデータとして保存す
る。そして、所定のインタフェースを介してパソコン等
に接続すれば、電子カメラで読み取った画像データをそ
のパソコン上で処理することができる。したがって、例
えば、紙面などに書かれている文書を電子カメラで撮影
し、その電子カメラで読み取った画像データをパソコン
等に入力して文字認識処理を実行すれば、上記紙面に書
かれている文書を電子化できる。

【０００５】このように、文書あるいは図面等を電子化
する際には、一般的にはキーボードやマウスを用いて行
っており、特定の場合には電子カメラ（あるいは、イメ
ージスキャナ）を用いて取り込んだ画像データに対して
画像認識処理を実行するなどして行っている。

【０００６】

【発明が解決しようとする課題】ところが、キーボード
やマウス装置による操作は必ずしもすべてのユーザにと
って容易とは言えず、その操作が不得手なユーザもい
る。また、メモ書き程度の内容を電子化する場合には、
手書きであれば僅かな時間で出来るのに対し、キー入力
するためにはその都度文書作成用のアプリケーションプ
ログラムを起動した上で操作を開始しなければならず面
倒である。

【０００７】一方、電子カメラ等を用いて紙面などに書
かれた内容を読み取る方法では、必用な範囲のみを撮影
することは困難であり、画像認識したい文書以外の文書
も読みとってしまう可能性が高い。この場合、カメラ撮
影で読み取った画像データをパソコンのディスプレイに
表示させた上で画像認識領域を指定したり、あるいは画
像認識結果として得られた文書を修正する操作が必用と
なり、これも面倒である。

【０００８】さらに、上述の電子カメラを用いた方法で
は、画像認識処理を実行するためのノートパソコン等を
携帯していなければ、移動先（出張先など）で撮影した
内容をその場で即座に電子化することはできない。ま
た、性能の良い文字認識ソフトウェアは、一般にプログ
ラム規模が大きく、そのような大規模なプログラムを簡
易型の携帯端末などに搭載することは望ましくない。

【０００９】本発明の課題は、入力ユーザインタフェイ
スの向上を計ると共に、携帯端末の小型化を推進するこ
とである。

【００１０】

【課題を解決するための手段】本発明の画像処理システ
ムは、第１の端末装置で読み取った画像を第２の端末装
置において認識する構成であり、手書きメモ等を含む領
域が予め決められた規則に従って認識対象領域として指
定された記録面の画像を読み取る読取手段と、その読取
手段によって読み取られた画像から上記予め決められた
規則に従って上記認識対象領域を抽出する検出手段およ
び抽出手段と、それら検出手段および抽出手段によって
抽出された領域の画像データに含まれる文字または特定
のパターンを認識する認識手段と、を有する。上記読取
手段を第１の端末装置に設け、上記認識手段を第２の端
末装置に設ける。また、上記検出手段および抽出手段
は、第１に設けてもよいし、第２の端末装置に設けても
よい。

【００１１】上記予め決められた規則とは、たとえば、
閉ループパターンの内側の領域を認識対象領域とする方
法、予め決められた識別指示パターン（たとえば、アン
ダーライン）に対して所定の位置の領域を認識対象領域
とする方法、あるいは予め決められた特定の色を含む領
域を認識対象領域とする方法などである。

【００１２】上記方式によれば、読取手段を用いて読み
取った画像のうち、必要な領域の画像データのみが抽出
されて認識される。したがって、所望のパターンのみが
認識され、不要な画像は認識されることなく除去され
る。

【００１３】また、画像データを読み取る機能と画像認
識を実行する機能とを独立した装置に設けたので、上記
第１の端末装置の小型化を計りながら、その第１の端末
装置を介して第２の端末装置の高度な機能を利用でき
る。

【００１４】

【発明の実施の形態】以下、本発明の実施形態について
図面を参照しながら説明する。図１は、本実施形態のシ
ステム構成図である。携帯端末１は、通信機能を備えて
おり、ネットワーク５に接続された他の装置にデータ処
理を依頼し、その結果を受け取って例えば液晶ディスプ
レイからなる画像表示部２に表示することができる。携
帯端末１は、最寄りの基地局を介して無線でデータを送
受信する方式、通信機能を持った装置（光リンクユニッ
ト）との間でＩｒ（赤外線）通信などでデータを送受信
する方式、または有線でデータを送受信する方式でネッ
トワーク５に接続される。また、携帯端末１は、たとえ
ば電子カメラ等からなる画像入力部３を備え、それを用
いて取り込んだ画像データをネットワーク５に接続され
た他の装置（たとえば、ホスト装置６）に送って画像処
理を依頼する機能を持っている。さらに、携帯端末１
は、画像入力部３を用いて取り込んだ画像データを画像
処理部４において処理することも可能である。

【００１５】ネットワーク５は、公衆電話網、ＰＨＳ
網、またはＬＡＮであり、ホスト装置６を収容してい
る。ホスト装置６は、サーバマシンであり、携帯端末１
から転送されてくる依頼に従ってデータ処理を実行す
る。また、ホスト装置６は、画像パターン解析・認識部
７を備える。画像パターン解析・認識部７は、携帯端末
１から送られてくる画像データに対してパターン認識処
理あるいは文字認識処理を実行し、受信した画像データ
に含まれている所定のパターンおよび文字列を検出す
る。

【００１６】上記構成において、携帯端末１のユーザ
が、たとえば紙面等に手書きしたメモを電子化したいと
きには、紙面上でメモ等を書いた領域を取り囲むように
閉ループパターンを描き、その紙面の画像を画像入力部
３を用いて読み取る。画像処理部４は、画像入力部３に
よって読み取られた画像データを解析し、閉ループパタ
ーンを検出したときにはその閉ループパターンの内側の
領域の画像データを抽出する。この抽出された画像デー
タは、ユーザが紙面に記入したメモ等のみからなり、不
要な領域は削除されている。携帯端末１は、画像処理部
４によって抽出された画像パターンデータをネットワー
ク５を介してホスト装置６に送る。

【００１７】ホスト装置６は、携帯端末１から画像パタ
ーンデータを受信すると、画像パターン解析・認識部７
にその画像パターンを解析させる。ここで、画像パター
ン解析・認識部７が解析・認識する画像パターンは、ユ
ーザが紙面等にメモ書きした内容そのものであり、不要
な画像は除去されている。従って、ホスト装置６は、認
識結果としてユーザが紙面等にメモ書きした内容のみを
得ることができる。

【００１８】なお、画像処理部４の処理をホスト装置６
に実行させる構成であってもよい。この場合、携帯端末
１は、画像入力部３を用いて読み取った画像をそのまま
ホスト装置６に送り、画像パターン解析・認識部７がそ
の画像データから閉ループパターンの内側の領域の画像
データを抽出し、その抽出した画像パターンを解析す
る。

【００１９】画像パターン解析・認識部７による認識結
果は、ホスト装置６に保存してもよいし、自動的にある
いは必用に応じて携帯端末１に転送してもよい。この場
合、携帯端末１は、ホスト装置６から受信した認識結果
を画像表示部２に表示する。また、画像パターン解析・
認識部７による認識結果を予め指定されている所定の端
末装置に転送してもよいし、さらに、その認識結果をキ
ーワードとして検索処理を実行してもよいし、その認識
結果を所定の言語に翻訳してもよい。

【００２０】なお、画像パターン解析・認識部７は、ホ
スト装置６が所定のプログラム実行することによって得
られる機能として実現してもよいし、ホスト装置６とは
独立したコンピュータで実現してもよい。

【００２１】このように、本実施形態のシステムでは、
紙面等にメモ書した文字または図形等を電子化したいと
きには、紙面上でメモ等を書いた領域を取り囲むように
閉ループパターンを描き、それをカメラ等で撮影してそ
の画像データ（あるいは、所定の画像処理を施した画像
データ）をホスト装置６に送信するだけでよい。すなわ
ち、ユーザの操作としては、メモ等を閉ループパターン
で囲み、それをカメラ等で読み取るだけでよいので、非
常に簡単である。また、携帯端末１は、上述のようなメ
モ等を認識するための構成要件として、文字認識機能は
不要であり、画像を読み取る機能および通信機能のみを
備えればよい（構成によっては、閉ループパターンを検
出する機能も必用）ので、軽量化、低コスト化が計れ
る。

【００２２】図２は、携帯端末１の外観図である。携帯
端末１は、ＬＣＤ表示部１１、カメラ１２、ＩＣカード
用スロット１３、無線通信用アンテナ１４を備えてい
る。また、他の通信方式をサポートするために、Ｉｒ通
信のためのソケットや、有線通信用のソケットなども備
えている。ＬＣＤ表示部１１は、タッチパネル構成であ
り、携帯端末１は手書き入力情報を処理することができ
る。

【００２３】図３は、携帯端末１の構成図である。ＣＰ
Ｕ２１は、記憶装置２２（ＲＯＭおよびＲＡＭ）に格納
されているプログラムを実行する。ＣＰＵ２１と記憶装
置２２とはバス２３を介して互いに接続されている。

【００２４】記憶装置２２は、半導体メモリ、磁気的記
録媒体、あるいは光学的記録媒体で構成され、プログラ
ムおよびデータ等を格納している。記憶装置２２は、携
帯端末１に固定的に設けたものであってもよいし、着脱
自在に装着するものであってもよい。

【００２５】記録媒体ドライバ２４は、バス２３に接続
されており、可搬性記録媒体（半導体メモリ、磁気ディ
スク、光ディスク、光磁気ディスクを含む）２５に格納
されているデータを読み出したり、あるいは可搬性記録
媒体２５にデータを書き込む装置である。可搬性記録媒
体２５の一例としては、ＩＣカードを想定する。ＣＰＵ
２１は、可搬性記録媒体２５に格納されているプログラ
ムを実行することもできる。

【００２６】なお、記憶装置２２に記録するプログラム
およびデータ等は、通信回線などを介して接続された他
の機器から受信して記録する構成にしてもよく、さら
に、ＣＰＵ２１が他の機器側に設けられた記憶装置に格
納されているプログラムおよびデータ等を通信回線など
を介して使用するようにしてもよい。

【００２７】ＬＣＤ表示部１１に対応するユニットは、
液晶ディスプレイ（ＬＣＤ）３１、液晶ディスプレイ３
１に表示すべき情報を格納するメモリ３２、ＬＣＤ制御
部３４の制御に従ってメモリ３２に格納されている情報
を液晶ディスプレイ３１に出力するＬＣＤドライバ３
３、メモリ３２およびＬＣＤドライバ３３を制御するＬ
ＣＤ制御部３４、タッチパネル部３５、およびタッチパ
ネル部３５が検出した入力情報をＣＰＵ２１に通知する
タッチパネル制御部３６から構成される。

【００２８】カメラ１２は、たとえばＣＣＤカメラであ
り、その出力はＡ／Ｄコンバータ３７によってビットマ
ップ形式のデジタルデータに変換されてメモリ３８に書
き込まれる。カメラ制御部３９は、ＣＰＵ２１の指示に
従って、メモリ３８に保持されている画像データをバス
２３に出力する。

【００２９】通信制御部４０は、携帯端末１からデータ
を送出する際には、ＣＰＵ２１の指示に従って送信パケ
ットを生成して無線トランシーバ４１、４２または有線
トランシーバ４３に渡す。また、データを受信する際に
は、無線トランシーバ４１、４２、または有線トランシ
ーバ４３を介して受信したパケットに格納されているデ
ータをバス２４上に出力する。無線トランシーバ４１
は、図３に示した無線通信用アンテナ１４に接続されて
おり、無線基地局４との間で無線データを授受する。無
線トランシーバ４２は、Ｉｒ通信を行うための送受信機
であり、また、有線トランシーバ４３は例えばモデムで
ある。無線トランシーバ４２および有線トランシーバ４
３は、オプションで着脱される。なお、携帯端末１は、
さらに時計４４を備えている。

【００３０】図４は、本実施形態のシステムの画像処理
の概念を説明する図であり、ユーザが紙面に手書きで記
入したメモをカメラで読み取ったときの画像の例であ
る。この例は、予めアルファベットＡ〜Ｚが書かれてい
る紙面の空スペースに「ＸＸ月ＸＸ日Ｋ氏と打合せ」
とメモを書き、そのメモをカメラ１２で撮影する場合を
示している。ユーザは、文字認識したい部分とそうでな
い部分とを区別するために、文字認識したいメモ文を取
り囲むような閉ループを紙面に描いている。この閉ルー
プは、紙面上に普通のペンや鉛筆で描けばよい。

【００３１】ユーザは、少なくとも文字認識したいメモ
文とそれを取り囲む閉ループパターンを読み取るように
してその紙面を撮影する。このとき、図４に示す例で
は、不要な画像であるアルファベットＱ〜Ｚもメモとい
っしょに画像データとして読み取ってしまっている。

【００３２】このような状態であっても、本実施形態の
画像処理では、閉ループパターンの内側の領域のみに対
して画像認識処理を実行するので、閉ループパターンの
外側の領域に位置しているアルファベットＱ〜Ｚは認識
されず、メモ書「ＸＸ月ＸＸ日Ｋ氏と打合せ」のみが
認識される。このように、簡単なユーザインタフェース
で不要なパターンを除去しながら所望のパターンのみを
認識できる。

【００３３】図５は、携帯端末１においてカメラ撮影に
より読み取った画像データをホスト装置６に転送してそ
の画像を認識させる処理のフローチャートである。この
フローチャートに示す各機能を実現するプログラムは、
ＣＰＵ２１が読み取り可能なプログラムコードの形態で
記憶装置２２に格納されている。

【００３４】また、図５のフローチャートは、携帯端末
１が入力待ち状態において何らかの入力を検出した後の
処理を示している。以下の説明では、図４の例を参照す
る。すなわち、ユーザがメモ書した文字などをカメラで
撮影することによって読み取る例を説明する。

【００３５】ステップＳ１では、検出した入力がカメラ
１２からの入力であるかを調べ、カメラ１２からの入力
であればステップＳ２以降の処理を実行し、他の入力で
あれば、ステップＳ２１においてその入力に対応する他
の処理を実行する。このように、ユーザが携帯端末１の
カメラ１２を用いて撮影すると、ステップＳ２以降の処
理が開始される。なお、カメラ入力があったときには、
時計４４の出力である時刻情報を保持しておく。

【００３６】ステップＳ２では、カメラ１２によって取
り込まれた画像データをＬＣＤ表示部１１に表示する。
すなわち、カメラ１２によって取り込まれた画像データ
をＬＣＤ表示部１１のメモリ３２に書き込み、その画像
データを液晶ディスプレイ３１に表示する。続いて、ス
テップＳ３では、ユーザ指示入力画面を表示する。ユー
ザ指示入力画面は、カメラ撮影により読み取った画像を
ホスト装置６に送って画像認識させる否かをユーザに指
定させるための画面であり、そのカメラ撮影により読み
取った画像上に上書き表示する。即ち、ステップＳ３の
処理によってカメラ１２から入力された画像データが書
き込まれているメモリ３２に対して、記憶装置２２に格
納されているユーザ指示入力画面の画像データを上書き
する。ユーザ指示入力画面は、例えば「認識」、「保
存」、及び「キャンセル」というボタンを含む。従っ
て、ステップＳ２およびＳ３により、ＬＣＤ表示部１１
には、図４において点線で囲まれたカメラ撮影範囲内の
画像上に上記３つのボタンが設けられた状態が表示され
る。

【００３７】上記ユーザ指示入力画面上でユーザが指示
を入力すると、即ち、ユーザが表示されたボタンの中の
１つのボタンを押圧すると、ステップＳ４以下の処理が
実行される。まず、ステップＳ４では、ユーザの指示を
認識する。この処理は、ユーザがどのボタンを押圧した
かを検出するものである。ステップＳ５では、ユーザの
指示が「認識」であるか否かを判断する。認識ボタンが
押圧されたことを検出した場合には、ユーザの指示が画
像認識サービスであると判断し、ステップＳ６へ進む。

【００３８】ステップＳ６では、カメラ１２により入力
された画像データをいったん記憶装置２２のＲＡＭ領域
に保持する。ステップＳ７では、その画像データから認
識対象画像データを抽出する。即ち、例えば、図４に示
す例では、閉ループパターンの内側の領域を認識対象の
領域とみなし、その領域の画像データを抽出する。な
お、ステップＳ７の処理は、後述詳しく説明する。続い
て、ステップＳ８では、ステップＳ７で抽出した画像デ
ータをホスト装置６に転送するためのパケットを作成す
る。ステップＳ８の処理についても後述説明する。そし
て、ステップＳ９において、ステップＳ８で作成したパ
ケットを図１に示すネットワーク５に送出する。

【００３９】一方、ステップＳ５において、ユーザの指
示が「認識」ではないと判断された場合には、ステップ
Ｓ１０において、ユーザが保存ボタンを押圧したか否か
を判断する。ユーザが保存ボタンを押圧したのであれ
ば、ステップＳ１１において携帯端末１側で画像データ
を保存する。一方、ユーザが保存ボタンを押圧したので
なければ、ユーザがキャンセルボタンを押圧したものと
見なし、ステップＳ１２でその画像データを廃棄する。

【００４０】このように、携帯端末１は、閉ループパタ
ーンを用いて認識対象領域が表されている画像を読み取
ると、その閉ループパターンの内側領域のみを認識対象
領域と見なして抽出し、その抽出した認識対象領域の画
像データをホスト装置６に送る。なお、この抽出された
画像データは、上述したように、実際に画像認識してほ
しい領域（メモを記入した領域）のみを含んでおり、不
要な画像は取り除かれている。

【００４１】図６は、図５に示すステップＳ７の処理の
詳細フローチャートであり、認識対象画像データを抽出
する処理を示す。ステップＳ３１では、記憶装置２２の
ＲＡＭ領域からカメラ１２の撮影によって読み取られた
画像データを読み出し、その画像データに対して、画像
データの雑音の除去を目的とした前処理を施した後に線
検出処理を実行する。線検出処理は、既存の技術であ
る。たとえば、画像データの濃度分布あるいは色分布を
調べたときに、「線」は、その変化率の大きい点を連続
させたものとして検出可能である。なお、ある領域と他
の領域との境界においても濃度分布あるいは色分布の変
化率は大きくなるが、「線」と「領域どうしの境界」と
を識別することは既存の技術で行われている。このよう
に、上記前処理が施された画像データの全領域において
濃度分布あるいは色分布を調べることによりその画像に
含まれる「線」が検出される。

【００４２】ステップＳ３２では、ステップＳ３１で検
出された「線」の断部を接続する線接続処理を実行す
る。例えば、図４に示す例では、閉ループパターンは手
書きメモを概ね取り囲んでいるものの、その一部が途切
れており、いわゆる「線切れ」が発生している。線接続
処理は、このような「線切れ」を補修する処理であり、
これも既存の技術である。たとえば、「線切れ」が発生
している線の先端からその線の延長方向に所定長の線分
を伸ばし、その線分を上記線の先端を中心として所定の
角度範囲内で旋回させたときに、他の線に接触したなら
ばそれら２つの線を接続するような処理を行う。この線
接続処理により、図４に示すような一部が途切れている
閉ループパターン（略閉ループパターン）が補修されて
閉ループパターンとなる。

【００４３】ステップＳ３３では、画像データに含まれ
る閉ループパターンの中で、その閉ループパターンによ
って囲まれる領域の面積が所定値よりも大きいものを検
出する。すなわち、例えば、図４においてアルファベッ
トの「Ｑ」は、閉ループパターンと見なされる可能性が
あるので、ステップＳ３３を実行することにより、この
ような認識対象領域を指定するための閉ループパターン
以外の閉ループパターンを除外している。なお、この処
理で検出される閉ループパターンは、１つである必要は
なく、複数個あってもよい。そして、ステップＳ３４に
おいて、ステップＳ３３で検出した閉ループパターンに
よって囲まれる領域の画像データを出力する。

【００４４】図７は、上記画像処理の応用例を示す図で
ある。上述したように、画像データの濃度分布または色
分布を調べれば、領域どうしの境界を検出できるが、図
７に示す例では、この技術を用いている。すなわち、メ
モ等は紙面上に書くが、この紙面には画像認識させたい
メモ以外には何も記入しないものとする。そして、その
メモが書かれた紙を紙とは異なる色の机などの上に置
き、カメラ１２を用いてその紙面を撮影するときには、
その紙面全体が写っており、かつその紙面を取り囲むよ
うに机の上面が写っているようにする。

【００４５】このようにして取り込んだ画像データに対
して図５のステップＳ７を実行すれば、紙面の色と机の
上面の色とが異なるので、紙面の外周エッジが閉ループ
パターンとして検出され、紙面の画像のみが認識対象画
像データとして抽出される。このように、撮影方法を変
えれば、メモを取り囲む閉ループパターンをペンや鉛筆
などで紙面に描くことなく必要な領域を抽出できる。

【００４６】ところで、図４または図７に示す例では、
手書きメモを閉ループパターンで取り囲むことによって
画像認識対象の領域を不要な領域から識別したが、他の
方式であってもよい。例えば、「認識対象の文字列には
下線を引く」という規則を設けておき、カメラ１２を用
いて取り込んだ画像データから下線が付されている文字
列のみを抽出するような構成としてもよい。図８(a) に
示す例では、「ＸＸ月ＸＸ日Ｋ氏と打合せ」のみに対
して下線が引かれている。この場合、アルファベットＱ
〜Ｚは抽出されずに、「ＸＸ月ＸＸ日Ｋ氏と打合せ」
のみが抽出される。

【００４７】図９(a) は、認識対象の文字列を下線を用
いて識別する場合の認識対象画像データ抽出処理を説明
するフローチャートである。この処理は、図５のフロー
チャートにおいてはステップＳ７として実行される。

【００４８】ステップＳ４１およびＳ４２は、それぞれ
図６のステップＳ３１およびＳ３２と同じであり、カメ
ラ１２の撮影によって読み取った画像データから「線」
を検出し、その「線」を補修する。ステップＳ４３で
は、上記処理によって得られた「線」の中から、水平方
法あるいは略水平方向に所定長よりも長く伸びた「線」
を検出する。ここで検出される「線」は、複数本であっ
てもよく、図８(a) に示す例では、２本検出される。ス
テップＳ４４では、ステップＳ４３で検出した各「線」
に沿ってそれらの各「線」の上側の領域を所定幅で切り
出し、その切り出した各領域を認識対象領域として出力
する。

【００４９】画像認識対象の領域を識別するための方式
として、色を用いてもよい。たとえば、「認識対象の文
字列は赤色で書く」という規則を設けておき、カメラ１
２を用いて取り込んだ画像データから赤色で書かれてい
る文字列のみを抽出するような構成としてもよい。図８
(b) に示す例では、「ＸＸ月ＸＸ日Ｋ氏と打合せ」の
みが赤色で書かれている。この場合、アルファベットＱ
〜Ｚは抽出されずに、「ＸＸ月ＸＸ日Ｋ氏と打合せ」
のみが抽出される。

【００５０】図９(b) は、認識対象の文字列を予め指定
した色で書いて識別する場合の認識対象画像データ抽出
処理を説明するフローチャートである。この処理も図５
のフローチャートにおいてはステップＳ７として実行さ
れる。ステップＳ５１では、カメラ１２の撮影によって
読み取った画像データから予め指定された色の画素を所
定密度以上含む領域を切り出し、その切り出した領域内
の画像データを認識対象領域として出力する。

【００５１】図１０(a) は、携帯端末１から送出される
パケットの構造を示す図である。このパケットは、図５
に示すステップＳ８において作成される。各パケット
は、ヘッダ部およびデータ部から構成される。ヘッダ部
は、送信元アドレスおよび着信先アドレスなどを格納す
る。送信元アドレスおよび着信先アドレスとしてどのよ
うなアドレス体系のアドレスを格納するのかは、本実施
形態が適用されるネットワーク構成によって決まり、た
とえば、TCP/IP通信では、ＩＰアドレスが格納される。

【００５２】データ部には、アプリケーション識別情
報、端末ＩＤ、画像データ、時刻情報などが格納され
る。アプリケーション識別情報は、着信先の端末（ここ
では、ホスト装置６）において起動すべきアプリケーシ
ョンプログラムを識別する情報である。すなわち、着信
先の端末において所定のプログラムを起動するためのコ
マンドである。本実施形態においては、画像データ解析
・認識プログラムを識別する情報が設定される。なお、
アプリケーション識別情報は、TCP/IP通信では、ポート
番号として指定してもよい。

【００５３】端末ＩＤは、携帯端末１の識別番号であ
る。画像データは、図５のステップＳ８の処理によって
得られた差分画像データであり、パケットに格納される
ときには圧縮される。時刻情報は、ホスト装置６へ送出
される画像データがカメラ撮影された時刻を表す情報で
ある。

【００５４】図１０(b) は、図５に示すステップＳ８パ
ケット作成処理の詳細フローチャートである。ステップ
Ｓ６１では、ホスト装置６へ転送する画像データを圧縮
し、データ部に格納する。圧縮方式は、たとえば、ＪＰ
ＥＧである。ステップＳ６２では、上記画像データをカ
メラ撮影した時刻を表す時刻情報を設定する。ステップ
Ｓ６３では、アプリケーション識別情報として、画像デ
ータ解析・認識プログラムを識別する情報を設定する。
ステップＳ６４では、携帯端末１を識別する情報（自機
を識別する情報）として端末ＩＤを設定する。さらに、
ステップＳ６５においてヘッダ部を作成する。ヘッダ部
には、少なくとも、送信元アドレスとして携帯端末１の
アドレス（自機のアドレス）、および着信先アドレスと
してホスト装置６のアドレスを設定する。

【００５５】上述のようにして作成されたパケットは、
ネットワーク５に送出される。ネットワーク５は、パケ
ットの着信先アドレスに従ってそのパケットをホスト装
置６へ転送する。以下に、このパケットを受信して処理
するホスト装置６について説明する。

【００５６】図１１は、ホスト装置６の構成図である。
記憶装置５１は、半導体メモリ、磁気的記録媒体、ある
いは光学的記録媒体で構成され、プログラムおよびデー
タ等を格納している。記憶装置５１は、ホスト装置６に
固定的に設けたものであってもよいし、着脱自在に装着
するものであってもよい。

【００５７】記録媒体ドライバ５２は、可搬性記録媒体
（半導体メモリ、磁気ディスク、光ディスク、光磁気デ
ィスク等を含む）５３に格納されているデータを読み出
したり、あるいは可搬性記録媒体５３にデータを書き込
む装置である。通信制御部５４は、ネットワークとの間
でのデータの授受を制御するユニットである。携帯端末
１との間のパケットの送受信もここで制御される。

【００５８】ＣＰＵ５５は、記憶装置５１または可搬性
記録媒体５３からプログラム等をメモリ５６にロードし
て実行する。なお、記憶装置５１に記録するプログラム
およびデータ等は、可搬性記録媒体５３に格納されてい
たものを書き込んだものであってもよく、また、通信回
線などを介してネットワーク上の他の機器から受信して
記録する構成にしてもよい。さらに、ＣＰＵ５５は、ネ
ットワーク上に設けられた他の記憶装置に格納されてい
るプログラムおよびデータ等を通信回線などを介して使
用するようにしてもよい。

【００５９】図１２は、ホスト装置６の処理を説明する
フローチャートである。ここでは、ホスト装置６が携帯
端末１から送出されたパケット（図５のフローチャート
の処理によって作成されたパケット）を受信し、そのデ
ータ部に設定されている情報に従って画像データを処理
する動作を中心に、ホスト装置６がネットワーク５から
パケットを受信したときの動作を説明する。

【００６０】ステップＳ７１でパケットを受信すると、
ステップＳ７２でそのパケットに設定されている端末Ｉ
Ｄを調べることによってそのパケットを送出した端末を
認識する。ステップＳ７３では、受信したパケットに設
定されているアプリケーション識別情報によって指定さ
れているアプリケーションを起動する。ステップＳ７４
では、起動されたアプリケーションが画像認識処理を含
むかどうか判断する。画像認識処理を含まないアプリケ
ーションであれば、ステップＳ８０においてそのアプリ
ケーションの処理を実行する。

【００６１】一方、画像認識処理を含むアプリケーショ
ンであれば、ステップＳ７５において、受信したパケッ
トに格納されている画像データを解凍し、ステップＳ７
６においてその画像データに対してパターン認識処理・
文字認識処理を実行する。このとき認識処理が実行され
る画像データは、図５のステップＳ７で抽出された画像
データである。すなわち、図４または図８の例では、
「ＸＸ月ＸＸ日Ｋ氏と打合せ」のみを含む領域の画像
データに対して画像認識処理が実行される。従って、こ
の画像認識処理の結果、ユーザがメモ書した内容のみが
認識される。

【００６２】ステップＳ７７では、ステップＳ７６によ
る認識結果が文字を含んでいれば、その文字を文字コー
ド（例えば、アスキーコード、あるいはＪＩＳコード
等）に変換する。ステップＳ７８では、認識結果を携帯
端末１に返送するためのパケットを作成する。すなわ
ち、このパケットの送出先アドレスは携帯端末１であ
り、そのデータ部に上記認識結果が格納されている。そ
して、ステップＳ７９において、その作成したパケット
をネットワーク５に送出する。

【００６３】ステップＳ７９においてネットワーク５に
送出されたパケットは、携帯端末１に転送される。携帯
端末１は、このパケットを受信すると、ホスト装置６に
よる画像認識処理の結果をＬＣＤ表示部１１に表示す
る。即ち、上述の例の場合、図４(c) の画像が表示され
る。また、この認識結果は、ユーザの指示により、携帯
端末１内に保存される。

【００６４】なお、上述したように、この画像認識結果
をホスト装置６に保存してもよい。この場合、認識結果
は、差分画像データを送出した端末装置（すなわち、携
帯端末１）の端末ＩＤに対応づけて保存する。また、こ
の認識結果を予め指定されている所定の端末装置に転送
してもよい。さらに、この認識結果に含まれている文字
列をキーワードとして検索処理を実行してもよいし、あ
るいはその文字列を所定の言語に翻訳してもよい。この
場合、検索結果または翻訳結果は、携帯端末１に送られ
る。

【００６５】ところで、携帯端末の小型・軽量化、およ
び低コスト化の要求は根強いものがある。これらの要求
に答える手だての１つとしては、本実施形態のような利
用方法においては、携帯端末側で実行している処理の一
部をホスト装置側に移せばよい。例えば、図５のフロー
チャートのステップＳ７の処理をホスト装置６に実行さ
せることができる。ステップＳ７は、上述したように、
画像処理を含むが、一般に、このような処理を高精度あ
るいは短時間に実現しようとすると、処理能力の高いプ
ロセッサと大規模なプログラムが必用となる。したがっ
て、ステップＳ７の処理をホスト装置６に実行させるこ
とは携帯端末１の小型・軽量化、または低コスト化の際
して有効である。

【００６６】ステップＳ７の処理をホスト装置６に実行
させる場合、携帯端末１は、カメラ１２を用いて読み取
った画像データをそのままホスト装置６に送る。ホスト
装置６は、図１２のフローチャートにおいて、ステップ
Ｓ７５の処理の次にステップＳ７を実行する。

【００６７】上記実施形態において、ホスト装置６によ
って実行される処理プログラム、すなわち図１２に示す
フローチャートで示す各機能を実現するプログラム、お
よびネットワークを介して転送されてくる情報を解釈し
て処理するプログラム等は、ＣＰＵ５５が読み取り可能
なプログラムコードの形態で記憶装置５１あるいは可搬
性記録媒体５３に格納されている。あるいは、ネットワ
ークを介して接続される他の装置に格納されているもの
を利用する。

【００６８】なお、上記実施形態では、カメラを用いて
画像データを取り込む構成を示したが、本発明はこの構
成に限定されず、たとえば、イメージスキャナを用いて
読み込んだ画像データをホスト装置に転送するようにし
てもよい。

【００６９】このように、本実施形態の画像処理システ
ムは、携帯端末を用いてメモを書き込んだ紙面などの画
像をカメラ等で撮影し、ホスト装置がその画像の中の必
要な領域のみに対して認識処理を実行する構成である。
このため、携帯端末に、画像を読み取ってホスト装置へ
転送する機能、ホスト装置に処理を依頼する機能を持た
せるだけ（構成によっては、さらに、必要な領域を抽出
する機能）で、手書きメモ等をカメラ撮影するという簡
単なユーザインタフェースでそのメモ書内容を電子化で
きる。

【００７０】

【発明の効果】本発明のシステムは、携帯端末が備える
カメラ等で所望の手書きメモ等を含む記録面を画像デー
タとして取り込み、ホスト装置に認識を依頼するだけで
その手書きメモ等を電子化できる。このように、本発明
は、操作性を向上させたユーザインタフェイスを提供す
る。このとき、閉ループパターンの内側の領域、あるい
は下線が引かれた文字列などを含む領域、あるいは特定
の色で描かれているパターンを含む領域のみを抽出して
その画像を認識するので、必用な情報だけが正確に認識
される。

【００７１】高速処理が要求される画像データ処理、特
にパターン認識処理や文字認識を携帯端末側で実行しな
いので、携帯端末は、大容量のメモリや高性能プロセッ
サを設けることなく、高度な画像データ処理結果を得る
ことができる。

【図面の簡単な説明】

【図１】本実施形態のシステム構成図である。

【図２】携帯端末の外観図である。

【図３】携帯端末の構成図である。

【図４】本実施形態のシステムの画像処理の概念を説明
するための図である。

【図５】携帯端末においてカメラ撮影により取り込んだ
画像データをホスト装置に転送して画像認識させる処理
のフローチャートである。

【図６】認識対象画像データを抽出する処理のフローチ
ャートである。

【図７】図４に示す画像処理の応用例を示す図である。

【図８】認識対象画像を識別するための記入例を示す図
である。

【図９】図８に示す方法でメモ等が記入された場合に認
識対象画像データを抽出する処理を説明するフローチャ
ートである。

【図１０】(a) は、携帯端末から送出されるパケットの
構造を示す図であり、(b) は、パケット作成処理の詳細
フローチャートである。

【図１１】ホスト装置の構成図である。

【図１２】ホスト装置の処理を説明するフローチャート
である。

【符号の説明】

１携帯端末２画像表示部３画像入力部４画像処理部５ネットワーク６ホスト装置７画像パターン解析・認識部１２カメラ２１ＣＰＵ２２記憶装置２４記録媒体ドライバ２５可搬性記録媒体３１液晶ディスプレイ４０通信制御部５１記憶装置５２記録媒体ドライバ５３可搬性記録媒体５４通信制御部５５ＣＰＵ５６メモリ

Claims

【特許請求の範囲】

【請求項１】画像を読み取る読取手段と、該読取手段によって読み取られた画像から閉ループパタ
ーンまたは略閉ループパターンを検出する検出手段と、該検出手段によって検出された閉ループパターンまたは
略閉ループパターンの内側の領域の画像データを抽出す
る抽出手段と、該抽出手段によって抽出された領域の画像データに含ま
れる文字または特定のパターンを認識する認識手段と、を有し、上記読取手段を第１の端末装置に設け、上記認
識手段を第２の端末装置に設け、上記検出手段および抽
出手段を上記第１または第２の端末装置に設けた画像処
理システム。
【請求項２】画像を読み取る読取手段と、該読取手段によって読み取られた画像から予め決められ
た識別指示パターンを検出する検出手段と、該検出手段によって検出された識別指示パターンに対し
て所定の位置にある領域の画像データを抽出する抽出手
段と、該抽出手段によって抽出された領域の画像データに含ま
れる文字または特定のパターンを認識する認識手段と、を有し、上記読取手段を第１の端末装置に設け、上記認
識手段を第２の端末装置に設け、上記検出手段および抽
出手段を上記第１または第２の端末装置に設けた画像処
理システム。
【請求項３】画像を読み取る読取手段と、該読取手段によって読み取られた画像から予め決められ
た色で描かれた画像の画像データを抽出する抽出手段
と、該抽出手段によって抽出された画像データに含まれる文
字または特定のパターンを認識する認識手段と、を有し、上記読取手段を第１の端末装置に設け、上記認
識手段を第２の端末装置に設け、上記検出手段および抽
出手段を上記第１または第２の端末装置に設けた画像処
理システム。
【請求項４】カメラを用いて手書きメモ等を含む記録
面を画像データとして取り込み、他の装置においてその
画像データを認識する方法であって、予め決められた規則に従って上記手書きメモ等を含む領
域を認識対象領域として指定するステップと、カメラを用いて上記手書きメモ等を含む記録面を読み取
るステップと、上記予め決められた規則に従って上記認識対象領域を抽
出するステップと、上記抽出された認識対象領域の画像データに対して認識
処理を実行するステップと、を有する画像処理方法。