JPH08510854A - 手書き、印刷、描画の電子表現をグループ化し、操作を行うための方法、及び装置 - Google Patents

手書き、印刷、描画の電子表現をグループ化し、操作を行うための方法、及び装置

Info

Publication number
JPH08510854A
JPH08510854A JP7500763A JP50076395A JPH08510854A JP H08510854 A JPH08510854 A JP H08510854A JP 7500763 A JP7500763 A JP 7500763A JP 50076395 A JP50076395 A JP 50076395A JP H08510854 A JPH08510854 A JP H08510854A
Authority
JP
Japan
Prior art keywords
stroke
line
word
ink
strokes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP7500763A
Other languages
English (en)
Inventor
アルトマン,ダン
クスマー,スティーヴン,アール
スタイクレーザー,グレゴリー
トンプソン,マイケル,ピー
Original Assignee
アハ!ソフトウエア・コーポレイション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アハ!ソフトウエア・コーポレイション filed Critical アハ!ソフトウエア・コーポレイション
Publication of JPH08510854A publication Critical patent/JPH08510854A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/10Text processing
    • G06F40/166Editing, e.g. inserting or deleting
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/26Techniques for post-processing, e.g. correcting the recognition result
    • G06V30/262Techniques for post-processing, e.g. correcting the recognition result using context analysis, e.g. lexical, syntactic or semantic context
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/32Digital ink
    • G06V30/333Preprocessing; Feature extraction
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S706/00Data processing: artificial intelligence
    • Y10S706/90Fuzzy logic

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Character Discrimination (AREA)
  • Character Input (AREA)
  • Processing Or Creating Images (AREA)

Abstract

(57)【要約】 インク・ストロークを処理するためのワード・プロセッシング、及びコンピュータ化された描画を統合した記号解釈システム(10)が、自動的にワード・プロセッシングと描画の間を切り替える記号解釈システムのモードなし操作のための方法、インク・ストロークを描画として処理する方法、インク・ストロークを文字として処理する方法、インク・ストロークをワード、行、及び文節に識別する方法、線タイプ図形、及び形状タイプ図形の間の分割を含む、図形操作の方法、及び特別な操作ハンドルを介して回転及びサイズ変更を行う方法を使用する。

Description

【発明の詳細な説明】 手書き、印刷、描画の電子表現をグループ化し、 操作を行うための方法、及び装置 1.発明の背景 1.発明の技術分野 本発明は一般にペン−ベースのコンピュータ化を行うための方法に関し、より 詳しくは、インク・ストローク表現をグループ化し、操作する方法、及び装置に 関する。更に詳しくは、本発明は手書き表現と、ワード・プロセッシング・シス テムで印刷された文字、及びワードとしてのインク・ストロークを簡単にユーザ が操作できるようにすることと、コンピュータ用描画プログラムにおけるものと 同様のグラフィカル・イメージとして印刷された他のインク・ストロークの操作 を改良する、記号解釈システムに関する。 2.関連技術の説明 ペンが主たる入力装置としてキーボードに取って代わった、ペン−ベースのコ ンピュータがよく知られるようになってきている。こうしたシステムはユーザが 情報を入力するためのデジタル化パッド、及びペンを提供する。情報はストロー ク又はストロークのグラフィック表現の形式で入力される。コンピュータはペン の動きを監視し、ペンが事前に定義されたデジタル化パッドの近接又は接触の範 囲に入った場合に、ストロークを生成する。コンピュータは、同時にそ のストロークを延ばしながらデジタル化パッドにわたってペンの動きを追跡し、 ペンがデジタル化パッドを離れるか又は通り過ぎた時にそのストロークを終了さ せる。 ペン−ベースの入力を文字に変換するためのプログラムが作成されているが、 それらは通常、文字が個別のボックス又は位置に明確に書かれた場合にのみ変換 されるため、機能が限定されている。未だに存在する問題の1つは、ユーザがあ たかも空白の用紙に書くように、いくつかのストロークを入力した場合に、どの ようにその入力を分割するかということである。実際、既存のシステムはインク のストロークを記憶するだけであり、ユーザがそのインクのイメージに関して編 集処理を行うことはできない。ユーザが標準のワード・プロセッシング機能を実 行できるような、文節及び/又はワードによるインク・ストロークのグループ化 はない。例えば、インク・イメージに関するワード・ラッピング機能(ワード・ プロセッシング・プログラムに共通の機能)はない。 インク・ストロークの処理において重要な問題の1つは、ストロークの様式が 多様性を有していることである。このことはワード、行、及び文節の区別をきわ めて困難にする。ほとんどのコンピュータは、文字間の間隔が、入力を行う人間 のストロークの様式に大きく依存して変化するために、インク・ストロークをワ ードに分離できない。既存のコンピュータは、手書き、及び印刷において行の下 にまで書かれる「j」「y」「g」のようないくつかの文字が存在するために、 インクで書かれた行のデータを分離できない。更に、 ユーザは行と行の間の厳密な水平方向に正確に書くわけではない。最後に、キー ボードを用いたシステムとは異なり、リターン・キーやエンター・キーがない。 従って、文節が開始又は終了した時の、ユーザによる分離はない。それ故、ペン −ベースのコンピュータで使用されうる、手書きのグラフィック表現に関して十 分な機能を有したワード・プロセッシング・プログラムを提供するシステムが必 要とされる。 既存のペン−ベースのコンピュータ・システムにおける別の問題は、ワード・ プロセッシングの機能と描画/グラフィックの機能を交換可能に使用する能力で ある。図の描画又はテキストの文字(印刷)にペンと紙が使用された場合、ユー ザは描画と文字の操作を継ぎ目なく切り替える。しかし、キーボード−ベースの コンピュータとペン−ベースのコンピュータの両者において、ユーザは通常、ア プリケーション・プログラムを切り替えなければならない。このことはしばしば 、コンピュータの操作モードを切り替えるための、いくつかのキー入力又はコマ ンド入力を必要とする。このことは、ペン−ベースのコンピュータが、ユーザが 文書ごとに何百回も描画操作とワード・プロセッシング操作を頻繁に切り替える 環境で使用されることを意図しているために、非常に厄介なことになる。更なる 問題は、描画操作とワード・プロセッシング操作が2つの異なるアプリケーショ ンであるため、それらも又異なるユーザ・インタフェースを備え、従ってコマン ド用に異なるフォーマットを有する。従って、ワード・プロセッシング機能と描 画機能が単一のアプリケー ションに統合されたシステムが必要とされている。 又更に、既存のペン−ベースのコンピュータ・システム、及び一般の描画用コ ンピュータ・パッケージの欠点は、ディスプレイ上に表現された図を操作するこ とが非常に困難なことである。例えば、ほとんどのグラフィック/描画パッケー ジは線タイプとして考えられうる、定義範囲が非常に狭いタイプの図形を提供す る。従って、ほとんどの図形は、線タイプに関して実行される、より適当な操作 とは対照的に、形状タイプに関して実行されうる、より制限された操作に限定さ れる。従来技術の他の問題は、図形を回転させるような特定の操作が、それらを 簡単にアクセスできるようにするユーザ・インタフェースに従って構築されてい ないが、この操作は特別のツールによってその操作をマークし、選択することの みによってアクセスされうる。このことはユーザの能率を大きく低下させる。従 って、統合されたワード・プロセッシング機能、及びグラフィック/描画機能を 提供することによって従来技術の複雑さと制約を回避する記号解釈システム、及 びペン−ベースのコンピュータ環境のために特別に設計されたシステムが必要と される。 発明の概要 本発明は、従来技術の制約及び欠点を、手書き、印刷、及び描画による電子化 表現をグループ化し、操作する改良された方法を用いて克服する。本発明はイン ク・ストロークを処理するためのワード・プロセッシング機能、及びコンピュー タ化描画機能を統合した、有利な記号解釈システムを提供する。本発明の好適実 施例は、提供 されているワード・プロセッシング機能、及び描画機能の間を自動的に切り替え る、記号解釈システムのモードの区別のない操作を行うための方法、インク・ス トロークを描画として処理するための新規の方法、インク・ストロークを文字と して処理するユニークな方法、及びインク・ストロークをワード、行、及び文節 として識別するその他の方法のような、前記機能を提供する新規の方法を含む。 本発明は又更に、線及び形状タイプの図形の間の分割、及び回転又はサイズ変更 を実行する特別な操作のような、図形を操作するための方法も含む。 図面の簡単な説明 図1は、本発明の記号解釈システムの好適実施例のブロック図である。 図2A及び2Bは、本発明の記号解釈システムに入力されたインク・ストロークを 処理するための好適方法のフローチャートである。 図3は、本発明の文字層においてインク・ストロークを処理するための好適方法 の簡略化フローチャートである。 図4A及び4Bは、本発明による行に入力されたインク・ストロークを処理するた めの好適方法のフローチャートである。 図5A、5B、及び5Cは、本発明によるワードに入力された行のストロークを処 理するための代替方法のフローチャートである。 図5Dは、本発明によるワードに入力された行のストロークを処理するための好 適方法のフローチャートである。 図5Eは、文字幅で階級付けされたメンバーシップ関数の例のグラフ である。 図6A及び6Bは、本発明による、ワードを文節に分割するための好適方法のフロ ーチャートである。 図7A及び7Bは、本発明による、ストロークが線タイプか形状タイプの描画かど うかを判定するための好適方法のフローチャートである。 図8A及び8Bは、本発明による、回転とサイズ変更を実行するための好適方法の フローチャートである。 図9A及び9Bは、それぞれ、選択された形状タイプの図形、及び選択された線タ イプの図形を示すスクリーン・ディスプレイのグラフィカル表現である。 図10A及び10Bは、線タイプの図形を回転させるためのユーザ・インタフェースを 示すスクリーン・ディスプレイのグラフィカル表現である。 図11A、11B、及び11Cは、形状タイプの図形を回転させるためのユーザ・インタ フェースを示すスクリーン・ディスプレイのグラフィカル表現である。 図12A、12B、及び12Cは、形状タイプの図形のサイズを変更するためのユーザ・ インタフェースを示すスクリーン・ディスプレイのグラフィカル表現である。 図13は、境界ボックスを有するストロークと連鎖リンクを計算するための距離を 示すスクリーン・ディスプレイのグラフィカル表現である。 図14A及び14Bは、ディスプレイ上のストロークのグラフィカル表現を高輝度表示 するための好適方法のフローチャートである。 図15は、テキスト入力に関するアウトライン・レベルを自動的に判定するための 好適方法のフローチャートである。 図16A、16B、及び16Cは、それぞれ、標準文節識別、ビュレット文節識別、及び リスト文節識別を示すスクリーン・ディスプレイのグラフィカル表現である。 好適実施例の詳細な説明 本発明に従い、手書き、印刷、及び描画による電子化表現をグループ化し、操 作する装置10が図1に示されている。中央演算処理装置12(CPU)にディスプレ イ装置14、入力装置16、及びメモリ18が接続されている。CPU12は又、プリンタ2 8、大容量記憶装置30、及びネットワーク32に従来の方法で接続されている。実 施例として、システムはNCR3125ペン・コンピュータであってもよい。電子化イ ンク・ストローク・データは、プログラム・ルーチン20、22、26、及びペン−ベ ースのオペレーティング・システム24とともにメモリ18に記憶される。CPU12は 、メモリ18から、及び入力装置16を介してユーザから受け取るガイダンス命令の 下で、描画図形、手書きテキスト、及びコードから作られた、フォーマット化さ れた文字群の表現を生成し、表示する。ユーザは、ディスプレイ装置14のスクリ ーン34の上でペン−タイプの入力装置を操作することによってインクのストロー クを作り出す。ディスプレイ装置14は更に、ペン−タイプの入力装置の動き、及 び近接を感知するためのデジタル化装置、又はそ れと同等の装置を含む。CPU12はストローク識別ルーチン26、及び文字識別ルー チン22を使用して、ユーザによって入力されたインク・ストロークを解釈する。 本発明はインク・ストロークの操作に関するペン・ゼスチュア、及びGO Corpora tionから販売されているPenPoint Operating Systemにおけるような文字コード の使用を含むことが好ましい。ユーザ・インタフェース・ルーチン20、及びCPU1 2も又、ディスプレイ20上に情報を表示するためのユーザ・インタフェースを生 成するために使用される。本発明に従って使用された場合に、同様の結果を達成 することができる同等の装置の組み合わせが数多くあることに、当業者は気づく であろう。例えば、メモリ・ブロックが分離されて示されている場合、本発明の 装置はメモリ内の連続スペースの異なる領域を簡単に含むことができる。又、本 発明は従来のデスクトップ・コンピュータ、及び入力装置としてマウス又はトラ ックボールとともに使用する事もできる。 本発明の方法は、それがワード・プロセッシング・プログラム及び描画プログ ラムの完全な機能を備えた環境を提供するため、特に有利である。例えば、ユー ザは描画のストロークか又は文字のストロークのどちらかを入力することができ 、システムはそのストロークを自動的に処理することができる。更に、本発明は ワード・プロセッシング機能と描画機能両方に首尾一貫したユーザ・インタフェ ースを提供する。本発明は有利にも、ディスプレイ上に平行な水平行を提供し、 用紙上の行と同様の行を表現する。その行は水平であることが望ましいが、当業 者には、その行が日本語のような言語の ために垂直であってもよく、又その行は、空白の用紙を表現する空白スクリーン を用いることによって除去されることすら可能であることが理解される。これら の行はインク・ストロークの種類(描写又は文字)を判定する際に用いられ、ワ ードの表示を整列させるために用いられる。本発明は、2つの層を提供するアー キテクチャを有し、スクリーン34上に表示されたストロークとは別にインク・ス トロークを処理し、記憶することが望ましい。これらの各層は、ディスプレイ装 置14上に表示された各ページ毎に、仮想空間/層を提供する。第1に本発明は、 描画ゼスチュア、及び図形に、より似たものとして検出されたインク・ストロー クを処理し、記憶するための描画層を提供する。この層は従来のコンピュータ描 画プログラムと同様の機能を提供する。描画ストロークは、文字ストロークとは 別に扱われ、描画の内容に関連して操作することが可能である。第2に本発明は 、続き書きの手書き文字、又は印刷されたテキストに、より似たものとして検出 されたインク・ストロークを処理し、記憶するための文字層を提供する。この文 字層はワード・プロセッシング・プログラムの機能を提供するが、この層はイン ク・ストロークと、ASCIIのような文字を表現する、より伝統的なコンピュータ ・コードに関する操作を行う。文字層において、ストロークはラッピング、削除 、移動、コピー、及び解釈に関するワードとしてグループ化される。 ここで図2A、及び2Bを参照すると、本発明の記号解釈システムの操作に関す る好適な方法が説明されている。この記号解釈システ ムは、有利にも文字モード、描画モード、及びスマート・インク・モードの、3 つの操作モードを提供する。これらのモードは、ユーザが入力装置16を操作して メニュー・バー上のボタンから3つの操作モードのうち1つを選択することによ って選択されうる。文字モードでは、ストローク全てが以降の処理のために文字 層に送られる,同様に描画モードでは、ストローク全てが以降の処理のために描 画層に送られる。スマート・インク・モードでは、記号解釈システムが自動的に 、入力されている情報のタイプに従って、文字層又は描画層のどちらがインク・ ストロークを処理すべきかを判定する。これらのモード全てにおいて、システム は他のストロークを文字層で処理している間に、ユーザがいくつかのインク・ス トロークを描画層で処理することを可能とする。しかし、ディスプレイの定義可 能エリア、又は領域毎に、それが描画領域、文字領域、宣言されていない領域、 又は重複文字領域と重複描画領域のいずれかであるよう指定される。 記号解釈システムの操作は図2A、及び2Bを参照することによって最もよく理 解される。処理はステップ41で、ユーザが入力装置16によってインク・ストロー クを入力することから始まる。ステップ42において、インク・ストロークは、ス トロークがシステム入力された順序を識別するようにタイムスタンプされ、次に 一時バッファに記憶されることが好ましい。例えば、インク・ストロークは、そ れが受け取られた順にバッファに記憶されうる。システムがステップ41と42の間 をループしている間に追加のストロークが入力され、 記憶される可能性がある。所与の時間が経過した後、バッファが一杯になるか又 はペンが近接状態を脱すると、システムはステップ58に進んで、入力されたスト ロークのいずれかが汎用ゼスチュアかどうかを判定する。汎用ゼスチュアの例は 、折れ曲がった挿入記号(Double Up Caret)、二重の円(Double Circle)、及 び字を抹消する円(Circle Cross Out)を含んでいる。これらのゼスチュアは、 操作のデフォルトとしてオペレーティング・システム層の目標となる。従って、 汎用ゼスチュアが入力されると、この方法は描画層によって処理を行うステップ 47にジャンプし、それ以外はステップ43に進む。次のステップ43で、この方法は ユーザが選択した操作モードを判定する。文字モードが選択されている場合、処 理はステップ44に進み、そこでシステムは、ストロークが文字層によって処理可 能かどうかを判定する。決まったストローク及びゼスチュアのみが描画層によっ て処理される。従って、本発明はまず、その文字層がそのストロークを処理可能 かどうか判定するテストを行う。文字層によって処理可能な全てのストロークは 、ステップ45で文字層に送信される。他のストロークはステップ47で、全て描画 層に送信され、ステップ46で処理が終了する。描画モードが選択されていた場合 、処理はステップ43からステップ47に進み、そこで一時バッファに記憶されてい たストロークが、以下で説明する以降の処理のために描画層に送信され、ステッ プ46で処理が終了する。 本発明は有利にも、入力されたストロークを描画ストロークとして扱うか、又 は文字ストロークとして扱うかを自動的に判定する、 3番目の操作モード、スマート・インク・モードを提供する。スマート・インク ・モードが選択された場合、本発明はステップ48でストロークの境界を判定する 。次にステップ50、及び51において、システムはそのストロークが、既に描画又 は文字/テキスト領域に指定されているディスプレイの領域上に形成されている かどうかテストする。この方法は、任意のストロークが既に指定されたエリアの 近くにある場合にも操作可能である。例えば、近いという範囲が1つの行の高さ であるよう定義されうる。本発明は有利にも、特別なタイプのストロークが既に 領域内に描画されている場合、ユーザが同様のタイプのストロークを入力してい る可能性があると仮定する。従って、ステップ51で、ストロークが描画領域にあ ることが分かると、全てのストロークがステップ57で描画層に送信され、ステッ プ56で処理が終了する。しかし、ストロークの入力がステップ50でテキスト領域 上にあり、又はステップ51で、宣言されていない領域上にあることが分かると、 ステップ52で更にストロークの特徴が考えられる。ステップ52でシステムは、そ のストロークの高さが2つの行の高さを越えて延びているかどうかテストする。 1つの行の高さは、好適なシステムによって手書きの行のガイドラインとしてス クリーン上に表示された行の垂直距離間隔となるよう決定される。好適システム において、ユーザは、システムがスクリーン上で入力装置及びメニュー又はボタ ンを使用することによって、描画される表示行の間隔を調整することができる。 例えば、行の高さはインチ、センチメートル、又は印刷タイプのポイントといっ た様々なタイプ の単位で定義されうる。本発明は有利にも、2つの行の高さより高いストローク (例えば3つの行に跨るストローク)は描画ストロークであって、文字ストロー クでない可能性がかなり高いと仮定する。当業者には、本発明が1行の高さの1. 5倍や1行の高さの2.5倍のような他の高さに対してテストが行われるように修正 されうることが理解される。従ってストロークが2つの行の高さより高い場合、 そのストロークはステップ57において描写層に送信される。しかし、そのストロ ークが2つの行の高さより高くない場合は、そのストロークに関するゼスチュア 認識がステップ53で実行される。次にステップ54で、システムは、そのストロー クが描画層ゼスチュアか描画層図形かどうかテストする。本発明は有利にも、例 となる水平行を有する描画として最も可能性のあるゼスチュア又は他のストロー クを識別する。他の例は、タップの保持(Tap Hold)、左のペンの動き(Flick Left)、右のペンの動き(Flick Right)、2回の左のペンの動き(Double Flic k Left)、2回の右のペンの動き(Double Flick Right)、右下がり(Right Do wn)、及び右上がり(Right Up)を含む描画層によって処理されるゼスチュアを 含む。ストローク入力がこれらのゼスチュアのいずれかとマッチしたら、そのス トロークは以降の処理のためにステップ57で描画層に送信される。それ以外は、 そのストローク又はゼスチュアが印刷物、又は続き書きの文字と仮定され、ステ ップ55で以降の処理のために文字層に送信される。 ストロークが一旦、適当な層に送信されると、ストロークは追加 の処理を施される。ここで図3を参照すると、文字層内で実行される処理の概要 が示されている。まず、インク・ストロークがステップ61に記述するように、行 に、又は行に関連してグループ化される。1つの行はちょうど普通の規格化され た用紙に文字を書く時の行として動作し、システムによってスクリーン上に描画 された2つの表示行の間のエリアであるように定義される。次に、各行に関連す るインク・ストロークは、ステップ62でワードにグループ化される。次にステッ プ63で、そのワードが文節にグループ化される。インク・ストロークが一度適当 にグループ化されると、それらはステップ64で文字層内に記憶される。最後にス テップ65で、インク・ストロークがワード・プロセッサ形式のコマンドで操作さ れ、ワード・ラッピング、削除、移動、行毎の解釈、ワード、又は文節を提供す る。ユーザは又、文字がラップされて与えられた空間にぴったり合うように、紙 サイズ、ウインドウ・サイズ、又は余白を調整することができる。 今度は図4A、及び4Bを参照すると、ストロークが関連する行がどの行かを判 定するための、文字層においてインク・ストロークを識別する好適な方法が説明 されている。本発明は有利にも、そのストロークが一緒にグループ化されるかど うかを1つ1つ判定する。本発明の下では、ペン16がディスプレイ14に近接した 瞬間から、ペン16がディスプレイ14から離れる瞬間までのストロークが一緒にま とめられる。個々のストロークは、ペンがディスプレイに接触した時に一緒にま とめられる。一緒にまとめられたストロークは、次に 一時バッファに記憶され、図4A、及び4Bに概要が示されている処理が施される 。 好適な方法は、第1のストロークを入力順に取り出すステップ71の処理から始 まる。次に、ストロークの境界がステップ72で判定される。ステップ73で、古い ストロークが今まさに取り出された新しいストロークであるよう定義され、その 古いストロークがステップ74で連鎖グループに追加される。本発明は最初に、ス トロークを連鎖グループに分割し、次に連鎖グループ内の全てのストロークを行 に関連付ける。次にステップ75で、システムは処理すべきストロークがまだある かどうかをテストする。処理を完了した連鎖グループがない場合、ストロークは 連鎖グループを形成し、処理はステップ80にジャンプする。しかし、追加のスト ロークが存在する場合、処理はステップ76に進む。ステップ76では、次のストロ ークが一時バッファから取り出され、その境界がステップ77で判定される。次に 、この方法は新しいストロークと古いストロークの間の連鎖が切れたかどうかの テストに進む。ストローク172、174の間の連鎖のリンクは、図13に示すように、 左のストローク174の境界ボックス176の右側部の高さの半分のところから始まり 、右のストローク172の境界ボックス178の左側部の高さの半分のところまで延び ている。連鎖が遥か上、下、左側、右側まで延びた場合、この連鎖は切れたと見 なされる。例示の実施例においては、連鎖が行の高さの40/64の高さより上に延 び、行の高さの40/64の高さより下に延び、行の高さ2つ分より多く左側に延び 、又は行の高さ1つ分より多く右側に延びた場合 に、ストロークの間の連鎖が切れる。当業者には、各方向について他の値が使用 されうることが理解される。例えば、この値は、文字サイズ又はストロークが続 き書きか印刷かどうかに従って変化させることもできる。再び図4Bに戻ると、 ステップ78、及び79が、新しいストロークと古いストロークを一緒に連鎖するか どうかテストする。新しいストロークと古いストロークが一緒に連鎖される場合 、処理はステップ73に戻り、新しいストロークを連鎖されたストロークのグルー プに追加し、処理すべき次の新しいストロークを取り出す。しかし、連鎖が切れ ると、処理がステップ80で続けられ、そこで連鎖グループの各ストロークに関し て高さの中心が判定される。このような高さの中心は次に、ステップ81で使用さ れ、その連鎖グループに関する高さの中心の平均値が求められる。好適実施例に おいて、ストロークは、そのストロークの上部に対して重み付けされ、「pig」 「pray」のようなワードが正しい行に関連付けられることを保証する。例えば、 ストロークは各ストロークの上部座標に2を掛けて下部座標を加え、それを3で 割る[(2×上部座標+下部座標)/3]ようにすることもできる。連鎖グルー プの全てのストロークは次に、それらの高さの中心の重み付き平均が対応する行 に関連付けられる。最後に、この方法は処理すべきストロークがあるかどうかテ ストする。もしあれば処理はステップ71に戻って新しい連鎖グループの形成を始 める。それ以外であれば、行識別処理は完了し、ステップ85で終了する。 本発明は又、ストロークが正しい行に関連付けられることを保証 するための、いくつかの特別な場合の方法も含む。例えば、ワードを選択するた めのタップ(tap)ゼスチュアは、素早いゼスチュアであることが好ましく、マ ウスのクリックと同様である。しかし、この同様の入力ストロークのタップは、 「i」やピリオドの点を打つために用いられる。タップの期間(タップに関して は短く、ストロークに関しては長い)、一緒にまとめられるポイントの数(タッ プに関しては少なく、ストロークに関しては多い)、及びタップの境界ボックス の高さと幅の最大値を含む入力を解釈するためにファジー・ロジックが使用され る。ファジー・ルールはその動きをタップ・ゼスチュア又はインクのどちらにす るかを判定する。この方法は又、タップ・タイプのストロークが行の任意のイン クになされた場合に、そのストロークがタップであるよりもむしろインクである ようにバイアスされるよう考慮される。タップ・タイプのストロークがその上又 は下にストローク・インクを有するか又は、上にも下にもストローク・インクを 有さない場合、タップはストロークよりもむしろゼスチュアであるようにバイア スされる。特に、単一のカンマ、及びピリオドのストロークは、意図された行よ り下に形成されることが多い。句読点がワードの右下隅の固定の許容範囲内に形 成される場合、方法はその句読点を正しい行の中に引き上げる。こうしたストロ ークも又、タップというよりむしろインクであるようにバイアスされる。 ストロークが行に関連付けられると、そのストロークはワード識別方法に送信 される。本発明の好適実施例は各ストロークに関する スタック化水平バンド、又はこのバンド・バンピング方法に使用するためのスト ロークのグループを定義する。このバンドは、バンドの垂直位置においてストロ ークの左端、及び右端の範囲を示す。バンドは行毎に8つのバンドで垂直にスタ ック化されるのが好ましい。本発明は有利にも、現在の行、先行する行、及び次 の行に関するバンドを計算する。多くの文字スタイルの中で共通する、行のスト ロークの傾きにも関わらず、これらのバンドによって、本発明の方法がワードを 識別できる。例示の実施例においては、1つの行毎に8つのバンドが計算され、 3つの行でトータル24個のバンドが計算される。更に、ストロークが文字、及び ワードにグループ化された時に、そのストロークの結合、文字、又はワードに関 するバンドが計算される。このバンド情報は「増分(delta)」「重複(overlap)」 を計算するのに使用される。増分は以前のワードの境界ボックスと現在のワード の境界ボックスの距離であることが好ましい。重複は、最も近接した3つのバン ドからなる以前のワードと3つのバンドからなる現在のワードの平均距離である 。3つ以下のバンドがそれに入るストロークを有する場合、重複の計算の際に、 ストロークのない各バンド毎に行の高さの半分の距離がデフォルトとして使用さ れる。 図5Dに示すように、ワード識別方法の好適実施例が、行に関連付けられたス トロークを、ストローク内で最も右にあるポイントに基づいて左から右の順序で ソートするステップ251から始まる。これは、ストロークが後続の処理で適切に まとめられることを保証するため の一助となる。次にステップ252で、ストロークは文字にまとめられる。中心ポ イント重複方法は、文字を形成する可能性のあるストロークを一緒にグループ化 するために用いられることが好ましい。中心ポイント重複方法は、2つのストロ ークを、そのストロークか又はそれらの中心ポイントが互いに重複するかどうか に従って、一緒にグループ化する。文字の形態の全てのストロークに関して、ス トロークの左端座標、及び右端座標を計算して、それらの平均を取り、そのスト ロークの中心ポイントを得る。次に、第1のストロークの中心ポイントが第2の ストローク、又はストロークの第2のグループの左端座標、又は右端座標の範囲 内であった場合、第1及び第2のストロークが一緒にグループ化される。この好 適方法は又、第2のストロークの中心ポイントが第1のストロークの左端座標、 又は右端座標の範囲内にあるかどうかのテストも行い、もしそうであればそのス トロークをグループ化する。このことは、文字「i」の点、又は文字「t」、「F 」の交差が適切に、文字を形成する残りのストロークとともにグループ化される ことを保証するのに有利である。例えば、現在のストロークの中心ポイントが、 以前のストロークの幅の範囲内(公差が付加された行の高さの3/64以上)にある 場合、又は以前のストロークの中心ポイントが、現在のストロークの幅(公差が 付加された行の高さの3/64以上)だけ重複する場合、現在のストロークが以前の ストロークとまとめられる(グループ化される)。 ストロークが文字に分割されると、この好適方法はステップ253で その文字に関するいくつかの汎用パラメータを計算する。好適方法はその文字の それぞれを計算して、CharWidth、CharDist、CharDelta、及びWordDeltaを求め る。CharWidthは文字幅の平均値である。CharDistは隣接する文字の中心ポイン トの間の平均距離である。CharDeltaは文字間隔の平均値である。WordDeltaはワ ードの間隔の平均値である。 これらの計算はファジー・ロジックを使用して計算されることが好ましい。フ ァジー・メンバーシップ関数は実際に4つのポイントからなる台形の関数を用い て表現される。第1のポイント(ポイント1)はメンバーシップが偽である場合 を示し、第2のポイント(ポイント2)は完全な真に遷移する場合を示し、第3 のポイント(ポイント3)は完全な真が終わる場合を示し、第4のポイント(ポ イント4)は偽に遷移する場合を示している。台形は、そのポイントの位置が与 えられる典型的な状況を記述できる。第1、及び第2のポイントが実際に負の無 限大である場合、第3のポイント以下の値は常に真である。第3、及び第4のポ イントが実際に正の無限大である場合、第2のポイント以上の値は常に真である 。全てのポイントが全て同じである場合、それは1つの値、すなわち真である。 最後に、第2、及び第3のポイントが同じである場合、メンバーシップ関数は三 角形の形状を有する。例えば、CharWidthは印刷された文字の幅を示そうとする 。CharWidthの計算は、続き書きの文字、又は短い句読点のストロークがデータ を傾けるので、続き書きの文字及び句読点の影響を制限するファジー・メンバー シップ関数によ って影響される。CharWidthに用いられる例示のメンバーシップ関数は以下のよ うなものである。 ファジー・ロジックにおいて、「階級」は、値が集合の中においてメンバーの位 置する程度を示すものである。好適実施例においては、真(TRUE)という階級が 65536として表現され、偽(FALSE)という階級が0として表現され、その間で任 意の値がとられる。このことは図5Eに示すグラフによって表現される。CharWid thはいわゆる重心計算における文字幅の階級によって重み付けられた全ての文字 幅の平均として計算されることが望ましい。例えば、4つの文字幅10、30、45、 及び60に関する重心計算は以下のようになる。 従って、幅の広い続き書きのワード、及び幅の狭い句読点は文字幅の計算に関与 しない。60より大きい幅を有する任意の続き書きのワ ードは、文字幅計算に関して影響を及ぼさない。同様に、5より小さい幅のカン マ、又は任意の他の句読点マークも文字幅計算に関して影響を及ぼさない。 同様に、CharDelta、及びWordDeltaが重心平均、及びファジー・ロジック・メ ンバーシップ関数を使用して計算される。計算結果の値は、ユーザの手書き文字 、及び印刷物に関する典型的な文字、及びワードの距離の良好な評価を提供し、 このことはワードの識別段階、及びワードが分離、結合されるポイントに影響を 与える。CharDelta、WordDelta、及びCharDistに用いられる例示のメンバーシッ プ関数は以下に示すとおりである。 このステップに集められうる別のパラメータはストロークの波打ちである。バ ンド計算の間に、頭部が上の方にある状態から頭部が下の方にある状態に、又は その逆に、ストロークの複数の線の角度が何回変化したかに注意する必要もある 。大きな波打ちは続き書きの文字を示しており、これはファジー・ルールへの追 加入力となる。 CharWidth、CharDist、CharDelta、及びWordDeltaが計算されると、好適な方 法がステップ254に進む。ステップ254で、追加のメンバーシップ関数がステップ 253の結果の値を用いて計算される。文字幅に関連付けられたNarrow_Width、Cha racter_Width、及びNot_Character_Widthメンバーシップ関数が計算される。Nar row_Widthメンバーシップ関数は、「l」や「1」のような極めて狭い文字の識別 に重要である。Character_Width、及びNot_Character_Widthメンバーシップ関数 は、それぞれ、文字が典型的な文字である場合に判定を行う関数、及び幅が広す ぎて文字とはならない(おそらく続き書き)何かを判定する関数である。Charac ter_Distance、及びNot_Character_Widthは文字の距離に関連付けられたメンバ ーシップ関数であり、 次に計算される。次の2つのメンバーシップ関数Character_Delta、及びWord_De ltaは、文字がワードを形成するかどうかを示し、計算される。次の2つのメン バーシップ関数Overlapping、及びNot_Overlappingは文字が重複するかどうかを 判定するために計算される。最後に、出力メンバーシップ・テーブルEntry_Merg eは、現在の項目が、まとめられた文字のリスト内の以前の項目とまとめられる かどうか記述する。各メンバーシップ関数のそれぞれの値の例が、添付資料Aに 記述されている。 メンバーシップ関数全てがこの文字の行に関して設定されると、本発明の方法 は2つの左端の文字から始まって右に進み、その文字が一緒にグループ化される かどうかを判定する。ステップ255で、4つの値、ENTRY_DELTA、ENTRY_OVERLAY 、ENTRY_WIDTH、及びPREV_ENTRY_WIDTHが最初に計算される。ENTRY_DELTAは今回 のかたまりと以前のかたまりの間の増分である。ENTRY_OVERLAPは今回のかたま りと以前のかたまりの間の重複である。ENTRY_WIDTHはそのかたまりの文字幅で ある。PREV_ENTRY_WIDTHは以前のかたまりの文字幅である。これらの値が分かる と、それがステップ256で複数のルールによって使用され、文字が組み合わせら れるべきかを判定する。各ルールは最終的に文字が結合されるかどうか判定する 値Xに対する関与を提供する。例えば、第1のルールが、WORD_DELTAメンバーシ ップ関数におけるENTRY_DELTAが真である場合、ENTRY_MERGEテーブルのDEFINITE LY_SPLITの値がXに加算されるというルールを提供する。第2のルールが、OVER LAPPINGメンバーシップ関数におけるENTRY_OVERL APが真である場合、ENTRY_MERGEテーブルのDEFINITELY_JOINの値がXに加算され るというルールを提供する。複数のこうしたルールが添付資料Bに提供されてい る。全てのルールが評価されると、Xがゼロ以上の場合に、現在及び以前の文字 が結合され、それ以外の場合に文字が分割される。この4つの値を計算し、その ルールを評価する処理は次に、現在の文字を以前の文字として用い、現在の文字 として次の文字を行の中から取り出して、ステップ259で繰り返される。 最後に、ステップ257で前のステップからのワードが文章内の既存のデータと マージされる。中心ポイント・アルゴリズム及びバンド・バンピングは、このス テップで使用されるのが好ましく、ワードが既存のワードと結合されるべきかど うかを判定する。前のステップで出力された全てのワード毎に、ワードのバンド のいずれかが、行のいずれかのワードの対応するバンドの公差内に入った場合、 そのワードは結合される。このバンド・バンピングによってワードが結合されな かった場合、中心ポイントが重複していればワードが結合される。それ以外の場 合はワードがそのまま既存データ内に配置される。 ワードの識別に関する代替方法は図5A、5B、及び5Cに関して詳述される。 処理は新しい行、又は新しいページから始まる。最初に、ステップ91で、選択さ れた行の最初のストロークが現在のストロークとして選択される。ステップ92で 、以前、現在、及び次の行におけるバンド(即ち最大で24)がストロークに関し て計算される。次 にステップ93で、現在のストロークのバンドが現在のワードのバンドに加算され る。これは最初のストロークなので、現在のワードを含む唯一のストロークであ る。ステップ95で、この方法は選択された行に処理すべき追加のストロークがあ るかどうかを判定する。存在しなければ、処理は、行のワードだけを形成してい る単一のストロークを用いて以下で説明されるように、ステップ103で継続され る。システムは、後で入力されたストロークを、そのストロークをワード、又は 行で新しいワードを形成するために追加される可能性のある新しいストロークに 追加することによって処理することができる。システムはそのストロークに関す る現在の情報を利用し、行に存在するストロークに関する情報を使用する。しか し、行に追加のストロークがある場合、処理はステップ97で継続され、そこで現 在のワードの右隣のストロークが取り出される。次にステップ98で次のストロー クのバンドが計算される。次にステップ99で次のストロークのバンドが、現在の ワードの対応する同じ高さのバンドと比較される。ステップ100で、代替方法は 現在のワードのバンドのいずれかが次のストロークのバンドに「近い」かどうか 判定する。次のストロークのバンドのいずれかの左端が現在のワードのバンドの いずれかの右端の公差距離の範囲内に入る場合、バンドが「近い」ということに なる。例示の実施例では、行の高さの1/5のデフォルト値を有している公差距離 が、可変となっている。現在のワードと次のストロークが近い場合、次のストロ ークは現在のワードの他のストロークとまとめられる。ステップ102で現在のス トロークが次のストローク と等しくセットされ、処理はステップ93に戻って、現在のワードに現在のストロ ーク(以前は次のストローク)を加える。行における追加のストロークは次に、 処理するストロークがなくなるまで処理される。しかし、現在のワードと次のス トロークが近くない場合、処理はステップ101に進み、新たなワードが開始され る。この処理はステップ102及び93を経て続けられ、現在のワードに現在のスト ローク(以前は次のストローク)を加える。追加のストロークは次に、行の全て のストロークが識別されるまで処理されうる。 新しく入力されたストロークを新しいワードにグループ化する処理が完了する と、その処理は第1の識別レベルを終了し、ステップ95からステップ103に進ん で、簡単に上述したように、第2レベルのワードの識別を行う。第2のワードの 識別レベルにおいては、新しく形成されたワードは、もしあれば、ステップ103 において、選択された行に既に存在する既存のワードと比較される。新しいワー ドのバンドは、上述したのと同じ方法で既存のワードのバンドと比較される。新 しいワードのいずれかが重複し、又は既存のワードの境界の所定の公差に入る場 合、新しいワードと既存のワードはステップ104で組み合わせられる。この比較 は新しいワードのそれぞれを既存のワードと比較し、必要に応じてそれらを組み 合わせることによって行われることが好ましい。ワードの識別処理は次にステッ プ96で終了する。 図5Cに示すように、本発明のワードの識別方法は、2つの識別レベルで、「i 」や「j」の点、又はバンドの重複しない可能性のある 「T」、「F」又は「E」を横切るストロークのような特別な場合に適切なグルー プ化を行う、ワードを更にまとめる操作も含む。この代替方法はステップ106で 、行の中のそれぞれのワードの左端座標、及び右端座標を計算することから始ま る。各ワードの中心ポイントが次に、ステップ107で計算される。中心ポイント は、ワードの中のそれぞれのストロークの左端座標、及び右端座標を計算するこ とによって判定され、次に、その座標が平均されてワードに関する中心ポイント が得られる。ステップ108で行の中の第1のワードが取り出される。次にステッ プ113で、現在のワードが次のワードであるようセットされるか又は、最も新し いワードが取り出される。次にステップ112で、行の中の次のワードが取り出さ れ、次のワードとしてセットされる。ステップ109で、次のワードの中心ポイン トが、現在のワードの左端座標、及び右端座標と比較され、現在のワードの中心 ポイントが、次のワードの左端座標、及び右端座標と比較される。現在のワード の中心ポイント、又は次のワードの中心ポイントのどちらかが他方のワードの座 標の間にある場合、そのワードは、ステップ111に進む前にステップ110で他方の ワードとグループ化される。両方の中心ポイントが他方の座標の間(公差を含む )にない場合、処理は直接ステップ111に進む。この処理は次に、ステップ111で テストするワードがまだあるかを判定する。ない場合、この処理は終了する。そ れ以外の場合、各ワードが連続して取り出され、その中心ポイントが行の中の他 方のワードの左端座標、及び右端座標と比較される。この処理は方法をステップ 113に戻すことによって達成さ れる。 ストロークがワードにグループ化されると、本発明は有利にも、グループ化さ れるべき、及びグループ化されていないワードを結合するための、又は単一のワ ードを形成し、2つのワードであるべきストロークを分割するための新しいゼス チュアを提供する。本発明は単一のワードを2つのワードに分割するための、右 下がりのゼスチュアを提供する。ワードが分割されるポイント、及びワードの左 部分と右部分に関連付けられたストロークが、ゼスチュアのホット・ポイントに よって判定される。ゼスチュアのホット・ポイントはストロークがゼスチュアを 形成し始める開始ポイントである。本発明はホット・ポイントの左側に中心ポイ ントを有するあらゆるストロークがワードの部分の左側の一部を形成し、ホット ・ポイントの右側に中心ポイントを有するあらゆるストロークがワードの部分の 右側の一部を形成するように、ストロークを提供することが望ましい。本発明の 右下がりのゼスチュアも、分割したワードの間に挿入するための空白スペースの 量を指定するために使用することができるため、有利である。第1の右下がりの ゼスチュアは、単一ワードを形成するストロークを分割し、所定の空白スペース の量、例えば行の高さの1/3を挿入する。後続の右下がりのゼスチュアは、その 右下がりのゼスチュアの幅の約1/2の幅だけ空白スペースを空ける。同様にワー ドの結合に関して、スペースが選択され削除された時は、そのスペースが最初に 削除されて行の高さの1/3のような所与の公称スペースになる。次にその公称ス ペースが選択され削除された場合、 そのスペースに関するワードが単一のワードに結合される。 文字層における処理の最終レベル、文節識別に関する一実施例が図6A及び6B に示されている。ストロークが行、及びワードに識別されると、それらは文節に 分割される。ペン−ベース・コンピュータにおける、この文節への分割は、改行 復帰によって文節が特別に記述される、キーボード−ベースのシステムとはかな り異なる。ワードを文節に分割することは又、ほとんどのキーボード−ベースの システムに共通のワード・ラッピング機能を可能にする。文節を識別するための 方法はステップ121で始まり、そこでディスプレイが2つの垂直ラインによって 3つの垂直領域に分割される。本発明のこの実施例において、左側、中央、及び 右側の領域の境界が調整可能とされる。ユーザ・インタフェースは、三角形のよ うなシンボルをページのほぼ頂部に提供することができる。又ユーザ・インタフ ェースはサイズが数字で設定できるオプション・シートを含むこともできる。こ のシンボルは、ディスプレイを3つに分割する2つの想像上のラインを表してい る。その領域のサイズは、そのシンボルをタップし、所望の位置へとドラッグす ることによって調整されうる。この領域は左側領域、中央領域、及び右側領域を 含んでいる。本発明は有利にも、現在の行が右側領域内にストロークを有し、か つ次の行が左側領域内にストロークを有する場合、行を一緒にグループ化する。 この方法はステップ122において、次の行のストロークを取り出すことによって その行を識別する。ステップ123で、次の行のストロークの位置が判定され、現 在の行がステップ124において、次の 行と等しいようにセットされる。次にステップ125で、システムはページ上に識 別すべき行がもうないかテストする。ない場合、処理は完了する。識別すべき行 がまだある場合、システムはステップ127において、次の行を取り出すか又は、 入力されているストロークの中にユーザが追加入力を行うのを待つ。次の行(ち ょうど取り出された新しい行)のストロークの位置はステップ128で判定される 。ステップ129で、方法は以前の行が右側領域にストロークを有しているかテス トする。有していない場合、現在の行が文節の中で最後の行であり、ステップ13 0において、次の行で新しい文節が開始される。以前の行が右側領域にストロー クを有している場合は、文節が終わりでなく、方法はステップ131に進む。ステ ップ131は次の行が左側領域にストロークを有するかどうかテストを行う。左側 領域にストロークを有する場合、以前の行と次の行が同じ文節にあり、方法はス テップ124に戻り、任意の追加の行を処理する。左側領域にストロークがない場 合、ステップ130で文節が以前の行の後に挿入される。次にこの方法はステップ1 24に戻り、任意の追加の行を処理する。本発明の文節識別方法の好適実施例は、 以下の説明と図16A、16B、及び16Cに関連して、最もよく理解される。既存の文 節識別方法が画面表示の中のテキスト行の位置のみに依存するものであるため、 本発明の方法とは異なる。本発明の方法はテキスト行の位置を含むだけでなく、 他のテキスト行に関連するテキスト行の内容も含んでいる。従って、より洗練さ れたスタイルの文節とリストが調整される。 図16Aに示されるように、本発明はディスプレイのエリアを4つの 垂直領域に分割することが好ましい。好適実施例に関して説明される識別ルール は、テキスト行の左端、及び右端を記述するために、テキストの画面表示内に4 つの見えない列を使用する。この列は左から右にそれぞれA、B、C、及びDと名付 けられている。列の位置に関する実施例は以下の通りである。 位 置 A 画面表示の左端から画面表示幅の1/3まで B 画面表示幅の1/3から画面表示幅の1/2まで C 画面表示幅の1/2から画面表示幅の2/3まで D 画面表示幅の2/3から画面表示の右端まで 当業者には、列の境界がユーザの特定の文字様式に対して変更可能であり、これ らのサイズが例示のためだけに示されていることが理解されよう。 テキスト行の左端、及び右端の位置が好適実施例において計算される場合、そ の位置を記述する座標の値が、元の水平方向の座標より高い粒度(granularity )を有する値に、好適に丸め処理される。例えば、水平方向の座標の値が、各座 標が行の高さの1/64である、行の高さに関連して表現される。テキスト行の端の 位置は行の高さの1.5倍か又は、96の倍数となる水平方向の座標の値に丸め処理 される。本発明はこうしたテキスト行の端の位置の丸め処理を提供し、水平方向 の座標の値に比べて非常に粗い解像度を有するゼスチュアを用 いて、テキスト行の左端の調整を容易にする。この丸め処理は又、テキストの行 が手によって書かれている時に、水平方向におけるテキスト行の影響を排除する 。 好適実施例は、ワードを文節に識別する時に継続して適用される3つの方法を 提供する。第1の方法は標準文節識別に関して提供され、第2の方法はビュレッ ト文字の後の文節に関して提供され、第3の方法はリスト文節識別に関して提供 される。第2の方法は所与のビュレット文字が行の先頭にある場合に適用される 。次に、第1の方法が標準文節識別に関して適用される。前述の2つの方法がど ちらとも、行を文節に分割する際に効果的でない場合、それらはリストと見なさ れ、第3の方法に従って処理される。 ここで図16Aを参照すると、標準文節識別に関する方法が記述されている。こ の方法は標準文節を以下のルールを用いて識別する。これらのルールは、テキス ト行が一緒にグループ化されて、ブロック形式、又はインデントやアウトデント がなされた第1行を有するように書き込まれる標準の文節を形成する。 1.テキスト行に関して、文節の第1行として適格にするために、そのテキスト 行が画面表示の列Aで始まらなくてはならない。 2.識別された第1行に続く次の行に関して、その文節が継続されるためには、 (1)次の行の左端が画面表示の列Aの中になくてはならず、かつ(2)識別され た第1行の右端が画面表示の列Dの中になくてはいけない。 3.第3行、及びそれに続く行に関して、その文節が継続されるた めには、(1)以前のテキスト行の右端が画面表示の列D内になくてはならず、 かつ(2)現在のテキスト行の左端が、以前の行の左端から1行の高さ分だけ左 の、又は右の範囲に入っていなければならない。 4.第1行の左端の位置(最も近いスナップ位置に丸め処理される)が、第1行 の左のインデントのみを指定する。 5.第2行の左端の位置(最も近いスナップ位置に丸め処理される)が、第1行 以外の全ての行の左のインデントを指定する。 本発明の方法は、上記ルールを適切に適用し、文章内のテキストの各行を始めか ら終わりまで識別し、文節の境となる位置を特定する。例えば本発明は、テキス トを含んだ行が出現するまで空白行を識別して進む。そこで上記ルールが使用さ れて、その行が文節の始まりかどうかを判定する。その行が文節の始まりであれ ば、第1行以降にテキストを有する行があれば、それが文節として第1行に関連 付けられるか又は、処理が、テキストを有する残りの行の中で新しい第1行を探 す。上記ルールは、文節が修正されるか又は、ペンが近接する方向、及び離れる 方向に移動する場合に、ディスプレイ上の行に再度適用される。 ここで図16Bを参照すると、文節を識別してビュレット文節を特定するための 方法が説明されている。本発明は有利にも、所定のビュレット文字で始まるもの を個別の文節として認識する。ビュレット文節は、その文節内の第1のテキスト 要素が有効なビュレット文字であることを除けば、通例の文節と同様である。有 効なビュレット文字は例ではハイフンがつけられているが、他の様々な文字が使 用 されうる。以下のルールは、テキスト行がビュレット文節を形成するかどうかを 判定するために使用される。 1.テキスト行に関して、ビュレット文節の第1行として適格にするために、そ のテキスト行が(1)画面表示の列A、又はBで有効なビュレット文字から始ま らなくてはならない。 2.第2のテキスト行に関して、第1行からビュレット文節が継続されるために は、第2のテキスト行が(1)列A又はBの中で始まらなくてはならず、かつ(2 )第1行の右端が画面表示の列Dの中になくてはいけない。 3.第3行、及びそれに続く行に関して、ビュレット文節が継続されるためには 、各行が(1)以前のテキスト行の右端が画面表示の列D内になくてはならず、 かつ(2)そのテキスト行の左端が、以前のテキスト行の左端から1行の高さ分 だけ左の、又は右の範囲に入っていなければならない。 4.ビュレット文字の左端の位置(最も近いスナップ位置に丸め処理される)が 、第1行の左のインデントのみを指定する。 5.第2行の左端の位置(最も近いスナップ位置に丸め処理される)が、第1行 以外の全ての行の左のインデントを指定する。 6.第1行の中のビュレット文字の後のワードが、第2行の左端の位置に好適に 移される。 ここで図16Cを参照すると、リスト文節識別が示されている。本発明のこの文 節識別方法は、テキストがリストを形成するかどうかの判定を行わずに、むしろ 標準文節、又はビュレット文節を形成しな いと判定された全ての行がリスト項目として扱われる。従って、以下のルールが リスト内のテキスト行の特長を説明している。 1.両面表示の列Aから始まるリスト行は画面表示の列B、又はCで終わっては いけない。もしそこで終わった場合は、その行は文節の第1行に間違えられる。 2.列B、C、又はDで始まる全てのテキスト行はリスト行と見なされる。 3.そのリスト行がラップされなければならない時に、リスト要素の第1のテキ スト行の左端の位置(最も近いスナップ位置に丸め処理される)が、第1行のイ ンデント、及び後続の全ての行の左のインデントを指定する。 図7ないし12を参照すると、描画層による処理が説明されている。本発明の主 たる利点の1つはシステムが、操作テキストと描画図形を上述したような同じイ ンタフェースで同時に受け取ることができる能力である。しかし、描画層におけ る処理は又、他の有利な特長も有している。本発明は有利にも、行タイプ要素の 定義を拡張しており、それによって多くの図形に関して実行される操作の数を拡 張する。図9A、及び9Bに示すように、ほとんどのコンピュータ描画プログラム は操作されうる2つのタイプの要素を提供する。図9Aは、形状タイプ要素180を 修正し、操作するための境界ボックスの外周近くにある、ハンドル184と187によ って定義された境界ボックスを提供する形状タイプ要素180を示している。形状 タイプ要素180は通常少なくとも4つの境界ボックスを定義するためのハンドル を有する。 図9Bは、ストロークの両端に2つのハンドルを提供する、線タイプ要素186を示 す。本発明は、線タイプ要素186を純粋に幾何学的な線、及び従来技術で採用さ れているセグメントに限定しないので有利である。図9Bに例示するように、図 形が真の幾何学的意味において線ではないという事実にも関わらず、図形は線タ イプ文字を有する。 線タイプ要素186に関して拡張された定義に加えて、本発明は、自動的にイン ク・ストローク入力を線タイプ要素、又は形状タイプ要素として分類する方法を 含む。次に図7A、及び7Bを参照すると、描画層において要素タイプを識別する ための好適方法が示されている。この方法はステップ141で、タイプ分け、又は 分類されるべきストロークを取り出すことから始まる。ストロークの境界ボック スがステップ142で判定される。次にステップ143で、境界ボックスの2つの隣接 する辺の長さL、及びWが求められる。次にステップ144、及び145でそれぞれ、 そのストロークの開始ポイント、及び終了ポイントが求められる。ストロークが 線タイプか形状タイプかを判定するために、本発明はストロークの開始ポイント 、及び終了ポイントをストロークの境界ボックスと比較する。開始ポイント、及 び終了ポイントが境界ボックスの相対する角の所定の距離の範囲内にある場合、 そのストロークは線タイプ要素である。本発明はその所定の距離を、境界ボック スの対応する辺毎に、L及びWのパーセントで示すように選択することが好まし い。更に、L及びWが極めて大きい場合には、最小値が適用されなければならな い。実施例においては、このパーセントが25%にセットされ、最小値が行の高さ の1/4に セットされる。従って、次にストロークの終了ポイントが、線タイプ要素となる べきストロークの境界ボックスの相対する角のL、及びWの0.25倍の範囲内でな ければならない。図7Bのステップ146で、この方法は最初に以下のどちらかが真 であるかをテストする。1)開始ポイントが、ストロークの境界ボックスの右上 の角からの所定の距離の範囲内にあり、かつ終了ポイントが、境界ボックスの左 下の角の所定の距離の範囲内にある。又は2)、開始ポイントが、ストロークの 境界ボックスの左下の角からの所定の距離の範囲内にあり、かつ終了ポイントが 、境界ボックスの右上の角の所定の距離の範囲内にある。このどちらかのテスト が真であった場合、そのストロークはステップ148で線タイプであるものとして 設定され、ステップ150で処理は終了する。それ以外の場合、ステップ147で方法 が継続され、ストロークが相対する角の他の対の間で延びているか以下のように テストする。1)開始ポイントが、ストロークの境界ボックスの左上の角からの 所定の距離の範囲内にあり、かつ終了ポイントが、境界ボックスの右下の角の所 定の距離の範囲内にある。又は、2)開始ポイントが、ストロークの境界ボック スの右下の角からの所定の距離の範囲内にあり、かつ終了ポイントが、境界ボッ クスの左上の角の所定の距離の範囲内にある。ステップ147のテストのどちらか が真であった場合、そのストロークはステップ148で線タイプであるものとして 処理され、それ以外の場合、そのストロークはステップ149で形状タイプである ものとして設定される。当業者にはこの方法がストロークのグループを線タイプ 、又は形状タイプとして処理する ように変更できることが理解される。例えば、ストロークのグループを処理する 場合、境界ボックスが、そのグループに含まれる全てのストロークを含むボック スとして定義される。この方法は次に、上述のようにグループ内のあるストロー クが線タイプとして適当とされる基準を満たすかどうか判定するステップに進む 。線タイプとして適当とされるストロークが1つでもあれば、ストロークのグル ープ全体に線タイプの特長が、グループ内に含まれる全てのストロークを含むボ ックスとともに与えられる。本発明の記号解釈システムは又、ユーザ・インタフ ェースにおける追加機能のために有利である。従来のコンピュータ描画プログラ ムは、オブジェクトのサイズ変更、又は境界ボックス内のストロークに関して1 つのハンドル・タイプが提供されるだけである。オブジェクトを回転させるよう な他の特長を実行するために、ユーザはオブジェクトを選択してから、回転のた めの特別なツールを含むメニューを起動させる。しかし、図9A、及び9Bに示す ように、本発明は2つのタイプのハンドル184、187を提供する。オブジェクトの 回転、及びサイズ変更の両方を提供する本発明の方法はステップ161で、2つの ハンドル・タイプ184、187を表示することから始まる。この2つのタイプのハン ドルは、それらがユーザによって容易に識別されるように、視覚的に明確な方法 で表示される。第1のハンドル・タイプ187は、境界ボックスの周囲の近くで、 小さな四角として表示され、サイズ変更のみに用いられうる。この第1のハンド ル・タイプ187は最初は、形状タイプ・オブジェクトの境界ボックスの角の上に 位置している。第2 のハンドル・タイプ184は、小さい円としてディスプレイ上に表現される。第2 のハンドル・タイプ184によって、オブジェクトが回転、又はサイズ変更可能と なる。形状タイプ・オブジェクトに関して、第2のハンドル・タイプ184は、そ のハンドルの位置、及び移動方向に依存して、そのオブジェクトのサイズ変更、 又は回転を行う。第2のハンドル・タイプ184は、第1のハンドル・タイプ187の 間の境界ボックスの辺の上に配置されることが好ましい。線タイプ・オブジェク トに関しては、第2のハンドル・タイプ184がオブジェクトのサイズ変更と回転 を同時に行う。第2のハンドル・タイプ184は、線タイプ・オブジェクトの末端 に配置されることが好ましい。 再び図8A、及び8Bを参照すると、第1及び第2のハンドル・タイプ187、184 上の入力を処理する好適方法がステップ162で継続される。ユーザは最初にステ ップ162でハンドルを選択し、次にステップ163でそれを操作(即ち、そのハンド ルをドラッグ)する。次に処理はハンドルのタイプと、それが回転可能であるか どうかをステップ164で判定する。このハンドルが回転可能でない場合(第1の ハンドル・タイプ187)、処理はステップ168に移り、オブジェクトが従来の方法 で縦横(2つのサイズ)同時にサイズ変更される。しかし、ハンドルが回転可能 である場合(第2のハンドル・タイプ184)、処理はステップ165に移る。一 般に、本発明の方法は、ハンドルがドラッグされた方向が実質的に境界ボックス の最も近い辺に平行である場合に、オブジェクトを回転させ、ハンドルがドラッ グされた方向が実質的に境界ボックスの最も近い辺に垂直である場合に、オブジ ェクトの1つのサイズを変更する。例えば、一実施例において、ハンドル184か ら各辺が約0.32cm(約1/8インチ)の四角のエリアが定義され、等しい三角形の 四分円に分割される。ハンドルが、境界ボックスの1辺を含む四分円のいずれか にドラッグされた場合、そのオブジェクトが回転される。ハンドルが、境界ボッ クスの1辺を含まない四分円のいずれかにドラッグされた場合、そのオブジェク トのサイズが変更される。ステップ165で、この方法は第2のハンドル・タイプ1 84の位置を求める。ハンドルが境界ボックスの頂部、又は底部にある時、処理は ステップ166で続けられ、それ以外の場合、ステップ167で続けられる。ステップ 166では、第2のハンドル・タイプ184が境界ボックスの頂部、又は底部にあるこ とが分かっている。従って、実質的に垂直方向の移動はサイズ変更の命令として 解釈され、実質的に水平な方向の移動は回転の命令として解釈される。実質的に 垂直、又は水平方向の移動方向に従って、方法はステップ168に進んでオブジェ クトのサイズを変更するか、又はステップ169に進んでオブジェクトを回転させ る。ステップ168、又は169のどちらかで、オブジェクトがドラッグされるのと同 じ方向に動作が行われる。同様に、ステップ167で、第2のハンドル・タイプ184 は境界ボックスの辺の上にあることが分かっている。従って、ステップ166と反 対に、実質的に垂直方向の移動は回転の命令として解釈され、実質的に水平方向 の移動はサイズ変更の命令として解釈される。オブジェクトが回転、又はサイズ 変更されると、操作がステップ170で終了する。 サイズ変更、及び回転のためのユーザの処理は図10ないし12に最もよく示され ている。図I0Aは選択された線オブジェクト190を示しており、ユーザはハンドル 192を第1の位置192Aから第2の位置192Bにドラッグする。上述したように、本 発明は、サイズ変更と回転を同時に行い、ハンドル192をドラッグした結果が図1 0Bに示され、そこでは線がサイズ変更され、回転されている。図から分かるよう に、回転は太字の小さい四角194で表示された線オブジェクト190の末端付近で行 われるのが好ましい。図11Aないし11Cは、ユーザが第2のハンドル・タイプ184 を操作して、形状タイプ・オブジェクトを回転させる図が示されている。ユーザ は最初に、図11Aに示すように、形状オブジェクトを選択して、ハンドルを表示 させる。次にユーザは、ハンドル196を選択して、そのハンドル196をこの場合は ポイント196Aからポイント196Bまで、実質的に垂直方向にドラッグする。本発明 は有利にも、形状オブジェクトが回転される位置の輪郭198を示す。次にユーザ は、ハンドル196をタップして、オブジェクトを図11Cで示された位置まで回転さ せる。 図12A、及び12Bは、ユーザが第2のハンドル・タイプ184を操作して、形状タ イプ・オブジェクトのサイズを変更する図が示されている。ユーザは最初に、図 11Aに示すように、形状オブジェクトを選択して、ハンドル196を表示させる。次 にユーザは、図12Aに示すようにハンドル196を選択して、そのハンドル196をこ の場合はポイント196Aからポイント196Cまで、実質的に水平方向にドラッグする 。本発明は有利にも、形状オブジェクトのサイズが変更される位置の輪 郭200を示す。次にユーザは、オブジェクトのサイズを変更するため、ハンドル1 96を、図12Bで示されたサイズまでドラッグする。図12Cはオブジェクトのサイズ を変更するために、第1のハンドル・タイプ187を操作する図が示されている。 ハンドル202がポイント202Aからポイント202Bまでドラッグされた時に、この操 作は従来の方法でオブジェクトを輪郭204のサイズに変更する。 本発明は又、入力され、システムによって表示されたストローク上に高輝度を 生成し、維持するための方法も含む。高輝度のための好適方法は、その視覚的表 現が、選択のための矩形が表示され、それが高輝度と区別されるようなものであ るため、特に有利である。この高輝度は手で書かれたようなギザギザを有し、か つその高輝度は、テキストがコピーされ、ワードラップされた時にテキストとと もに移動可能な、テキストに適用された属性である。図14A、及び14Bをここで参 照すると、テキストを高輝度表示するための好適方法が説明されている。この方 法はステップ271で、ディスプレイ上の選択のための矩形をペイントすることか ら始まる。ステップ272で、この方法は第1のワード、又は高輝度表示されるス ペースを取り出す。次にステップ273で、その取り出されたワード、又はスペー スに関して、そのワードの幅だけ広がり、1行分の高さを有する、境界矩形が計 算される。次にステップ274で、この方法が、その矩形の元の座標X及びYの合 計と等しいランダム数に関する準備をする。これは、各行に異なるギザギザを提 供する。ステップ275で、境界矩形が水平方向に行の1/32の高さの間隔で細分さ れる。次にステップ276で、ゼ ロと行の高さの1/3の間のランダム数、hが水平方向の細分部分毎に計算される 。ステップ277で、各細分部分毎に2つのポイントがセットされる。1つのポイ ントは1行の高さ−hに、他のポイントはhにセットされる。次にステップ278 で、境界矩形の頂部に沿ったポイント、境界矩形の左辺上のポイント、境界矩形 の底部に沿ったポイント、及び境界矩形の右辺上のポイントを結合することによ って多角形が作成される。この多角形がディスプレイ上で高輝度表示されるエリ アである。次にステップ280で、この方法が、高輝度表示すべき追加のワード、 又はスペースが存在するかテストする。存在する場合は、方法はステップ272に 戻り、次のワードを処理する。それ以外の場合、方法はステップ281に移動し、 そこでテキストと文字が高輝度表示され、処理が終了する。 今度は図15を参照すると、ビュレット文字を自動的に識別し、アウトライン関 数に関するハンギング・インデントを生成する好適方法が記述されている。この 好適方法はステップ291で、ビュレット文字を識別することから始まる。これは 、従来の文字認識方法を使用して行われる。次に、ステップ292で、ビュレット 文字の左右の境界が求められる。次にステップ293で、ビュレット文字の右の次 のワードの左側の境界と、ビュレット文字の左側の境界が求められる。この位置 は、同じ文節の後続の行に対するハンギング・インデントの距離として使用され るのが好ましい。ステップ292とステップ293のデータも又、他の行の処理に用い られるために記憶される。次に、ステップ294で、ビュレットの左側の境界が、 先行する全ての行の次 のワードの左側の境界と比較される。次に、ステップ295で、アウトライン・レ ベルとハンギング・インデントに関する位置が、ステップ295の比較結果を用い てセットされる。ビュレットの左側の境界が、先行する文節の次のワードの左の 境界の右側である場合、そのビュレットはアウトラインにおいて低レベルを有す る。次のワードが、先行する文節のビュレットの左の境界の左側である場合、そ のビュレットは高レベルを有する。この2つの条件のうち一方を満たせば、その ビュレットはアウトラインにおいて同じレベルを有する。最後に、この方法は識 別すべき追加の行が存在するかテストする。存在する場合、この方法はステップ 291に戻り、それ以外の場合は終了する。 本発明は特定の実施例に関して説明されてきたが、当業者には、ここに様々な 修正が提供されうることが理解される。例えば、本発明の行、ワード、及び文節 の識別を実施するために、異なるアルゴリズムが使用されうる。好適実施例に対 するこうした、及びそれ以外の変更、及び修正が、請求の範囲によってのみ限定 される本発明によって提供される。
───────────────────────────────────────────────────── フロントページの続き (81)指定国 EP(AT,BE,CH,DE, DK,ES,FR,GB,GR,IE,IT,LU,M C,NL,PT,SE),OA(BF,BJ,CF,CG ,CI,CM,GA,GN,ML,MR,NE,SN, TD,TG),AT,AU,BB,BG,BR,BY, CA,CH,CN,CZ,DE,DK,ES,FI,G B,GE,HU,JP,KG,KP,KR,KZ,LK ,LU,LV,MD,MG,MN,MW,NL,NO, NZ,PL,PT,RO,RU,SD,SE,SI,S K,TJ,TT,UA,UZ,VN (72)発明者 スタイクレーザー,グレゴリー アメリカ合衆国カリフォルニア州94301パ ロ・アルト,ファイフ・アヴェニュー・ 1170 (72)発明者 トンプソン,マイケル,ピー アメリカ合衆国カリフォルニア州94070サ ン・カルロス,トリリアム・レイン・26

Claims (1)

  1. 【特許請求の範囲】 1.同じインク・スペースに関し描画層、及び文字層を有するシステムにおいて 、新しいインク・ストローク表現のための処理層を判定する、コンピュータ化さ れた方法であって、前記方法が、 新しいインク・ストローク表現の境界を判定するステップ、 描画層によって処理されているインク・ストロークを含むエリアに関する、描 画領域を定義するステップ、 新しいインク・ストロークの境界が描画領域と交差する場合、その新しいイン ク・ストロークを描画層で処理するステップ、及び 新しいインク・ストロークの境界が描画領域と交差せず、かつそのストローク が所定の距離より小さい場合、その新しいストロークを文字層で処理するステッ プを含むことを特徴とする、前記方法。 2.前記所定の距離が垂直方向に測定されることを特徴とする、請求項1に記載 の方法。 3.前記所定の距離が水平方向に測定されることを特徴とする、請求項1に記載 の方法。 4.新しいインク・ストロークが描画ゼスチュアかどうか判定するステップ、及 びその新しいインク・ストロークが描画ゼスチュアであった場合に、新しいイン ク・ストロークを描画層で処理するステップを更に含むことを特徴とする、請求 項1に記載の方法。 5.新しいインク・ストロークが特別な文字かどうか判定するステップ、及びそ の新しいインク・ストロークが特別な文字であった場 合に、新しいインク・ストロークをオペレーティング・システムを用いて処理す るステップを更に含むことを特徴とする、請求項1に記載の方法。 6.タップ・ゼスチュアが特別な文字であることを特徴とする、請求項5に記載 の方法。 7.新しいインク・ストロークが特別な文字かどうか判定するステップが、 ストロークの期間を測定するステップ、 ストロークを含むポイント数を判定するステップ、及び ストロークの境界ボックスを判定するステップを含むことを特徴とする、請求 項6に記載の方法。 8.新しいインク・ストロークが特別な文字かどうか判定するステップが、 ストロークが、インクであると定義されたエリアに作られたかどうかを判定す るステップ、 ストロークが、インクであると定義されたエリアに作られた場合に、そのスト ロークがインクであるとセットするステップ、 ストロークが、インクであると定義されたエリアの下部、又は上部に作られた かどうかを判定するステップ、及び ストロークが、インクであると定義されたエリアの下部、又は上部に作られた 場合に、そのストロークがインクであるとセットするステップを含むことを特徴 とする、請求項6に記載の方法。 9.特別な文字が、ストローク入力がタップ・ゼスチュア、又はイ ンク文字の一部であるかどうかを判定するために、ファジー・ロジックを適用す ることによって処理されることを特徴とする、請求項5に記載の方法。 10.インク・ストローク表現がワード・プロセッシング機能で操作可能であるよ うなフォーマットに、インク・ストローク表現を処理するコンピュータ化された 方法であって、前記方法が、 インク・ストローク表現を一時バッファに記憶するステップ、 インク・ストローク表現を行エリアにグループ化するステップ、 インク・ストローク表現の行エリアのそれぞれに関して、インク・ストローク 表現をワード・エリアに分割するステップ、及び インク・ストローク表現の行エリアを文節エリアに分割するステップを含むこ とを特徴とする、前記方法。 11.複数のインク・ストローク表現を行エリアとグループ化するコンピュータ化 された方法であって、前記方法が、 スクリーン・ディスプレイを分割する複数の行エリアを定義するステップ、 ストロークの境界を判定するステップ、 ストロークを連鎖グループに分割するステップであって、連鎖グループ内の各 ストロークが、そのグループ内の別のストロークから所定の水平方向の距離、及 び垂直方向の距離であるグループのうちの1つである前記ステップ、 ストロークの各連鎖グループに関して、境界ボックスを判定するステップ、 各境界ボックスに関して、重み付けされた中心を計算するステップ、 各連鎖グループ内のストロークを、境界ボックスの中心がある行エリアに関連 付けるステップを含むことを特徴とする、前記方法。 12.ストロークを行エリアに関連付けるステップが更に、 ストロークが、インクであると定義されたエリアに作られたかどうかを判定す るステップ、 ストロークが、インクであると定義されたエリアに作られた場合に、そのスト ロークがインクであるとセットするステップ、 ストロークが、インクであると定義されたエリアの下部、又は上部に作られた かどうかを判定するステップ、及び ストロークが、インクであると定義されたエリアの下部、又は上部に作られた 場合に、そのストロークがインクであるとセットするステップを含むことを特徴 とする、請求項11に記載の方法。 13.ストロークを行エリアに関連付けるステップが更に、 ストロークを句読点マークとして識別するステップ、 ストロークがワードの右下の角の所与の公差の中に作られたかどうかを判定し 、及び ストロークがワードの右下の角の所与の公差の中に作られた場合に、そのスト ロークをワードとして同じ行に関連付けるステップを含むことを特徴とする、請 求項12に記載の方法。 14.行に関連付けられた複数のインク・ストロークをワードに処理するためのコ ンピュータ化された方法であって、前記方法が、 a)行に関連付けられたインク・ストロークを現在のストロークとして取り出 すステップ、 b)現在のストロークのバンドを計算するステップ、 c)現在のストロークとそのバンドを現在のワードを形成しているストローク のグループに追加するステップ、 d)インク・ストローク表現を次のストロークとして取り出すステップ、 e)次のストロークのバンドを計算するステップ、 f)現在のストロークと次のストロークをバンド毎に比較するステップ、 g)バンドのいずれかがお互いのバンドの所定の距離の中にある場合に、現在 のストロークを次のストロークにセットするステップ、 h)バンドのいずれもがお互いのバンドの所定の距離の中にない場合に、新し いワードを現在のワードとして形成し、現在のストロークを次のストロークにセ ットするステップ、 i)現在のストロークとそのバンドを現在のワードを形成しているストローク のグループに追加するステップ、及び j)行の中に追加のストロークがある間、ステップdからiを繰り返すステッ プを含むことを特徴とする、前記方法。 15.新しいワードを選択された行上の既存のワードと比較し、重複したワードを 一緒に単一ワードにグループ化するステップを更に含むことを特徴とする、請求 項14に記載の方法。 16.選択された行に関連付けられた複数のストロークを一緒に結合 するためのコンピュータ化された方法であって、前記方法が、 a)行の中の各ストローク毎に、左端座標、及び右端座標を計算するステップ 、 b)行の中の各ストローク毎に、中心ポイントを計算するステップ、 c)各ストロークの中心ポイントを他のストロークの左端座標、及び右端座標 と比較するステップ、 d)ストロークの中心ポイントが水平方向において、他のストロークの左端座 標、及び右端座標のグループのうちの1つの所定の公差の範囲内にある場合、選 択された行の上の2つのストロークを一緒に単一のワードとして結合するステッ プを含むことを特徴とする、前記方法。 17.ワードの中心ポイントが水平方向において、別のワードの左端座標、及び右 端座標の間にある場合、結合を行うステップが2つのワードを結合することを特 徴とする、請求項16に記載の方法。 18.ワードの上にゼスチュアを入力するステップであって、そのゼスチュアが、 ワードが2つのワードに分割されるべきであることを示している、前記ステップ 、 ゼスチュアのホット・ポイントを識別するステップ、 ワードを形成している各ストロークの中心ポイントを判定するステップ、 ゼスチュアのホット・ポイントの左側に中心ポイントを有するワードを形成し ているストロークで左側のワードを形成するステップ、 ゼスチュアのホット・ポイントの右側に中心ポイントを有するワ ードを形成しているストロークで右側のワードを形成するステップ、 所定のスペースの量を右側のワードと左側のワードの間に挿入するステップを 更に含むことを特徴とする、請求項16に記載の方法。 19.ゼスチュアが下の部分と右の部分を含むストロークであることを特徴とする 、請求項18に記載の方法。 20.ゼスチュアのホット・ポイントが、ストロークがゼスチュアの開始部分を形 成している開始ポイントであることを特徴とする、請求項18に記載の方法。 21.インク・ストローク表現の複数の行を文節グループにグループ化するコンピ ュータ化された方法であって、前記方法が、 スクリーン上の表示エリアを左側領域、中央領域、及び右側領域に分割するス テップであって、左側領域、中央領域、及び右側領域が複数の行を横断する前記 ステップ、 第2行のインク・ストローク表現の位置を求めるステップであって、前記第2 行が第1行に続く、前記ステップ、 第1行が右側領域にインク・ストローク表現を有し、かつ第2行が左側領域に インク・ストローク表現を有する場合に、第1行と第2行を一緒に文節グループ にグループ化するステップを含むことを特徴とする、前記方法。 22.左側領域、中央領域、及び右側領域が表示エリアを横断して垂直に延びるこ とを特徴とする、請求項21に記載の方法。 23.左側領域、中央領域、及び右側領域が表示エリアを横断して水平に延びるこ とを特徴とする、請求項21に記載の方法。 24.左側領域、中央領域、及び右側領域が表示エリア上でユーザには見えないこ とを特徴とする、請求項21に記載の方法。 25.左側領域、中央領域、及び右側領域が表示エリア上でユーザに見えることを 特徴とする、請求項21に記載の方法。 26.自動的にストロークを線タイプ、又は形状タイプとして分類するためのコン ピュータ化された方法であって、前記方法が、 ストロークの境界ボックスを判定するステップ、 境界ボックスの長手方向の辺の長さLを求めるステップ、 境界ボックスの隣接する辺の長さWを求めるステップ、 ストロークの開始ポイントの位置を求めるステップ、 ストロークの終了ポイントの位置を求めるステップ、 開始ポイントが境界ボックスの第1の角のL及びWの所定のパーセントの範囲 内にあり、かつ終了ポイントが境界ボックスの第2の角のL及びWの所定のパー セントの範囲内にあり、かつその場合に第1及び第2の角が境界ボックスの反対 側に位置する場合、ストロークが線タイプであるものとしてセットされるステッ プを含むことを特徴とする、前記方法。 27.所定のパーセントが25%より小さいことを特徴とする、請求項26に記載の方 法。 28.自動的に複数のストロークを線タイプ、又は形状タイプとして分類するため のコンピュータ化された方法であって、前記方法が、 複数のストローク全てを含む境界ボックスを判定するステップ、 境界ボックスの長手方向の辺の長さLを求めるステップ、 境界ボックスの隣接する辺の長さWを求めるステップ、 複数のストローク内の各ストロークの開始ポイントの位置を求めるステップ、 複数のストローク内の各ストロークの終了ポイントの位置を求めるステップ、 いずれかのストロークに関して、そのストロークの開始ポイントが境界ボック スの第1の角のL及びWの所定のパーセントの範囲内にあり、かつそのストロー クの終了ポイントが境界ボックスの第2の角のL及びWの所定のパーセントの範 囲内にあり、かつその場合に第1及び第2の角が境界ボックスの反対側に位置す る場合、複数のストロークが線タイプであるものとしてセットされるステップを 含むことを特徴とする、前記方法。 29.所定のパーセントが25%より小さいことを特徴とする、請求項28に記載の方 法。 30.ユーザによる単一のペン・ゼスチュアに基づいてディスプレイ装置上に表示 された描画図形の位置を、自動的にサイズ変更、及び回転させるためのコンピュ ータ化された方法であって、前記方法が、 ユーザによって選択されたハンドルを判定するステップ、 そのハンドルがユーザによってドラッグされる方向、及び終了ポイントを判定 するステップ、 ハンドル、及び最も近い境界ボックスの辺に関連付けられた図形の境界ボック スを判定するステップ、 ハンドルが、ドラッグされた方向が実質的に境界ボックスの最も 近い辺と平行である場合に、終了ポイントの位置まで図形を回転させるステップ 、及び ハンドルが、ドラッグされた方向が実質的に境界ボックスの最も近い辺と垂直 である場合に、終了ポイントの位置まで図形のサイズを変更するステップを含む ことを特徴とする、前記方法。 31.自動的にアウトライン文字を識別し、ハンギング・インデントを挿入するコ ンピュータ化された方法であって、前記方法が、 行のワードを取り出すステップ、 ビュレット文字を識別するステップ、 ビュレット文字の左右の境界を判定するステップ、 ビュレット文字の左にある次のワードの左側の境界を判定するステップ、 ビュレットの左側の境界を、先行する行全ての次のワードの左側の境界と比較 するステップ、及び アウトライン・レベル、及びハンギング・インデントの位置をセットするステ ップを含むことを特徴とする、前記方法。 32.ビュレットの左右の境界、及び行の次のワードの左側の境界を記憶するステ ップ、及び 請求項31のステップ、及び前記記憶ステップを繰り返すステップを更に含むこ とを特徴とする、請求項31に記載の方法。 33.自動的にアウトライン文字を識別し、ハンギング・インデントを挿入するコ ンピュータ化された方法であって、前記方法が、 行のワードを取り出すステップ、 ビュレット文字を識別するステップ、 ビュレット文字の左右の境界を判定するステップ、 ビュレット文字の左にある次のワードの左側の境界を判定するステップ、 ビュレットの左側の境界を、先行する行全ての次のワードの左側の境界と比較 するステップ、及び アウトライン・レベル、及びハンギング・インデントの位置をセットするステ ップを含むことを特徴とする、前記方法。 34.選択された行に関連付けられた複数のストロークを一緒にワードとして結合 するためのコンピュータ化された方法であって、前記方法が、 行に関連付けられたストロークを左端のポイントに基づいて左から右の順序で 各ストローク内に記憶するステップ、 ストロークを文字のかたまりにまとめるステップ、 文字に関する汎用パラメータを計算するステップ、 追加のメンバーシップ関数を計算するステップ、 文字がファジー・ロジック・ルールを用いて結合されるかどうかを判定するス テップ、及び 以前のステップからの任意のワードを文章内の既存データにマージするステッ プを含むことを特徴とする、前記方法。 35.ストロークを文字のかたまりにまとめるステップが、中心ポイント重複方法 を用いることを特徴とする、請求項34に記載のコンピュータ化された方法。 36.中心ポイント重複方法が、 ストロークの左端座標、及び右端座標を計算するステップ、 左端座標、及び右端座標の平均値を求め、各ストロークの中心ポイントを得る ステップ、 第1のストロークの中心ポイントが第2のストロークの左端座標と右端座標の 間の範囲内にある場合、第1、及び第2のストロークを一緒に結合するステップ 、及び 第2のストロークの中心ポイントが第2のストロークの左端座標と右端座標の 間の範囲内にある場合、第1、及び第2のストロークを一緒に結合するステップ を含むことを特徴とする、請求項35に記載のコンピュータ化された方法。 37.汎用パラメータが、文字幅の平均値、隣接する文字の中心ポイント間の距離 の平均値、文字間の平均スペース、及びワード間の平均スペースであることを特 徴とする、請求項34に記載のコンピュータ化された方法。 38.汎用パラメータが、ファジー・メンバーシップ関数、及び重心計算を用いて 計算されることを特徴とする、請求項37に記載のコンピュータ化された方法。 39.追加のメンバーシップ関数が、 非常に狭い文字を識別するためのNarrow_Widthメンバーシップ関数、 典型的な文字を判定するためのCharacter_Widthメンバーシップ関数、 ストロークが広すぎて文字とはならない場合の判定を行うためのNot_Characte r_Widthメンバーシップ関数、 文字間の距離に関するCharacter_Distance、及びNot_Character_Widthメンバ ーシップ関数、 文字がワードを形成するかどうかを示すCharacter_Delta、及びWord_Deltaメ ンバーシップ関数、 文字が重複しているかどうかを判定するOverlapping、及びNot_Overlappingメ ンバーシップ関数、及び、 文字をワードとしてのかたまりにまとめるかどうかを判定するEntry_Mergeメ ンバーシップ・テーブルを含むことを特徴とする、請求項34に記載のコンピュー タ化された方法。 40.文字に関する汎用パラメータがストロークの波打ちを含み、その波打ちが、 ストロークの複数の線の角度が、頭部が上の方にある状態から頭部が下の方にあ る状態に変更された回数であり、 メンバーシップ関数が、文字が手で続け書きされたものか印刷されたものかを 判定するためのCursive、及びPrintedメンバーシップ関数を含むことを特徴とす る、請求項39に記載のコンピュータ化された方法。 41.今回のかたまりと以前のかたまりの間の距離、今回のかたまりと以前のかた まりの間の重複、かたまりの文字幅、及び以前のかたまりの文字幅を計算するス テップを更に含むことを特徴とする、請求項34に記載のコンピュータ化された方 法。 42.文字が行の左から右に進むことによって、及び同時に2つの文 字を分析することによって結合されることを特徴とする、請求項34に記載のコン ピュータ化された方法。 43.以前のステップからの任意のワードを文章内の既存データとマージするステ ップが、中心ポイント・アルゴリズム、及びバンド・バンピングを用いてそのワ ードが既存ワードに結合されるべきかを判定することを特徴とする、請求項34に 記載のコンピュータ化された方法。 44.システムによって入力され、表示されたストローク上に高輝度表示を生成し 、維持するためのコンピュータ化された方法であって、前記方法が、 選択矩形をディスプレイ上に表示するステップ、 高輝度表示されるワードを取り出すステップ、 ワードの境界矩形を定義するステップ、 境界矩形を少なくとも行の高さの1/4の間隔で水平に細分するステップ、 水平に細分された部分のそれぞれに関して、ゼロから行の高さの1/3の間のラ ンダム数、hを生成するステップ、 1つのポイントを1行の高さ−hにセットし、別のポイントをhにセットする ステップ、 境界矩形の頂部に沿ったポイント、左辺上の2つのポイント、底部に沿ったポ イント、及び右辺上の2つのポイントを接続することによって多角形を生成する ステップ、及び その多角形のエリアを高輝度表示するステップを含むことを特徴 とする、前記方法。 45.高輝度表示するワード、及びスペースがまだあるかをテストし、請求項23の ステップを高輝度表示する追加ワード毎に繰り返すステップを更に含むことを特 徴とする、請求項41に記載のコンピュータ化された方法。 46.境界矩形が行の高さの約1/32の間隔で水平に細分されることを特徴とする、 請求項41に記載のコンピュータ化された方法。 47.複数の行のインク・ストローク表現を文節グループにグループ化するコンピ ュータ化された方法であって、前記方法が、 スクリーン上の表示エリアを第1の領域、第2の領域、第3の領域、及び第4 の領域に分割するステップ、 第1行のインク・ストローク表現の位置を判定するステップ、 第2行のインク・ストローク表現の位置を判定するステップであって、第2行 が第1行に続く前記ステップ、 第3、及び以降の行のインク・ストローク表現の位置を判定するステップ、 第1行が第1、及び第4領域にインク・ストローク表現を有し、かつ第2行が 第1領域にインク・ストローク表現を有する場合に、第1行と第2行を文節グル ープとして一緒にグループ化するステップ、及び 各行に関して、以前の行が第4領域にインク・ストローク表現を有し、かつ現 在の行がインク・ストローク表現を以前の行の第1のインク・ストローク表現の 左端の1行の高さの範囲内に有する場合 に、第3、及び以降の行を文節グループとして第1行及び第2行とともにグルー プ化するステップを含むことを特徴とする、前記方法。 48.第1領域が表示領域の左端から、表示領域の幅の約1/3のところまで延びて おり、 第2領域が表示領域の幅の約1/3のところから、表示領域の幅の約1/2だけ表示 領域の左端から離れたところまで延びており、 第3領域が表示領域の幅の約1/2のところから、表示領域の幅の約2/2だけ表示 領域の左端から離れたところまで延びており、 第4領域が表示領域の右端から、表示領域の幅の約1/3だけ表示領域の右端か ら離れたところまで延びていることを特徴とする、請求項47に記載の方法。 49.第1行の第1の文字に関して文字の認識を行うステップ、 第1行の第1の文字が有効なビュレット文字かどうか判定するステップ、 第1の文字の位置を判定するステップ、 (1)第1行の第1の文字が有効なビュレット文字であり、(2)そのビュレッ ト文字が第1又は第2領域に配置されており、(3)第1行が第4領域にインク ・ストローク表現を有し、かつ(3)第2行が第1又は第2領域にインク・スト ローク表現を有する場合に、第1行、及び第2行を一緒に文節グループとしてグ ループ化するステップ、及び 各行に関して、以前の行が第4領域にインク・ストローク表現を有し、かつ現 在の行がインク・ストローク表現を以前の行の第1の インク・ストローク表現の左端の1行の高さの範囲内に有する場合に、第3、及 び以降の行を文節グループとして第1行及び第2行とともにグループ化するステ ップを更に含むことを特徴とする、請求項47に記載の方法。 50.第2行の左端を判定するステップ、 第1行の以降のワードの左端を判定するステップであって、以降のワードがビ ュレット文字のすぐ右にあるワードであるステップ、及び その以降のワードの左端を第2行の左端とほとんど同じになるように調整する ステップを更に含むことを特徴とする、請求項49に記載の方法。 51.複数の行のインク・ストローク表現を文節グループにグループ化するコンピ ュータ化された方法であって、前記方法が、 スクリーン上の表示エリアを左側領域と右側領域に分割するステップであって 、その左右の領域が複数の行を横断して延びるステップ、 第1行のインク・ストローク表現の位置を判定するステップ、 第2行のインク・ストローク表現の位置を判定するステップであって、第2行 が第1行に続く前記ステップ、及び 第1行が右側領域にインク・ストローク表現を有し、かつ第2行が左側領域に インク・ストローク表現を有する場合に、第1行と第2行を文節グループとして 一緒にグループ化するステップを含むことを特徴とする、前記方法。 52.複数の行のインク・ストローク表現を文節グループにグループ化するコンピ ュータ化された方法であって、前記方法が、 現在の行を識別するステップ、 現在の行の第1の文字に関して文字認識を行うステップ、 現在の行の第1の文字が有効なビュレット文字かどうか判定するステップ、及 び 現在の行の第1の文字が有効なビュレット文字である場合に、現在の行から始 まる新しい文節グループを生成するステップを含むことを特徴とする、前記方法 。
JP7500763A 1993-05-20 1994-05-16 手書き、印刷、描画の電子表現をグループ化し、操作を行うための方法、及び装置 Pending JPH08510854A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US08/064,954 1993-05-20
US08/064,954 US5517578A (en) 1993-05-20 1993-05-20 Method and apparatus for grouping and manipulating electronic representations of handwriting, printing and drawings
PCT/US1994/005523 WO1994028505A1 (en) 1993-05-20 1994-05-16 Method and apparatus for grouping and manipulating electronic representations of handwriting, printing and drawings

Publications (1)

Publication Number Publication Date
JPH08510854A true JPH08510854A (ja) 1996-11-12

Family

ID=22059358

Family Applications (1)

Application Number Title Priority Date Filing Date
JP7500763A Pending JPH08510854A (ja) 1993-05-20 1994-05-16 手書き、印刷、描画の電子表現をグループ化し、操作を行うための方法、及び装置

Country Status (7)

Country Link
US (1) US5517578A (ja)
EP (1) EP0701720A4 (ja)
JP (1) JPH08510854A (ja)
CN (1) CN1127044A (ja)
AU (1) AU6915694A (ja)
CA (1) CA2163330A1 (ja)
WO (1) WO1994028505A1 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0944490A (ja) * 1995-07-28 1997-02-14 Sharp Corp 手書き文字の位置揃え処理装置
US7215815B2 (en) 2002-01-10 2007-05-08 Ricoh Company, Ltd. Handwriting information processing apparatus, handwriting information processing method, and storage medium having program stored therein for handwriting information processing
JP2012108760A (ja) * 2010-11-18 2012-06-07 Ricoh Co Ltd 電子情報ボード装置、情報表示方法、プログラム
JP2015520877A (ja) * 2012-03-19 2015-07-23 マイクロソフト コーポレーション 自由形式入力電子カレンダー表面を含む最新カレンダーシステム
US9720574B2 (en) 2012-03-19 2017-08-01 Microsoft Technology Licensing, Llc Personal notes on a calendar item
JP2017534121A (ja) * 2014-11-03 2017-11-16 シャープ株式会社 手書き内容区分方法およびその機器、並びに手書き内容編集機器
JP2018018450A (ja) * 2016-07-29 2018-02-01 辰巳電子工業株式会社 画像編集装置、画像編集方法及びコンピュータプログラム
JP2022008999A (ja) * 2016-07-29 2022-01-14 辰巳電子工業株式会社 画像編集装置、画像編集方法及びコンピュータプログラム
JP2022057931A (ja) * 2020-09-30 2022-04-11 株式会社リコー 表示装置、表示方法、プログラム

Families Citing this family (156)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6434581B1 (en) 1991-03-20 2002-08-13 Microsoft Corporation Script character processing method for interactively adjusting space between writing element
US5220649A (en) * 1991-03-20 1993-06-15 Forcier Mitchell D Script/binary-encoded-character processing method and system with moving space insertion mode
US5953735A (en) * 1991-03-20 1999-09-14 Forcier; Mitchell D. Script character processing method and system with bit-mapped document editing
US5848187A (en) * 1991-11-18 1998-12-08 Compaq Computer Corporation Method and apparatus for entering and manipulating spreadsheet cell data
US8352400B2 (en) 1991-12-23 2013-01-08 Hoffberg Steven M Adaptive pattern recognition based controller apparatus and method and human-factored interface therefore
US7532205B2 (en) * 1992-06-08 2009-05-12 Synaptics, Inc. Object position detector with edge motion feature and gesture recognition
US6239389B1 (en) 1992-06-08 2001-05-29 Synaptics, Inc. Object position detection system and method
US5880411A (en) 1992-06-08 1999-03-09 Synaptics, Incorporated Object position detector with edge motion feature and gesture recognition
US6028271A (en) 1992-06-08 2000-02-22 Synaptics, Inc. Object position detector with edge motion feature and gesture recognition
US5481278A (en) * 1992-10-21 1996-01-02 Sharp Kabushiki Kaisha Information processing apparatus
US6938220B1 (en) 1992-10-21 2005-08-30 Sharp Kabushiki Kaisha Information processing apparatus
US6587587B2 (en) 1993-05-20 2003-07-01 Microsoft Corporation System and methods for spacing, storing and recognizing electronic representations of handwriting, printing and drawings
US5479596A (en) * 1993-05-27 1995-12-26 Apple Computer, Inc. Method and apparatus for formatting paragraphs
JP3050007B2 (ja) * 1993-08-26 2000-06-05 ミノルタ株式会社 画像読取装置およびこれを備えた画像形成装置
JPH07160827A (ja) * 1993-12-09 1995-06-23 Matsushita Electric Ind Co Ltd 手書きストローク編集装置及び方法
TW310399B (ja) * 1994-04-28 1997-07-11 Sharp Kk
JP3486459B2 (ja) * 1994-06-21 2004-01-13 キヤノン株式会社 電子情報機器及びその制御方法
EP0693739A3 (en) * 1994-07-13 1997-06-11 Yashima Denki Kk Process and apparatus suitable for handwriting storage and reproduction
US5748808A (en) * 1994-07-13 1998-05-05 Yashima Electric Co., Ltd. Image reproducing method and apparatus capable of storing and reproducing handwriting
TW274135B (ja) * 1994-09-14 1996-04-11 Hitachi Seisakusyo Kk
US5675665A (en) * 1994-09-30 1997-10-07 Apple Computer, Inc. System and method for word recognition using size and placement models
US5737443A (en) * 1994-11-14 1998-04-07 Motorola, Inc. Method of joining handwritten input
JP2845149B2 (ja) * 1994-12-28 1999-01-13 日本電気株式会社 手書文字入力装置および手書文字入力方法
JP2939147B2 (ja) * 1994-12-29 1999-08-25 シャープ株式会社 手書き文字入力表示装置および方法
US5745719A (en) * 1995-01-19 1998-04-28 Falcon; Fernando D. Commands functions invoked from movement of a control input device
JPH08228275A (ja) * 1995-02-22 1996-09-03 Canon Inc ファクシミリ装置
US5838302A (en) * 1995-02-24 1998-11-17 Casio Computer Co., Ltd. Data inputting devices for inputting typed and handwritten data in a mixed manner
US5761328A (en) * 1995-05-22 1998-06-02 Solberg Creations, Inc. Computer automated system and method for converting source-documents bearing alphanumeric text relating to survey measurements
US5737593A (en) * 1995-06-02 1998-04-07 International Business Machines Corporation System and method for defining shapes with which to mine time sequences in computerized databases
EP0750270B1 (en) * 1995-06-19 2000-05-03 Canon Kabushiki Kaisha An apparatus for recognising characters and a method therefor
US6963783B1 (en) * 1995-10-16 2005-11-08 Packard Bell Nec Audio compression in a wireless remote interface tablet
US5956409A (en) 1996-04-29 1999-09-21 Quintet, Inc. Secure application of seals
US5946499A (en) * 1996-05-10 1999-08-31 Apple Computer, Inc. Method and apparatus for processing text inputs from multiple input devices in a plurality of applications
US5862256A (en) * 1996-06-14 1999-01-19 International Business Machines Corporation Distinguishing gestures from handwriting in a pen based computer by size discrimination
US5864635A (en) * 1996-06-14 1999-01-26 International Business Machines Corporation Distinguishing gestures from handwriting in a pen based computer by stroke analysis
JP3839877B2 (ja) * 1996-07-05 2006-11-01 キヤノン株式会社 手書きパターン処理装置及び手書きパターン処理方法
US6380929B1 (en) * 1996-09-20 2002-04-30 Synaptics, Incorporated Pen drawing computer input device
US5926566A (en) * 1996-11-15 1999-07-20 Synaptics, Inc. Incremental ideographic character input method
US6052130A (en) * 1996-11-20 2000-04-18 International Business Machines Corporation Data processing system and method for scaling a realistic object on a user interface
US6054996A (en) * 1996-11-20 2000-04-25 Interntional Business Machines Corporation Data processing system and method for controlling a view of a realistic object in a display device
JPH10214267A (ja) * 1997-01-29 1998-08-11 Sharp Corp 手書き文字記号処理装置および手書き文字記号処理装置の制御プログラムを記録した媒体
US6779178B1 (en) 1997-03-07 2004-08-17 Signature Mail. Com, Llc System and method for personalizing electronic mail messages
US6215901B1 (en) * 1997-03-07 2001-04-10 Mark H. Schwartz Pen based computer handwriting instruction
US6279014B1 (en) * 1997-09-15 2001-08-21 Xerox Corporation Method and system for organizing documents based upon annotations in context
US6310610B1 (en) 1997-12-04 2001-10-30 Nortel Networks Limited Intelligent touch display
WO1999028811A1 (en) * 1997-12-04 1999-06-10 Northern Telecom Limited Contextual gesture interface
JP4074431B2 (ja) 1997-12-16 2008-04-09 マイクロソフト コーポレーション ソフト入力パネルシステムおよび方法
US6766494B1 (en) * 1998-06-15 2004-07-20 Fuji Xerox Co., Ltd. Method and system for creating ad-hoc links from free-form ink
US6359572B1 (en) 1998-09-03 2002-03-19 Microsoft Corporation Dynamic keyboard
US6552719B2 (en) * 1999-01-07 2003-04-22 Microsoft Corporation System and method for automatically switching between writing and text input modes
US7966078B2 (en) 1999-02-01 2011-06-21 Steven Hoffberg Network media appliance system and method
US6256009B1 (en) 1999-02-24 2001-07-03 Microsoft Corporation Method for automatically and intelligently scrolling handwritten input
US6333994B1 (en) * 1999-03-31 2001-12-25 International Business Machines Corporation Spatial sorting and formatting for handwriting recognition
US6351259B2 (en) 1999-05-27 2002-02-26 Wireless Note Systems, Inc. Kit for recording or transmitting information of a note in freehand
US7564995B1 (en) 2000-03-07 2009-07-21 Apple Inc. Method and apparatus for acquiring and organizing ink information in pen-aware computer systems
US6931153B2 (en) * 2000-04-20 2005-08-16 Matsushita Electric Industrial Co., Ltd. Handwritten character recognition apparatus
US6891551B2 (en) * 2000-11-10 2005-05-10 Microsoft Corporation Selection handles in editing electronic documents
US6788815B2 (en) 2000-11-10 2004-09-07 Microsoft Corporation System and method for accepting disparate types of user input
US6941507B2 (en) * 2000-11-10 2005-09-06 Microsoft Corporation Insertion point bungee space tool
US7002558B2 (en) * 2000-12-21 2006-02-21 Microsoft Corporation Mode hinting and switching
EP1246048A1 (en) * 2001-03-26 2002-10-02 SAP Aktiengesellschaft Method and computer system for executing functions for objects based on the movement of an input device
US7298903B2 (en) * 2001-06-28 2007-11-20 Microsoft Corporation Method and system for separating text and drawings in digital ink
US6938222B2 (en) * 2002-02-08 2005-08-30 Microsoft Corporation Ink gestures
US7120872B2 (en) * 2002-03-25 2006-10-10 Microsoft Corporation Organizing, editing, and rendering digital ink
US20030189603A1 (en) * 2002-04-09 2003-10-09 Microsoft Corporation Assignment and use of confidence levels for recognized text
US7028256B2 (en) * 2002-05-10 2006-04-11 Microsoft Corporation Adding white space to a document generating adjusted page sizing
US7010165B2 (en) * 2002-05-10 2006-03-07 Microsoft Corporation Preprocessing of multi-line rotated electronic ink
US6986106B2 (en) * 2002-05-13 2006-01-10 Microsoft Corporation Correction widget
US20030226113A1 (en) * 2002-05-31 2003-12-04 Microsoft Corporation Automatic page size setting
US20030233237A1 (en) * 2002-06-17 2003-12-18 Microsoft Corporation Integration of speech and stylus input to provide an efficient natural input experience
US7062090B2 (en) * 2002-06-28 2006-06-13 Microsoft Corporation Writing guide for a free-form document editor
US7185278B1 (en) * 2002-06-28 2007-02-27 Microsoft Corporation Separating and moving document objects using the movement of a wiper bar
US7259752B1 (en) 2002-06-28 2007-08-21 Microsoft Corporation Method and system for editing electronic ink
US7353453B1 (en) * 2002-06-28 2008-04-01 Microsoft Corporation Method and system for categorizing data objects with designation tools
US7174042B1 (en) 2002-06-28 2007-02-06 Microsoft Corporation System and method for automatically recognizing electronic handwriting in an electronic document and converting to text
US7188309B2 (en) 2002-06-28 2007-03-06 Microsoft Corporation Resolving document object collisions
JP2004038321A (ja) * 2002-06-28 2004-02-05 Fujitsu Ltd 文書レイアウト解析プログラム、文書レイアウト解析装置および文書レイアウト解析方法
US7079713B2 (en) * 2002-06-28 2006-07-18 Microsoft Corporation Method and system for displaying and linking ink objects with recognized text and objects
US7137076B2 (en) * 2002-07-30 2006-11-14 Microsoft Corporation Correcting recognition results associated with user input
US7137077B2 (en) * 2002-07-30 2006-11-14 Microsoft Corporation Freeform encounter selection tool
US7221376B2 (en) 2002-08-15 2007-05-22 Microsoft Corporation Space tool feedback by changing the displayed visual appearance of objects to be moved before deletion of displayed objects occurs
US20060188162A1 (en) * 2002-10-31 2006-08-24 Microsoft Corporation Common interface for ink trees
US7428711B2 (en) * 2002-10-31 2008-09-23 Microsoft Corporation Glow highlighting as an ink attribute
US7284200B2 (en) * 2002-11-10 2007-10-16 Microsoft Corporation Organization of handwritten notes using handwritten titles
US7634729B2 (en) * 2002-11-10 2009-12-15 Microsoft Corporation Handwritten file names
US20040117724A1 (en) * 2002-12-03 2004-06-17 Microsoft Corporation Extensible schema for ink
US7218779B2 (en) * 2003-01-21 2007-05-15 Microsoft Corporation Ink divider and associated application program interface
AU2003900865A0 (en) * 2003-02-26 2003-03-13 Silverbrook Research Pty Ltd Methods, systems and apparatus (NPW010)
US7352902B2 (en) * 2003-09-24 2008-04-01 Microsoft Corporation System and method for detecting a hand-drawn object in ink input
US7295708B2 (en) * 2003-09-24 2007-11-13 Microsoft Corporation System and method for detecting a list in ink input
US7324691B2 (en) * 2003-09-24 2008-01-29 Microsoft Corporation System and method for shape recognition of hand-drawn objects
JP2005135268A (ja) * 2003-10-31 2005-05-26 Internatl Business Mach Corp <Ibm> 紙面をレイアウトするための装置、方法、およびプログラム
US7848573B2 (en) * 2003-12-03 2010-12-07 Microsoft Corporation Scaled text replacement of ink
US7506271B2 (en) * 2003-12-15 2009-03-17 Microsoft Corporation Multi-modal handwriting recognition correction
US7707039B2 (en) 2004-02-15 2010-04-27 Exbiblio B.V. Automatic modification of web pages
US8442331B2 (en) 2004-02-15 2013-05-14 Google Inc. Capturing text from rendered documents using supplemental information
US10635723B2 (en) 2004-02-15 2020-04-28 Google Llc Search engines and systems with handheld document data capture devices
US7812860B2 (en) 2004-04-01 2010-10-12 Exbiblio B.V. Handheld device for capturing text from both a document printed on paper and a document displayed on a dynamic display device
US7721226B2 (en) 2004-02-18 2010-05-18 Microsoft Corporation Glom widget
US20050179647A1 (en) * 2004-02-18 2005-08-18 Microsoft Corporation Automatic detection and switching between input modes
US7358965B2 (en) * 2004-02-18 2008-04-15 Microsoft Corporation Tapping to create writing
US7659890B2 (en) 2004-03-19 2010-02-09 Microsoft Corporation Automatic height adjustment for electronic highlighter pens and mousing devices
US7894670B2 (en) 2004-04-01 2011-02-22 Exbiblio B.V. Triggering actions in response to optically or acoustically capturing keywords from a rendered document
US7990556B2 (en) 2004-12-03 2011-08-02 Google Inc. Association of a portable scanner with input/output and storage devices
US8146156B2 (en) 2004-04-01 2012-03-27 Google Inc. Archive of text captures from rendered documents
US20060081714A1 (en) 2004-08-23 2006-04-20 King Martin T Portable scanning device
US9143638B2 (en) 2004-04-01 2015-09-22 Google Inc. Data capture from rendered documents using handheld device
US20060098900A1 (en) 2004-09-27 2006-05-11 King Martin T Secure data gathering from rendered documents
US9116890B2 (en) 2004-04-01 2015-08-25 Google Inc. Triggering actions in response to optically or acoustically capturing keywords from a rendered document
US8036433B1 (en) 2004-04-01 2011-10-11 Ricoh Co., Ltd. Grid-based data input and authentication
US8620083B2 (en) 2004-12-03 2013-12-31 Google Inc. Method and system for character recognition
US8874504B2 (en) 2004-12-03 2014-10-28 Google Inc. Processing techniques for visual capture data from a rendered document
US8489624B2 (en) 2004-05-17 2013-07-16 Google, Inc. Processing techniques for text capture from a rendered document
US8346620B2 (en) 2004-07-19 2013-01-01 Google Inc. Automatic modification of web pages
US7503015B2 (en) * 2004-09-21 2009-03-10 Microsoft Corporation System and method for editing ink objects
US7394935B2 (en) 2004-09-21 2008-07-01 Microsoft Corporation System and method for editing a hand-drawn chart in ink input
US7904810B2 (en) * 2004-09-21 2011-03-08 Microsoft Corporation System and method for editing a hand-drawn list in ink input
US7412094B2 (en) * 2004-09-21 2008-08-12 Microsoft Corporation System and method for editing a hand-drawn table in ink input
JP4383302B2 (ja) * 2004-09-29 2009-12-16 富士通株式会社 評価結果出力プログラム
US20060071915A1 (en) * 2004-10-05 2006-04-06 Rehm Peter H Portable computer and method for taking notes with sketches and typed text
US7928964B2 (en) 2005-04-22 2011-04-19 Microsoft Corporation Touch input data handling
US7986307B2 (en) * 2005-04-22 2011-07-26 Microsoft Corporation Mechanism for allowing applications to filter out or opt into tablet input
US20060267958A1 (en) * 2005-04-22 2006-11-30 Microsoft Corporation Touch Input Programmatical Interfaces
US7526737B2 (en) * 2005-11-14 2009-04-28 Microsoft Corporation Free form wiper
US7929769B2 (en) * 2005-12-13 2011-04-19 Microsoft Corporation Script recognition for ink notes
US7836399B2 (en) * 2006-02-09 2010-11-16 Microsoft Corporation Detection of lists in vector graphics documents
KR100791370B1 (ko) 2006-03-07 2008-01-07 삼성전자주식회사 필기 데이터 입력 ui의 작업 영역 확장 및 그룹화 방법
EP2067119A2 (en) * 2006-09-08 2009-06-10 Exbiblio B.V. Optical scanners, such as hand-held optical scanners
US8407589B2 (en) 2007-04-20 2013-03-26 Microsoft Corporation Grouping writing regions of digital ink
US8020119B2 (en) * 2007-12-14 2011-09-13 Microsoft Corporation Engine support for parsing correction user interfaces
TWI385584B (zh) * 2008-11-05 2013-02-11 Avermedia Information Inc 自動排列手寫字串之裝置及方法
WO2010096191A2 (en) 2009-02-18 2010-08-26 Exbiblio B.V. Automatically capturing information, such as capturing information using a document-aware device
JP2010205069A (ja) * 2009-03-04 2010-09-16 Panasonic Corp 入力装置
US8447066B2 (en) 2009-03-12 2013-05-21 Google Inc. Performing actions based on capturing information from rendered documents, such as documents under copyright
EP2406767A4 (en) 2009-03-12 2016-03-16 Google Inc AUTOMATIC CONTENT SUPPLY ASSOCIATED WITH CAPTURED INFORMATION, TYPE INFORMATION CAPTURED IN REAL TIME
US9081799B2 (en) 2009-12-04 2015-07-14 Google Inc. Using gestalt information to identify locations in printed information
US9323784B2 (en) 2009-12-09 2016-04-26 Google Inc. Image search using text-based elements within the contents of images
US9183192B1 (en) 2011-03-16 2015-11-10 Ruby Investments Properties LLC Translator
WO2014005610A1 (en) 2012-07-06 2014-01-09 Microsoft Corporation Multi-level list detection engine
KR20140081316A (ko) * 2012-12-21 2014-07-01 삼성디스플레이 주식회사 화상 표시 시스템
US9690403B2 (en) 2013-03-15 2017-06-27 Blackberry Limited Shared document editing and voting using active stylus based touch-sensitive displays
JP6160224B2 (ja) 2013-05-14 2017-07-12 富士通株式会社 表示制御装置、システム及び表示制御プログラム
KR20150028627A (ko) * 2013-09-06 2015-03-16 삼성전자주식회사 사용자 필기를 텍스트 정보로 변환하는 방법 및 이를 수행하기 위한 전자 기기
US9418281B2 (en) 2013-12-30 2016-08-16 Google Inc. Segmentation of overwritten online handwriting input
KR101652446B1 (ko) * 2014-09-16 2016-08-30 엘지전자 주식회사 이동 단말기 및 그 제어 방법
KR20160062566A (ko) * 2014-11-25 2016-06-02 삼성전자주식회사 필기 문자를 보정하는 디바이스 및 방법
US20180101724A1 (en) * 2015-06-04 2018-04-12 Mowdo System and method for capturing and interpreting images into triple diagrams
US9552527B1 (en) * 2015-08-27 2017-01-24 Lead Technologies, Inc. Apparatus, method, and computer-readable storage medium for determining a rotation angle of text
CN106940596A (zh) * 2016-01-04 2017-07-11 北京峰盛博远科技股份有限公司 一种手写输入多个字符的识别方法和系统
NO20161728A1 (en) * 2016-11-01 2018-05-02 Bja Holding As Written text transformer
FR3062512B1 (fr) * 2017-01-31 2019-04-05 Supergrid Institute Dispositif de coupure de courant continu haute tension
US10163004B2 (en) 2017-03-30 2018-12-25 Konica Minolta Laboratory U.S.A., Inc. Inferring stroke information from an image
US10579893B2 (en) 2017-02-28 2020-03-03 Konica Minolta Laboratory U.S.A., Inc. Inferring stroke information from an image
FR3091408B1 (fr) 2018-12-27 2021-01-15 Inst Supergrid Dispositif de coupure de courant pour courant continu haute tension avec circuit d’oscillation adaptatif et procédé de pilotage
FR3091407B1 (fr) 2018-12-27 2021-10-29 Inst Supergrid Dispositif de coupure de courant pour courant continu haute tension avec circuit capacitif tampon et procédé de pilotage
FR3094136B1 (fr) 2019-03-22 2021-04-02 Inst Supergrid Dispositif de coupure de courant pour courant continu haute tension avec résonateur et commutation

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6249483A (ja) * 1985-08-28 1987-03-04 Hitachi Ltd 実時間手書き文字認識の文字入力方式
US4024500A (en) * 1975-12-31 1977-05-17 International Business Machines Corporation Segmentation mechanism for cursive script character recognition systems
JPS6014292A (ja) * 1983-07-06 1985-01-24 株式会社東芝 文書作成装置
JPH0650538B2 (ja) * 1984-03-28 1994-06-29 株式会社日立製作所 手書き文字・図形認識の認識モード指定方法
CA1223366A (en) * 1984-09-27 1987-06-23 Abijah S. Fox System for automatic adjustment and editing of handwritten text images
JPS6282477A (ja) * 1985-10-07 1987-04-15 Canon Inc 表示装置
JPS6282486A (ja) * 1985-10-08 1987-04-15 Hitachi Ltd オンライン手書き図形認識装置
US5157737A (en) * 1986-07-25 1992-10-20 Grid Systems Corporation Handwritten keyboardless entry computer system
US4763356A (en) * 1986-12-11 1988-08-09 AT&T Information Systems, Inc. American Telephone and Telegraph Company Touch screen form entry system
US4965678A (en) * 1987-03-03 1990-10-23 Canon Kabushiki Kaisha Area designation apparatus in image processing system
US4953225A (en) * 1987-10-16 1990-08-28 Sharp Kabushiki Kaisha Handwritten character-recognizing apparatus for automatically generating and displaying character frames
JP2822189B2 (ja) * 1988-05-19 1998-11-11 ソニー株式会社 文字認識装置及び方法
JPH0212570A (ja) * 1988-06-30 1990-01-17 Toshiba Corp 画像処理装置
US5208906A (en) * 1988-12-30 1993-05-04 Chipsoft Ca, Corp. Method and apparatus for representing bordered areas of a generic form with records
US5001765A (en) * 1989-01-05 1991-03-19 International Business Machines Corporation Fast spatial segmenter for handwritten characters
US5252951A (en) * 1989-04-28 1993-10-12 International Business Machines Corporation Graphical user interface with gesture recognition in a multiapplication environment
DE4091841C2 (de) * 1989-10-20 1999-04-08 Hitachi Ltd Verfahren zum Erzeugen einer Formulardarstellung und Bildschirm-Formularerzeugungssystem
US5272764A (en) * 1989-12-08 1993-12-21 Xerox Corporation Detection of highlighted regions
US5155813A (en) * 1990-01-08 1992-10-13 Wang Laboratories, Inc. Computer apparatus for brush styled writing
US5063600A (en) * 1990-05-14 1991-11-05 Norwood Donald D Hybrid information management system for handwriting and text
DE69131496T2 (de) * 1990-05-15 2000-01-05 Canon K.K., Tokio/Tokyo Bildverarbeitungs-Gerät und Verfahren
US5276794A (en) * 1990-09-25 1994-01-04 Grid Systems Corporation Pop-up keyboard system for entering handwritten data into computer generated forms
US5347295A (en) * 1990-10-31 1994-09-13 Go Corporation Control of a computer through a position-sensed stylus
US5260697A (en) * 1990-11-13 1993-11-09 Wang Laboratories, Inc. Computer with separate display plane and user interface processor
US5220649A (en) * 1991-03-20 1993-06-15 Forcier Mitchell D Script/binary-encoded-character processing method and system with moving space insertion mode
JPH04294466A (ja) * 1991-03-22 1992-10-19 Ricoh Co Ltd 画像処理装置
US5321770A (en) * 1991-11-19 1994-06-14 Xerox Corporation Method for determining boundaries of words in text
US5321768A (en) * 1992-09-22 1994-06-14 The Research Foundation, State University Of New York At Buffalo System for recognizing handwritten character strings containing overlapping and/or broken characters
US5396566A (en) * 1993-03-04 1995-03-07 International Business Machines Corporation Estimation of baseline, line spacing and character height for handwriting recognition
US5384864A (en) * 1993-04-19 1995-01-24 Xerox Corporation Method and apparatus for automatic determination of text line, word and character cell spatial features

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0944490A (ja) * 1995-07-28 1997-02-14 Sharp Corp 手書き文字の位置揃え処理装置
US7215815B2 (en) 2002-01-10 2007-05-08 Ricoh Company, Ltd. Handwriting information processing apparatus, handwriting information processing method, and storage medium having program stored therein for handwriting information processing
JP2012108760A (ja) * 2010-11-18 2012-06-07 Ricoh Co Ltd 電子情報ボード装置、情報表示方法、プログラム
JP2015520877A (ja) * 2012-03-19 2015-07-23 マイクロソフト コーポレーション 自由形式入力電子カレンダー表面を含む最新カレンダーシステム
US9720574B2 (en) 2012-03-19 2017-08-01 Microsoft Technology Licensing, Llc Personal notes on a calendar item
US10032135B2 (en) 2012-03-19 2018-07-24 Microsoft Technology Licensing, Llc Modern calendar system including free form input electronic calendar surface
US10732802B2 (en) 2012-03-19 2020-08-04 Microsoft Technology Licensing, Llc Personal notes on a calendar item
US10872316B2 (en) 2012-03-19 2020-12-22 Microsoft Technology Licensing, Llc Modern calendar system including free form input electronic calendar surface
JP2017534121A (ja) * 2014-11-03 2017-11-16 シャープ株式会社 手書き内容区分方法およびその機器、並びに手書き内容編集機器
JP2018018450A (ja) * 2016-07-29 2018-02-01 辰巳電子工業株式会社 画像編集装置、画像編集方法及びコンピュータプログラム
JP2022008999A (ja) * 2016-07-29 2022-01-14 辰巳電子工業株式会社 画像編集装置、画像編集方法及びコンピュータプログラム
JP2022057931A (ja) * 2020-09-30 2022-04-11 株式会社リコー 表示装置、表示方法、プログラム

Also Published As

Publication number Publication date
AU6915694A (en) 1994-12-20
EP0701720A4 (en) 1998-01-07
CA2163330A1 (en) 1994-12-08
CN1127044A (zh) 1996-07-17
US5517578A (en) 1996-05-14
WO1994028505A1 (en) 1994-12-08
EP0701720A1 (en) 1996-03-20

Similar Documents

Publication Publication Date Title
JPH08510854A (ja) 手書き、印刷、描画の電子表現をグループ化し、操作を行うための方法、及び装置
US6535897B1 (en) System and methods for spacing, storing and recognizing electronic representations of handwriting printing and drawings
US5613019A (en) System and methods for spacing, storing and recognizing electronic representations of handwriting, printing and drawings
EP0992877B1 (en) Information processing apparatus
CA2429507C (en) Writing guide for a free-form document editor
CA2718636C (en) Method and tool for recognizing a hand-drawn table
US7292726B2 (en) Recognition of electronic ink with late strokes
CA2139256C (en) Apparatus and method for supporting the implicit structure of freeform lists, outlines, text, tables and diagrams in a gesture-based input system and editing system
US6891551B2 (en) Selection handles in editing electronic documents
US6600834B1 (en) Handwriting information processing system with character segmentation user interface
US6952803B1 (en) Method and system for transcribing and editing using a structured freeform editor
US5652806A (en) Input device with data targeting to determine an entry field for a block of stroke data
US7428711B2 (en) Glow highlighting as an ink attribute
US11256946B2 (en) Method of processing and recognizing hand-written characters
JPS62137684A (ja) 図形認識方法
KR20250117179A (ko) 텍스트를 표시하는 전자 장치 및 전자 장치의 동작 방법
JPS61153787A (ja) 情報処理装置
JPH0557627B2 (ja)