JPH11212691A - ペン入力方法及び装置 - Google Patents

ペン入力方法及び装置

Info

Publication number
JPH11212691A
JPH11212691A JP10009594A JP959498A JPH11212691A JP H11212691 A JPH11212691 A JP H11212691A JP 10009594 A JP10009594 A JP 10009594A JP 959498 A JP959498 A JP 959498A JP H11212691 A JPH11212691 A JP H11212691A
Authority
JP
Japan
Prior art keywords
pen
input
paper document
document
paper
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP10009594A
Other languages
English (en)
Inventor
Keiichi Tsushimi
圭一 都志見
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd filed Critical Fuji Xerox Co Ltd
Priority to JP10009594A priority Critical patent/JPH11212691A/ja
Publication of JPH11212691A publication Critical patent/JPH11212691A/ja
Pending legal-status Critical Current

Links

Landscapes

  • User Interface Of Digital Computer (AREA)

Abstract

(57)【要約】 【課題】 紙ドキュメントに対応する電子ドキュメント
に対し、当該紙ドキュメント上でのペン操作に対応する
種々の操作をリアルタイムに反映可能にする。 【解決手段】 演算処理部40において、演算部42は
スタイラスペン1の位置を検出し、表示制御部45はそ
の検出位置に応じてスタイラスペン1の描画軌跡等を表
示部50上に表示する。本システムで保管されている電
子ドキュメントを基に紙ドキュメント10を印刷出力す
る。演算処理部40において、紙入力制御部44は、そ
の紙ドキュメント10上におけるスタイラスペン1の特
定操作を検出し、該紙ドキュメント10を上記電子ドキ
ュメントと1対1で対応付けて管理すると共に、当該紙
ドキュメント10上で上記スタイラスペン1によるペン
操作がなされると、上記管理結果を基に、この紙ドキュ
メント10上でのスタイラスペン1の操作を対応する電
子ドキュメントに反映させる処理を行う。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、入力ペンの位置検
出機構を備え、該入力ペンの指示位置及びペン操作に応
じて入力処理を行うペン入力方法及び装置に係わり、詳
しくは、電子ドキュメントと紙ドキュメント間を1対1
に対応付けることにより、紙ドキュメント上のペン操作
を対応する電子ドキュメントに反映させことが可能な入
力ユーザインタフェースを有するペン入力方法及び装置
に関する。
【0002】
【従来の技術】従来、手書き入力機能を有するコンピュ
ータシステム等における入力装置としては、 1)赤外線方式によるもの 2)感圧方式によるもの 3)静電容量方式によるもの 4)電磁方式によるもの 5)超音波方式によるもの 等が知られている。
【0003】ここで、1)の赤外線方式によるものとし
ては、赤外線を発光するライトペンによるスポット位置
を半導体位置検出素子を用いて検出するもの、入力面に
複数の赤外線発光素子および受光素子を配設して、赤外
線発光素子から発光された赤外線が指、入力ペン等によ
り遮られた位置を受光素子の出力から判別することによ
り指示位置を検出するもの等が知られている。
【0004】また、2)の感圧方式によるものとして
は、複数のX軸電極が配設された電極シートと複数のY
軸電極が配設された支持体とをドットスペーサを介在さ
せて重ね合わせた感圧パネルを用いたもの、平行する2
枚のプレートを3次元スプリングを介して重ね合わせ、
指、入力ペン等により触れた位置の電流の変化を検出す
ることにより指示位置を検出するもの等が知られてい
る。
【0005】また、3)の静電容量方式によるものとし
ては、2枚のガラス上に蒸着形成された導電性の膜をそ
れぞれX軸、Y軸電極パターンとしてこの2枚のガラス
を電極パターン形成面を向かい合わせて張り合わせた静
電容量結合方式パネルを用いたもの等が知られている。
【0006】更に、4)の電磁方式によるものとして
は、入力面に複数のセンサアンテナコイルを配設すると
ともに、入力ペンにはコイルとコンデンサからなる共振
回路を内蔵させ、まず上記複数のセンサアンテナコイル
に交流電流を流すことにより電磁誘導を利用して上記入
力ペンの共振回路に電流を流し、次に上記複数のセンサ
アンテナコイルに流した交流電流を切り、この状態で上
記入力ペンの共振回路に流れる電流により発生する磁界
を上記複数のセンサアンテナコイルで検出することによ
り入力ペンの指示位置を検出するもの等が知られてい
る。
【0007】また、5)の超音波方式によるものとして
は、スタイラスペンに超音波送信手段を実装すると共
に、スタイラスペンの入力領域内の所定の箇所に超音波
受信手段を配置し、スタイラスペンに実装された超音波
送信手段から超音波を送出した時間と、超音波受信手段
により超音波を受信した時間とからこれら超音波送信手
段と超音波受信手段との間の距離を計測すると共に、こ
の計測距離を用いてスタイラスペンの2次元若しくは3
次元の位置座標を算出し、この算出された位置座標に基
づき所定の入力領域におけるスタイラスペンによる指示
位置を入力するような超音波位置検出機構が知られてい
る。
【0008】ところで、一般に、人間が複雑な内容につ
いて議論する場合、ドキュメントを利用する場合が多
い。通常、ドキュメントは電子ドキュメントと紙ドキュ
メントに大別され、電子ドキュメントを用いて、作成、
修正、保管検索等がなされ、紙ドキュメントを用いて閲
覧、保管等の作業がなされる。上述した議論の場におい
て、プロジェクタ等を用いて電子ドキュメントを大画面
表示させ、上述したような種々のペン入力装置を用いて
その場で加筆や修正を行うことにより、議論の質を向上
させることができる。また、加筆、修正された電子ドキ
ュメントを議事録として再利用することもできる。
【0009】一方、紙ドキュメントをベースにした議論
の場も現実には多く存在する。一般に行われているミー
ティング等の殆どの場合がOHP(Over Head Projecto
r)装置を使用しながら紙ドキュメントを用いた議論を
行う環境下におかれている。この時、紙ドキュメント上
に印刷された内容に対して修正作業を行うことも当然あ
り得るが、この紙ドキュメント上で行った修正作業の内
容をリアルタイムに電子ドキュメントに反映させること
は、現状では、上述した種々のペン入力システムのいず
れにおいても不可能であった。
【0010】具体的として、例えば、タブレットを用い
たペン入力システムでは、タブレット上に予め定められ
た領域がコンピュータシステムの表示エリアに対応付け
られ、その領域内においてペンで位置指定するとその位
置に対応した表示エリアにカーソルが移動する。また、
ペンに設けられたボタンがマウスのボタンに相当し、こ
のボタンを利用してコンピュータシステムへの入力操作
を行うような構成となっている。しかしながら、このシ
ステムでは、タブレット上の入力領域とコンピュータシ
ステムの表示領域が対応しており、タブレット上の入力
領域以外の任意の位置(紙ドキュメント上)からペン入
力を行うことはできなかった。
【0011】また、その他の従来システムとして、特開
平5-54178号公報のものは、帳票を文字認識用と修正用
とに分け、文字認識用帳票については、文字認識部10
3で文字認識を行い、認識結果を結果記憶部104に格
納する一方、修正用帳票については修正用帳票読み取り
部106で修正内容を読み取り、修正部107で修正を
行う技術を開示している。同公報のものでは、ドキュメ
ント(帳票)を修正する際、ディスプレイやキーボード
あるいはマウスを備えた修正用端末がなくても帳票の修
正を行えるが、ドキュメントの修正を行うのに、定形フ
ォームを使用しなければならなかったり、OCR(Opti
cal Character Reader)等の文字認識装置を介して処理
する必要があるなど、ドキュメントを修正する場合の自
由度が非常に小さかった。
【0012】更に、特開平9-44383号公報のものは、リ
ンク情報を持つハイパーテキスト文書をプリントアウト
して作成された紙ドキュメントに対して、コンピュータ
にスキャンさせ、取り込んだ後はそのリンク情報を再利
用できなかった不都合を解消することを目的として、上
記リンク情報をハードコピー上に配置することにより、
該ハードコピーをスキャンした後の電子ドキュメントに
てリンク情報を再利用可能にする技術を開示している。
同公報のものは、OCR等により紙ドキュメントを読み
取ってその結果を電子ドキュメントに反映させる点では
先の公報のものと変わらず、紙ドキュメント上に印刷さ
れた内容に対して行った修正等の作業内容をリアルタイ
ムに電子ドキュメントに反映させるためのものではなか
った。
【0013】
【発明が解決しようとする課題】上記従来システムのう
ち、タブレットを用いたペン入力システムでは、タブレ
ット上の入力領域とコンピュータシステムの表示領域が
対応しており、タブレット上の入力領域以外の任意の位
置からペン入力を行うことはできなかった。また、特開
平5-54178号公報、特開平9-44383号公報に代表される従
来のシステムの殆どは、紙ドキュメントを用いて電子ド
キュメントに対する修正作業等を行う場合、修正を行っ
た紙ドキュメント(帳票)をOCR等により読み取り、
その読み取り結果を基に電子ドキュメントに修正を加え
るものであって、紙ドキュメントを入力媒体として、直
に、その印刷内容に対して対話的にコンピュータへの入
力操作を行うことができないという問題点があった。
【0014】そこで、本発明は上記問題点を解消し、紙
ドキュメントを用い、コンピュータと対話的に、この紙
ドキュメントに対応する電子ドキュメントに対し、当該
紙ドキュメント上でのペン操作に対応する種々の操作を
リアルタイムに反映可能なペン入力方法及び装置を提供
することを目的とする。
【0015】また、本発明の別の目的は、複数の紙ドキ
ュメント上から、一人または複数の操作者が、入力領域
の制限を受けることなく対応する電子ドキュメントに対
する操作を行うことのできるペン入力方法及び装置を提
供することにある。
【0016】また、本発明の別の目的は、紙ドキュメン
トを用いて対応する電子ドキュメントへの操作を行う場
合に、紙ドキュメント上で行った操作内容が当該紙ドキ
ュメント上に筆記情報として残るようなペン入力方法及
び装置を提供することにある。
【0017】本発明の更に別の目的は、システム本体内
に元々存在しない外部電子オブジェクトに対しても、対
応する紙ドキュメント上でのペン操作を通じて種々の操
作を行うことができるペン入力方法及び装置を提供する
ことにある。
【0018】
【課題を解決するための手段】上記課題を解決するため
に、請求項1の発明は、操作内容指示機能を有する入力
ペンの指示位置を検出し、該指示位置に基づき前記入力
ペンの操作に基づく入力処理を行うペン入力装置におい
て、少なくとも電子ドキュメントを記憶する記憶手段
と、前記電子ドキュメントを紙ドキュメントとして印刷
出力する印刷手段と、前記紙ドキュメント上での前記入
力ペンの操作内容を認識する操作認識手段と、認識され
た操作内容のうちの特定操作に応じて前記紙ドキュメン
トと対応する電子ドキュメントを当該紙ドキュメントに
対して1対1に対応付けて管理するドキュメント間対応
管理手段と、前記操作認識手段により認識された前記操
作内容に応じ、前記紙ドキュメント上での前記入力ペン
の操作を対応する前記電子ドキュメントに反映させる操
作反映手段とを具備することを特徴とする。
【0019】請求項2の発明は、請求項1の発明におい
て、前記特定操作は、前記入力ペンによる前記紙ドキュ
メント上の所定のマーキング領域内での予め定められた
情報パターンの指示操作であることを特徴とする。
【0020】請求項3の発明は、請求項1の発明におい
て、前記特定操作は、前記入力ペンによる前記紙ドキュ
メント上の所定のマーキング領域内での予め定められた
図形情報の描画操作であることを特徴とする。
【0021】請求項4の発明は、請求項1乃至3の発明
において、前記特定操作は、前記入力ペンによる前記紙
ドキュメント上の所定領域内での予め定められたパスワ
ードに対応する情報の描画操作を含むことを特徴とす
る。
【0022】請求項5の発明は、請求項1の発明におい
て、前記紙ドキュメント上の任意位置での前記入力ペン
の位置指示操作を認識し、該認識時の前記入力ペンの指
示位置から形成される当該紙ドキュメント上の領域と前
記電子ドキュメントが形成する領域との位置関係を設定
する位置関係設定手段と、前記位置関係設定手段による
設定領域に基づいて前記電子ドキュメントの当該設定領
域に対応する領域の内容を表示手段に表示する表示制御
手段と、前記設定領域内においてのみ前記入力ペンによ
る操作を前記電子ドキュメントへ反映させる処理を有効
にすべく制御する入力領域規制手段とを具備することを
特徴とする。
【0023】請求項6の発明は、請求項5の発明におい
て、前記表示制御手段は、前記入力ペンの操作内容及び
該操作内容に基づく前記操作反映手段による前記電子ド
キュメントへの操作反映結果を前記表示手段に表示する
ことを特徴とする。
【0024】請求項7の発明は、請求項5の発明におい
て、前記入力ペンの操作内容指示機能は、前記紙ドキュ
メント上のオブジェクトに対する選択、複製、移動、削
除、編集、属性変更、実行のうちから少なくとも1つの
操作を指示可能に構成され、前記操作反映手段は、前記
操作認識手段による前記操作指示機能による前記各指示
操作の認識結果を基に、前記電子ドキュメント上の対応
するオブジェクトに該当する指示操作を施すことを特徴
とする。
【0025】請求項8の発明は、請求項7の発明におい
て、前記紙ドキュメント上のオブジェクトは、リンク情
報であり、前記操作反映手段は、前記紙ドキュメント上
での前記入力ペンによる前記リンク情報の選択、複製、
移動、削除、実行のそれぞれの指示操作に対し、該リン
ク情報に対する該当指示操作を施すことを特徴とする。
【0026】請求項9の発明は、請求項7の発明におい
て、前記紙ドキュメント上のオブジェクトは、プログラ
ムであり、前記操作反映手段は、前記入力ペンによる当
該オブジェクトの実行指示操作に基づき前記プログラム
を実行することを特徴とする。
【0027】請求項10の発明は、請求項7の発明にお
いて、前記紙ドキュメントは、送信宛先情報であるオブ
ジェクト及び送信指示コマンドとして機能するオブジェ
クトを含み、前記操作反映手段は、前記入力ペンによる
前者のオブジェクトの選択指示操作に基づき前記送信宛
先情報を前記表示手段に表示し、後者のオブジェクトの
実行指示操作に基づき対応する電子ドキュメントを前記
送信宛先情報に従って送信することを特徴とする。
【0028】請求項11の発明は、請求項10の発明に
おいて、前記紙ドキュメント上のオブジェクトは、定形
文章、挿絵を含み、前記操作反映手段は、前記入力ペン
による前記オブジェクトの選択、複製、移動の各指示操
作に基づきそれぞれ前記定形文章、挿絵を選択し、対応
する電子ドキュメント上に複製しあるいは移動させるこ
とを特徴とする。
【0029】請求項12の発明は、請求項7の発明にお
いて、前記紙ドキュメント上のオブジェクトは、ファイ
ル管理情報であり、前記操作反映手段は、前記入力ペン
による当該オブジェクトの選択、複製、移動、削除、編
集、属性変更、実行の各指示操作に基づき当該指示位置
の前記ファイル管理情報に対する該当する指示操作を施
すことを特徴とする。
【0030】請求項13の発明は、請求項8の発明にお
いて、前記リンク情報は、別の紙ドキュメントであり、
前記操作反映手段は、前記入力ペンによる当該リンク情
報の選択指示操作に基づき前記別の紙ドキュメントに対
応する電子ドキュメントを前記ドキュメント間対応管理
手段の管理下に展開させることを特徴とする。
【0031】請求項14の発明は、請求項5の発明にお
いて、前記紙ドキュメント上に該紙ドキュメントの印刷
オブジェクトに対応しかつ移動可能な実オブジェクトを
配置すると共に、前記入力ペンによる前記印刷オブジェ
クトに対する複製、移動、削除の各操作を前記実オブジ
ェクトの位置に対応付けて指示し、前記操作反映手段
は、前記紙ドキュメント上での前記入力ペンによる前記
複製、移動、削除の指示操作に対し、対応する電子ドキ
ュメント上で前記印刷オブジェクトに対応するオブジェ
クトの複製、移動、削除の処理を行うことを特徴とす
る。
【0032】請求項15の発明は、請求項7の発明にお
いて、前記入力ペンは、前記複製または移動の指示操作
に際し、複製または移動先の領域を指定する操作機能を
有し、前記操作反映手段は、前記複製または移動に係わ
る情報を前記領域に収まるように拡大または縮小処理す
る機能を有することを特徴とする。
【0033】請求項16の発明は、請求項7の発明にお
いて、前記入力ペンは、筆記具機能を具備し、前記紙ド
キュメント上での操作軌跡を当該紙ドキュメントに筆記
可能であることを特徴とする。
【0034】請求項17の発明は、操作内容指示機能を
有する入力ペンの指示位置を検出し、該指示位置に基づ
き前記入力ペンの操作に基づく入力処理を行うペン入力
装置において、少なくとも電子ドキュメントを記憶する
記憶手段と、紙ドキュメント上での前記入力ペンの操作
内容を認識する操作認識手段と、認識された操作内容の
うちの特定描画操作に基づく描画情報を認識し、該描画
情報に対応する外部電子ドキュメントを外部より取り込
んで前記記憶手段に記憶する外部情報取込手段と、前記
外部電子ドキュメントを前記特定描画操作がなされた前
記紙ドキュメントに対して1対1に対応付けて管理する
ドキュメント間対応管理手段と、前記操作認識手段によ
り認識された前記操作内容に応じ、前記紙ドキュメント
上での前記入力ペンの操作を対応する前記外部電子ドキ
ュメントに反映させる操作反映手段とを具備することを
特徴とする。
【0035】請求項18の発明は、請求項17の発明に
おいて、前記紙ドキュメントは雑誌であり、前記描画情
報は当該雑誌の雑誌名及びページ数であり、前記外部情
報取込手段は、ネットワークまたは可搬型記憶媒体を通
じて前記雑誌の前記ページの内容に対応する外部ドキュ
メントを入手する手段であることを特徴とする。
【0036】請求項19の発明は、操作内容指示機能を
有する入力ペンの指示位置を検出し、該指示位置に基づ
き前記入力ペンの操作に基づく入力処理を行うペン入力
方法において、電子ドキュメントを基に得た紙ドキュメ
ント上での前記入力ペンの操作内容を認識し、前記認識
された操作内容のうちの特定操作に応じて前記紙ドキュ
メントと対応する電子ドキュメントを当該紙ドキュメン
トに対して1対1に対応付けて管理するとともに、前記
認識された操作内容に応じ、前記紙ドキュメント上での
前記入力ペンの操作を対応する前記電子ドキュメントに
反映させることを特徴とする。
【0037】請求項20の発明は、請求項19の発明に
おいて、前記紙ドキュメント上の任意位置での前記入力
ペンの位置指示操作を認識し、該認識時の前記入力ペン
の指示位置から形成される当該紙ドキュメント上の領域
と前記電子ドキュメントが形成する領域との位置関係を
設定するとともに、前記設定領域に基づいて前記電子ド
キュメントの当該設定領域に対応する領域の内容を表示
手段に表示し、前記設定領域内においてのみ前記入力ペ
ンによる操作を前記電子ドキュメントへ反映させる処理
を有効にすべく制御することを特徴とする。
【0038】請求項21の発明は、請求項20の発明に
おいて、前記入力ペンは、前記紙ドキュメント上のオブ
ジェクトに対する選択、複製、移動、削除、編集、属性
変更、実行のうちから少なくとも1つの操作を指示可能
であり、前記入力ペンによる操作を前記電子ドキュメン
トへ反映させる処理は、前記各指示操作の認識結果を基
に、前記電子ドキュメント上の対応するオブジェクトに
該当する指示操作を施す処理であることを特徴とする。
【0039】
【発明の実施の形態】本発明に係わるペン入力装置は、
入力ペンに設けられた超音波送信手段から送出される超
音波の送信タイミングとこの超音波送信手段から送出さ
れる超音波を受信する超音波受信手段における受信タイ
ミングとの同期をとるように構成したうえで、超音波送
信手段から超音波を送信したタイミングと超音波受信手
段で上記超音波を受信したタイミングとの時間差から当
該音波送信手段と超音波受信手段との間の距離を算出
し、更にこの超音波送信手段/受信手段間の距離を用い
て上記入力ペンの位置座標を演算して例えばパーソナル
コンピュータのディスプレイ等の所定の入力領域におけ
る上記入力ペンによる指示位置をカーソル等を用いて入
力するなどの入力処理を実現する超音波位置検出機構を
前提としている。本発明においては、入力ペンから送出
された超音波を受信する超音波受信手段として例えば3
次元的に配列された複数の超音波受信素子を用いる。こ
の場合、この複数の超音波受信素子の受信出力に基づく
入力ペンの位置を3次元的に検出することができる。
【0040】更に、本発明のペン入力装置では、上述し
た所定の入力領域からの入力操作を行うばかりでなく、
上記位置検出機構を用いて、紙ドキュメント上における
入力ペンの特定操作を検出し、この紙ドキュメントをシ
ステム内のコンピュータが管理している電子ドキュメン
トと1対1で対応付けることにより、当該紙ドキュメン
ト上で行われたペン操作に対し、対応する電子ドキュメ
ントへ同様の操作を施すことができるようにしたもので
ある。
【0041】この本発明のペン入力装置と、従来システ
ムとの主な相違点は以下の如くである。例えば、タブレ
ットを用いた従来の入力システムでは、タブレット上に
予め定められた領域がコンピュータシステムの表示領域
に対応着けられているが、本発明では、紙ドキュメント
上で予め定められた入力領域が、コンピュータシステム
の表示領域に対応するものではない。すなわち、本発明
は、タブレット方式の入力システムのように、コンピュ
ータ上の汎用的な入力システムを提供するものではな
い。
【0042】また、本発明において、入力領域を有する
紙ドキュメントは複数枚存在し、それぞれの入力領域
は、各々独立に存在することも可能である。すなわち、
本発明は、1つのコンピュータシステムにおいて、複数
の異なった入力領域を持ち、それぞれの入力領域におけ
る同じペン操作が、全く違った処理をコンピュータに実
行させる入力システムである。
【0043】上記処理を実現するために、本発明では、
コンピュータ上で作成され保管された電子ドキュメント
と、当該電子ドキュメントを実際にプリンタで出力した
紙ドキュメントとの1対1の対応付けをペン入力操作に
より実現する。この技術を土台にして、紙ドキュメント
上に印刷された内容を入力ペンで操作することにより、
該紙ドキュメントに対応する電子ドキュメント(あるい
は、コンピュータ上の情報資源)の内容を紙ドキュメン
ト上でのペン操作と同様に操作できるようにしている。
【0044】本発明では、コンピュータ上で作成され保
管された電子ドキュメントと、当該電子ドキュメントを
実際にプリンタで出力した紙ドキュメントとを1対1で
対応付けることが基本であるが、この種の対応付けに関
して、従来は、本発明での紙ドキュメントに当たる帳票
をスキャナで読み込み、帳票上で書き込まれた内容を読
み込ませて認識した後に利用する方法があった。この
他、例えば、コンピュータ上でワープロソフトでnペー
ジの文書(電子ドキュメント)を作成し、プリンタで紙
ドキュメントとして出力した場合、mページ目のドキュ
メントを紙と電子間で対応付けする場合、ワープロソフ
トにそのような機能(例えば、指定したページへのジャ
ンプ機能)を追加することで容易に実現できる。
【0045】しかしながら、本発明は、あくまでも紙ド
キュメントを用いたペン入力装置であって、電子ドキュ
メントと紙ドキュメントとの対応付けを紙ドキュメント
上での入力ペンのペン操作により行い、紙ドキュメント
上でのペン操作を対応する電子ドキュメントに反映させ
る場合において、通常我々が紙を扱うような感覚でシー
ムレスにその操作が行える環境を提供するものである。
【0046】以下、本発明に係わるペン入力装置の実施
例を添付図面を参照して詳細に説明する。図1は、本発
明に係わるペン入力装置の位置検出原理を説明するため
の概略構成図である。このペン入力装置では、スタイラ
スペン1に内蔵される超音波送信素子から送信される超
音波を受信する3つの超音波受信素子31a,31b、
31cをスクリーンパネル(後述する表示部50にあた
る)上の所定位置に配置し、上記超音波送信素子から送
信された超音波の超音波受信素子31a,31b、31
cへの到達時間に応じてスタイラスペン1の3次元位置
座標を演算し、この位置座標に基づき入力処理を行うも
のである。
【0047】図2は、このペン入力装置を含む情報処理
システムの全体構成を示す図である。このシステム10
0において、操作者は、ペンホルダ34で同期化された
スタイラスペン(超音波送出器)1を用いて入力領域
(表示部50として用いられるDisplay装置の表示領
域)にて、操作を行う。この時、超音波受信部30にお
いて、スタイラスペン1から送出された超音波の送/受
信タイミングからスタイラスペン1と超音波センサ(超
音波受信素子)31a,31b,31cまでの距離が算
出され、演算処理部40としてのComputerへ入力され
る。Computerは、超音波受信部30から受け取った距
離値からDisplay装置の表示領域におけるスタイラスペ
ン1の3次元位置を算出し、そのデータを基にアプリケ
ーション上の処理を行う。
【0048】図3は、図2における情報処理システムの
一実施例の概略構成を示すブロック図である。同図に示
す如く、この情報処理システムは、超音波を出力する超
音波発信手段が設けられて成るスタイラスペン(以下、
単に入力ペンという)1(1a,1b,…)と、この入
力ペン1から送出される超音波を検出するための複数
(実施例においては3つ)の超音波受信素子31a、3
1b、31cから成る1組の超音波受信手段を有する超
音波受信部30と、この超音波受信部30での超音波受
信状態から入力ペン1による指示位置を検出し、その検
出結果に対応して表示部50に対する表示の制御等を行
う演算処理部40とにより構成される。なお、本発明で
は、この演算処理部40内に、紙ドキュメント10上で
の入力ペン1の操作に対する入力処理の制御を行う紙入
力制御部44が設けられる。この紙入力制御部44の動
作については後述するものとし、ここでは、その前提と
なる入力ペン1の位置検出機構に係わる部分の説明をし
ていく。
【0049】図4は、図3に示す超音波受信部30にお
ける受信処理部32の具体的構成を示したものである。
この実施例では、入力ペン1の不使用時にこの入力ペン
1を収納するペンホルダ35が設けられており、このペ
ンホルダ35には、後に詳述するように、入力ペン1の
超音波発信手段から出力される超音波の出力タイミング
と受信処理部32における受信処理との同期をとる同期
回路35が設けられている。
【0050】この同期回路35は、受信処理部32に設
けられた基本クロック生成回路324から出力される基
本クロックを計数し、その計数値が一定の値になる毎に
入力ペン1の超音波発信手段から出力される超音波の出
力タイミングを制御する同期信号を出力するように構成
されている。
【0051】また、入力ペン1には、上記基本クロック
生成回路324と同一の周波数の基本クロックを生成す
る基本クロック生成回路(後に説明するオシレータ1
3)が設けられており、この基本クロック生成回路は、
この入力ペン1がペンホルダ34に収納された時に、上
記同期回路35から出力される同期信号を入力して、ペ
ンホルダ34内の同期回路35及び同期回路35からカ
ウンタ(321〜323)に出力される同期信号との同
期を確立し、この入力ペン1をペンホルダ34から取り
出した後は、上記同期回路35と同期して動作するすな
わち図5(b)に示すような入力ペン1内の基本クロッ
クの計数値が一定の値になる毎に入力ペン1の超音波発
信手段から出力される超音波の出力タイミングを制御す
るように構成されている。
【0052】すなわち、入力ペン1をペンホルダ35に
収納すると、入力ペン1の超音波発信手段から出力され
る超音波の出力タイミングと受信処理部32における受
信処理との同期がとられ、入力ペン1の超音波発信手段
から出力される超音波の出力タイミングは同期回路35
から受信処理部32に加えられる同期信号のタイミング
と一致することになる。
【0053】同期回路35から受信処理部32に加えら
れる同期信号は、受信処理部32のカウンタ321、3
22、323のリセット端子に加えられ、カウンタ32
1、322、323はこの同期信号に同期してクリアさ
れる。
【0054】また、カウンタ321、322、323の
計数入力端子には基本クロック生成回路324から出力
される基本クロックが入力され、またこのカウンタ32
1、322、323の計数停止を制御する制御入力端子
には、入力ペン1の先端から出力される超音波を受信し
た時に超音波受信素子31a、31b、31cからそれ
ぞれ出力される受信クロックが入力されている。
【0055】すなわち、カウンタ321、322、32
3は、入力ペン1の先端から超音波が出力されるタイミ
ングで同時にリセットされ、それぞれ超音波受信素子3
1a、31b、31cから受信クロックが入力されるま
で基本クロック生成回路324から出力される基本クロ
ックを計数し、その結果、カウンタ321、322、3
23の計数値は、入力ペン1の先端から出力される超音
波が超音波受信素子31a、31b、31cで検出する
までの時間Ta、Tb、Tcに対応するものになる。
【0056】図6は、このカウンタ321、322、3
23による時間Ta、Tb、Tcの検出動作をタイミン
グチャートで示したものである。すなわち、入力ペン1
の図示しない基本クロック生成回路は図6(a)に示す
基本クロックを生成し、図6(b)に示す同期信号の立
上がりに同期して入力ペン1の先端から超音波を出力す
るための図6(c)に示す送信クロックを発生し、この
送信クロックに同期して入力ペン1の超音波発信手段を
駆動するための図6(d)に示す超音波駆動信号を発生
する。この超音波駆動信号により入力ペン1の超音波発
信手段が駆動され、入力ペン1の先端からは送信クロッ
クが生じている間だけ超音波が出力される。
【0057】この入力ペン1の先端から出力された超音
波は超音波受信素子31a、31b、31cで受信さ
れ、超音波受信素子31a、31b、31cからはこの
超音波の受信に対応して図6(e)に示すような受信ク
ロックが出力される。そこで、カウンタ321、32
2、323では、図6(b)に示す同期信号の立上がり
タイミングから図6(e)に示す受信クロックの立上が
りタイミングまでの時間T、すなわち時間Ta、Tb、
Tcを図6(a)に示す基本クロックを計数することに
より求めることができる。
【0058】このカウンタ321、322、323で計
数された入力ペン1の先端から出力される超音波が超音
波受信素子31a、31b、31cで検出するまでの時
間Ta、Tb、Tcは、受信時間保持回路325、32
6、327でそれぞれ保持され、通信部33を介して図
4に示した演算処理部40に伝えられる。演算処理部4
0は、その通知された時間Ta、Tb、Tcを用いて入
力ペン1の指示位置座標を演算するが、その詳細につい
ては後述する(図24参照)。
【0059】次に、図3に示した入力ペン1および超音
波受信部30および演算処理部40の具体的詳細構成に
ついて説明する。図7は、この入力ペン1の内部回路構
成を示したものである。図7において、この入力ペン1
は、この入力ペン1からの超音波の送信タイミングを制
御する送信タイミング制御部11、オペアンプ16を有
し、送信タイミング制御部11から出力された超音波駆
動クロックを増幅するアンプ部15、超音波送出器18
を有し、アンプ部15から出力される超音波送出器駆動
信号により超音波を送出する送出部17を有している。
【0060】特に、この実施例では、後に詳述する複数
のペンを同時使用可能なマルチペン機能および複数のモ
ードを切替可能なマルチモード機能を可能にしているの
で、送信タイミング制御部11は、入力ペン1のボタン
(例えば、図14に示した第一ボタン14aおよび第二
ボタン14b)の出力および基本クロックを生成するオ
シレータ(基本クロック生成部)13からの基本クロッ
クに応じてこの入力ペン1からの超音波送信タイミング
制御の状態遷移を制御するシーケンサ12を有してい
る。なお、このシーケンサ12による超音波送信タイミ
ング制御の状態遷移の制御の詳細についても後述する
(図16参照)。
【0061】図8は、図3に示した超音波受信部30お
よび演算処理部40の具体的構成を示したものである。
図8において、超音波受信部30は、受信センサ部3
1、受信処理部32、通信部33から構成される。ここ
で、受信センサ部31は図3に示した超音波受信素子3
1a、31b、31cを有している。また、受信処理部
32には、アンプ部60、受信タイミング制御部70が
あり、アンプ部60にはオペアンプ61が設けられ、受
信タイミング制御部70にはカウンタ、レジスタ71、
シーケンサ72、オシレータ73、SCC(シリアル通
信制御部)初期化部74が設けられている。ここで、カ
ウンタ、レジスタ71は、図4に示したカウンタ32
1、322、323および受信時間保持回路325、3
26、327に対応し、オシレータ73は基本クロック
を生成する図4に示した基本クロック生成回路324に
対応する。
【0062】また、シーケンサ72は、オシレータ73
から出力される基本クロックに基づきこの受信タイミン
グ制御部70の受信タイミング制御の遷移状態を制御す
るものである。このシーケンサ72は、図4に示したペ
ンホルダ34の同期回路35からの同期信号(リセット
信号)によりリセットされ、受信タイミング制御部70
における受信タイミング制御の遷移状態を制御する。な
お、このシーケンサ72による受信タイミング制御の遷
移状態の制御の詳細については後述する(図17参
照)。また、通信部33には、SCC(シリアル通信制
御部)331およびRS232Cインタフェースを駆動
するための232Cドライバ332が設けられている。
【0063】また、図8において、演算処理部40は、
所定のアプリケーションが搭載され、ペン1、2の指示
位置に対応した表示を制御するウインドウ処理部(Wi
nfor Pen)、マウスドライバ等を有し、RS2
32Cインタフェースを介して超音波受信部30の通信
部33に接続されるパーソナルコンピュータから構成さ
れる。図3に示した紙入力制御部44もこのパーソナル
コンピュータ内に設けられる。
【0064】ここで、超音波を用いた位置検出機構を設
計するうえでの留意点について説明する。図9は、図7
に示した入力ペン1からの最も基本的な超音波送出動作
のタイミングチャートの例を示す図である。同図におい
て、FHzは、扱う超音波の周波数である。また、Tse
ndは超音波を送出する時間であり、Twaitは超音波を送
出してから次に送出するまでの間隔に対応する時間であ
る。このTwaitの間隔は、例えば、入力ペン1に設けら
れるディップスイッチにより、図10に示す如くに可変
設定可能である。これにより、1秒間に入力可能な位置
座標データの数(図10のpoint/sec)が決定される。
また、図10の到達距離で示される値はTwait時間内に
超音波が伝播する距離を示しており、この値と超音波の
出力強度及び反射の影響を考慮して設定#を決定しなけ
ればならない。
【0065】この点は、この種の超音波位置検出機構を
設計するうえで極めて重要なことなので、以下、図11
乃至図13を参照して更に詳しく説明する。このシステ
ムでは、入力ペン1から送出され、超音波受信素子31
a、31b、31cで受信される超音波は、直接超音波
受信素子31a、31b、31cに伝達されるものと、
1つまたは複数の障害物で反射されて直接超音波受信素
子31a、31b、31cに伝達される(経路P2)も
のとが存在する場合がある。図11は、入力ペン1から
送出された超音波が、直接超音波受信素子31aに伝達
される第1の経路P1と、4個の障害物36a〜36d
で反射されて超音波受信素子31aに伝達される第2の
経路P2とを示したものである。この場合、第2の経路
P2の方が第1の経路P1より長くなるので、図12に
示すように、1つの超音波駆動信号37に対応して入力
ペン1から送出された超音波に対して、超音波受信素子
31aでは第1の経路P1を経た超音波の受信信号37
aと第2の経路P2を経た超音波の受信信号37bの2
つが生じる。
【0066】また、この実施例では、図13に示すよう
に、入力ペン1からは、所定の時間間隔Twaitで間
欠的に超音波が送出される。ここで、図13に示すよう
に、ある超音波駆動信号37により送出される超音波の
伝達経路として図11に示したように2つの経路P1と
P2が存在し、この超音波駆動信号37に対応する超音
波受信素子31aにおける超音波受信信号としてこの第
1の経路P1の超音波の受信信号37aと第2の経路P
2の超音波の受信信号37bの2つが生じ、この超音波
駆動信号37の次の送信タイミングで発生される超音波
駆動信号38により送出される超音波が超音波受信素子
31aにおいて超音波の受信信号38aとして受信され
たとし、上記第2の経路P2の超音波の受信信号37b
の受信タイミングが、超音波駆動信号38より後になっ
た場合を考える。
【0067】この場合、上記第2の経路P2の超音波の
受信信号37bは、超音波駆動信号38により送出され
る超音波の先頭波として誤認識され、また超音波の受信
信号38aは超音波駆動信号38により送出される超音
波の先頭波として認識されないことになり、これにより
誤動作が生じる。このような誤動作は、この装置の表示
部50の表示画面のサイズに対応して、入力ペン1から
発生される超音波の強度、超音波受信素子における受信
スレショルドレベル、入力ペン1から送出される超音波
の時間間隔Twaitを適宜に設定することにより無く
すことができる。すなわち、入力ペン1から発生される
超音波の強度および超音波受信素子における受信ステシ
ョルドレベルを適宜に設定することにより、超音波受信
素子で図11に示したような複数の障害物を経て到来す
る超音波を受信しないようにすることができ、また入力
ペン1から送出される超音波の時間間隔Twaitを長
くすることにより、障害物による反射波の影響を少なく
することができる。
【0068】次に、この情報処理システムにおいて、複
数の入力ペン1を利用できるマルチペン機能、及び入力
ペン1に実装されたボタンのオン/オフ操作を認識する
方法について説明する。ここでは、説明を簡単にする意
味で、図14に示すような入力ペン1を用いる場合を想
定する。この図14に示す入力ペン1は、第一ボタン1
4aおよび第二ボタン14bを有している。ここで、第
一ボタン14aは描画ボタンであり、このボタンを押す
ことにより描画処理が行われる。また、第二ボタン14
bは、モード切替ボタンであり、このボタンを押すこと
により、描画、イレース、ジェスチャなどのアプリケー
ション上の処理モードを切り替えることができる。この
ような入力ペン1を複数本(図3参照)用意し、同時に
スクリーン(表示部50)上などの位置で処理を行うこ
とが可能である。
【0069】図15は、本システムにおいて、マルチペ
ン機能が選択された場合におけるPenNO=0のペン
およびPenNO=1のペンの超音波送信タイミング制
御のタイミングチャートで示したものである。ここで、
PenNO=0のペンおよびPenNO=1のペンはそ
れぞれ4回の超音波送信タイミングを1単位として交互
に超音波を送出する。
【0070】すなわち、図15に示すように、PenN
O=0のペン、すなわちペンPen#0は、4回の超音
波送信タイミングを1ブロックとして超音波を送出す
る。ここで、各超音波送信タイミングにおける超音波送
出期間はTsendであり、その超音波送出間隔はTw
aitである。そしてこの4回の超音波送信タイミング
の1回目の超音波送信タイミングにおいては、このペン
Pen#0の位置に対応して図3に示した表示部50に
表示されるカーソルを追従移動制御するために常時超音
波を送出する。また、2回目の超音波送信タイミングに
おいては、このペンPen#0で第一ボタン14aが押
された時のみ超音波を送出する。また、3回目の超音波
送信タイミングにおいては、このペンPen#0で第二
ボタン14bが押された時のみ超音波を送出する。ま
た、4回目の超音波送信タイミングにおいては、2回目
の超音波送信タイミングと同様にこのペンPen#0で
第一ボタン14aが押された時のみ超音波を送出する。
【0071】また、PenNO=1のペン、すなわちペ
ンPen#1もペンPen#0と同様に、4回の超音波
送信タイミングを1ブロックとして超音波を送出する。
すなわち、この4回の超音波送信タイミングの1回目の
超音波送信タイミングにおいてはこのペンPen#1の
位置に対応して図3に示した表示部50に表示されるカ
ーソルを追従移動制御するために常時超音波を送出す
る。また、2回目の超音波送信タイミングにおいては、
このペンPen#1で第一ボタン14aが押された時の
み超音波を送出する。また、3回目の超音波送信タイミ
ングにおいては、このペンPen#1で第二ボタン14
bが押された時のみ超音波を送出する。また、4回目の
超音波送信タイミングにおいては、2回目の超音波送信
タイミングと同様にこのペンPen#1で第一ボタン1
4aが押された時のみ超音波を送出する。
【0072】ここで、ペンPen#0およびPen#1
から2回目の超音波送信タイミングと4回目の超音波送
信タイミングの両者において第一ボタン14aが押され
たことを示す超音波を発生するように構成した理由は、
この実施例では、入力ペン1による描画に際して第一ボ
タン14aを押しながら描画を行うように構成されてい
るので、この描画に係わる指示位置の検出密度(サンプ
リング周期)を高くするためである。なお、各超音波送
信タイミングで発生される超音波駆動信号(超音波駆動
クロック)は、例えばFHzの信号であり、超音波駆動
クロックは図7に示したアンプ部15を介して送出部1
7に加えられ、送出部17からは、このFHzの超音波
が送出される。
【0073】図16は、入力ペン(図7に示したペンに
設けられたシーケンサ12)による超音波送信タイミン
グ制御の状態遷移を状態遷移図で示したものである。上
述の如く、この実施例では、複数の入力ペンを同時使用
可能なマルチペン機能を有しており、このマルチペン機
能を選択するか否かおよび同時に使用する入力ペンの数
は図示しないディップスイッチにより切換えられる。
今、図示しないディップスイッチによりマルチペン機能
が選択されており(MPen=1)、同時に使用するペ
ンの数がPenNO=0(例えばペン1に対応する)と
PenNO=1(例えばペン2に対応する)の2本に設
定されているとする。なお、図17に示す状態遷移図に
おいて、ある遷移状態から他の遷移状態への遷移は、P
enNO=0またはPenNO=1のペンに設けられる
図7に示したオシレータ13から出力される基本クロッ
クを所定数計数する毎に行われる。
【0074】図16において、状態102(Init
0000(0))は、入力ペンのいわゆる初期状態で、
この入力ペンが図4に示したペンホルダ34に収納さ
れ、ペンホルダ34の同期回路35から同期信号を受け
ると(ResetPen=1)、いかなる状態101
(AnyState)からもこの状態102(Init
0000(0))に遷移する。この状態102(Ini
t 0000(0))ではなにも行わない。ところで、
この場合は、マルチペン機能が選択されたMPen=1
に設定されているので、次に、PenNO=0のペン
は、状態103(Trace 0001(1))に遷移
し、また、PenNO=1のペンは、状態114(Wa
itMPen0 1100(C))に遷移する。
【0075】状態103(Trace 0001
(1))は、このPenNO=0のペンの位置を図8に
示した超音波受信部30に認識させるための状態であ
る。つまり、図3に示した表示部50に表示されるカー
ソルをこのペンの位置に合わせて追従移動させるための
状態である。したがって、この状態においてはこのPe
nNO=0のペンから超音波を出力する。また、状態1
03(Trace 0001(1))において、このP
enNO=0のペンの図14に示した第二ボタン14b
が押されていず(ModeSync=0)、かつこのP
enNO=0のペンの図14に示した第一ボタン14a
が押されている場合は(PenDownSync=1)
の場合は、状態105(Data0 0110(6))
に遷移し、それ以外の場合は、状態104(Dummy
0 0010(2))に遷移する。
【0076】状態105(Data0 0110
(6))では、このPenNO=0のペンの第一ボタン
14aが押されていることを超音波受信部30に認識さ
せるために、このPenNO=0のペンから超音波を出
力する。この状態105(Data0 0110
(6))からは無条件で状態107(Dummy1 0
101(5))に遷移する。
【0077】また、状態104(Dummy0 001
0(2))ではなにも行わず、この状態104(Dum
my0 0010(2))で第二ボタン14bが押され
た場合は(ModeSync=1)、状態106(Mo
de 0011(3))に遷移し、第二ボタン14bが
押されていない場合は(ModeSync=0)、状態
107(Dummy1 0101(5))に遷移する。
【0078】状態106(Mode 0011(3))
では、このPenNO=0のペンの第二ボタン14bが
押されていることを超音波受信部30に認識させるため
に、このPenNO=0のペンから超音波を出力する。
この状態106(Mode0011(3))からは無条
件で状態109(Dummy2 0100(4))に遷
移する。
【0079】また、状態107(Dummy1 010
1(5))ではなにも行わず、この状態107(Dum
my1 0101(5))において、このPenNO=
0のペンの第一ボタン14aが押されている場合は(P
enDownSync=1)の場合は、状態108(D
ata1 0111(7))に遷移し、このPenNO
=0のペンの第一ボタン14aが押されていない場合は
(PenDownSync=0)の場合は、状態109
(Dummy2 0100(4))に遷移する。
【0080】状態108(Data1 0111
(7))からは、マルチペン機能が選択されている場合
は(MPen=1)、状態114(WaitMPen0
1100(C))に遷移し、マルチペン機能が選択さ
れていない場合(MPen=0)、状態103(Tra
ce 0001(1))に遷移する。
【0081】また、状態109(Dummy2 010
0(4))からは、マルチペン機能が選択されている場
合は(MPen=1)、状態114(WaitMPen
01100(C))に遷移し、マルチペン機能が選択さ
れておらず(MPen=0)かつ現時点で第二ボタン1
4bが押されておらずしかも状態103(Trace
0001(1))で第二ボタン14bが押されていない
場合(ModeSync=0&PreModeSync
=0)は、状態103(Trace 0001(1))
に遷移する。
【0082】また、状態109(Dummy2 010
0(4))において、マルチペン機能が選択されておら
ず(MPen=0)かつ現時点で第二ボタン14bが押
されていてしかも状態103(Trace 0001
(1))で第二ボタン14bが押されている場合(Mo
deSync=1&PreModeSync=1)は、
状態110(WaitModeUp0 1000
(8))に遷移する。
【0083】この状態110(WaitModeUp0
1000(8))に移行後、状態103で押された第
二ボタン14bが押され続けている間、状態111(W
aitModeUp1 1001(9))、状態112
(WaitModeUp21010(A))を経て状態
113(WaitModeUp3 1011(B))に
遷移する。ここで、状態110〜状態113の4つの状
態が設けてあるのは、もう一方のPenNO=1のペン
と同期をとるためである。
【0084】状態113(WaitModeUp3 1
011(B))で、マルチペン機能が選択されている場
合は(MPen=1)、状態114(WaitMPen
01100(C))に遷移する。また、状態113(W
aitModeUp3 1011(B))で、マルチペ
ン機能が選択されておらず(MPen=0)かつ現時点
で第二ボタン14bが押されていない場合(PreMo
deSync=0)は、状態103(Trace 00
01(1))に遷移する。また、状態113(Wait
ModeUp3 1011(B))で、マルチペン機能
が選択されておらず(MPen=0)かつ現時点で第二
ボタン14bが押されている場合(PreModeSy
nc=1)は、状態110(WaitModeUp0
1000(8))に遷移する。
【0085】ところで、今はマルチペン機能が選択され
ている状態、すなわち(MPen=1)を想定している
ので、ここでは、状態113(WaitModeUp3
1011(B))、状態109(Dummy2 01
00(4))、状態108(Data1 0111
(7))から状態114(WaitMPen0 110
0(C))に遷移する。
【0086】状態114(WaitMPen0 110
0(C))へ移行後、マルチペン機能が選択されている
(MPen=1)限り、状態115(WaitMPen
11101(D))、状態116(WaitMPen2
1110(E))を経て状態117(WaitMPe
n3 1111(F))に遷移する。これら状態114
〜117は、もう一方のPenNO=1のペンが超音波
を送出するのに合わせて、その分の時間だけ待機させる
べく設けられるものである。
【0087】また、状態102(Init 0000
(0))から状態114(WaitMPen0 110
0(C))に遷移に遷移したPenNO=1のペンは、
無条件で、状態115(WaitMPen1 1101
(D))、状態116(WaitMPen2 1110
(E))を経て状態117(WaitMPen1 11
11(E))に遷移する。
【0088】状態117(WaitMPen1 111
1(E))では、状態103(Trace 0001
(1))で第二ボタン14bが押され、かつ現時点で第
二ボタン14bが押されている場合(ModeSync
=1&PreModeSync=1)にのみ状態114
(WaitMPen0 1100(C))に遷移し、そ
れ以外の場合(ModeSync=0&PreMode
Sync=0)は、状態103(Trace 0001
(1))に遷移する。
【0089】そして、PenNO=0のペンおよびPe
nNO=1のペンは、上記状態遷移をこれらペンが図4
に示したペンホルダ34に収納され、ペンホルダ34の
同期回路35から同期信号を受けるまで繰り返すことに
なる。
【0090】図17は、超音波受信部(図8に示したシ
ーケンサ72)による受信タイミング制御の状態遷移を
状態遷移図で示したものである。図17に示す状態遷移
は、図16に示したペンにおける超音波送信タイミング
制御の状態遷移と同期して遷移するもので、ペンにおい
てマルチペン機能が選択されている場合は(MPen=
1)、状態201(Trace0 001(1))、状
態202(Data0010(2))、状態203(M
ode0 011(3))、状態204(Data1
100(4))のタイミングで受信した超音波はPen
NO=0のペンから送出された超音波として処理し、状
態205(Trace1 101(5))、状態206
(Data2 110(6))、状態207(Mode
1 111(7))、状態208(Data3 000
(0))のタイミングで受信した超音波はPenNO=
1のペンから送出された超音波として処理する。
【0091】また、ペンにおいてマルチペン機能が選択
されていない場合は(MPen=0)、状態201(T
race0 001(1))、状態202(Data0
010(2))、状態203(Mode0 011
(3))、状態204(Data1 100(4))、
状態205(Trace1 101(5))、状態20
6(Data2 110(6))、状態207(Mod
e1 111(7))、状態208(Data3 00
0(0))のタイミングで受信した超音波は全てPen
NO=0のペンから送出された超音波として処理する。
【0092】また、図17において、状態208(Da
ta3 000(0))は、この超音波受信部30にお
ける受信タイミング制御の遷移状態の初期状態で、この
超音波受信部30にハードウエアリセット(Reset
Pen=1)が発生した場合には、いかなる状態209
(AnyState)からも、この状態208(Dat
a3 000(0))に遷移する。この状態208(D
ata3 000(0))で受信した超音波に基づく指
示位置は、図4に示した表示部50における描画データ
として認識する。状態208(Data3 000
(0))からは、無条件で、状態201(Trace0
001(1))に遷移する。状態201(Trace
0 001(1))で受信した超音波に基づく指示位置
は、図3に示した表示部50においてカーソルを追従移
動制御するために位置データとして認識する。
【0093】状態201(Trace0 001
(1))からは、無条件で、状態202(Data0
010(2))に遷移する。この状態202(Data
0 010(2))で受信した超音波に基づく指示位置
は、図3に示した表示部50における描画データとして
認識する。状態202(Data0 010(2))か
らは、無条件で、状態203(Mode0 011
(3))に遷移する。この状態203(Mode0 0
11(3))で受信した超音波は、ペンによるモード切
換えデータとして認識する。
【0094】状態203(Mode0 011(3))
からは、無条件で、状態204(Data1 100
(4))に遷移する。この状態204(Data1 1
00(4))で受信した超音波に基づく指示位置は、図
3に示した表示部50における描画データとして認識す
る。状態204(Data1 100(4))からは、
無条件で、状態205(Trace1 101(5))
に遷移する。この状態205(Trace1 101
(5))で受信した超音波に基づく指示位置は、図3に
示した表示部50においてカーソルを追従移動制御する
ために位置データとして認識する。
【0095】状態205(Trace1 101
(5))からは、無条件で、状態206(Data2
110(2))に遷移する。この状態206(Data
2 110(6))で受信した超音波に基づく指示位置
は、図3に示した表示部50における描画データとして
認識する。状態206(Data2 110(6))か
らは、無条件で、状態207(Mode1 111
(7))に遷移する。この状態207(Mode1 1
11(7))で受信した超音波は、モード切換えデータ
として認識する。状態207(Mode1 111
(7))からは、無条件で、状態208(Data3
000(0))に遷移する。そして上記状態遷移は、こ
の超音波受信部30にハードウエアリセットが発生する
まで繰り返される。
【0096】次に、入力ペン1に対する超音波送信器の
実装方法について述べる。図18は、入力ペン1が筆記
具としても機能を有する場合の入力ペン1の構成例を示
したものである。すなわち、図18に示したペン1は、
この入力ペン1の位置を検出するための超音波発信素子
6を装着するとともに、その先端には、例えば、後述す
る紙ドキュメントに実際に画像を書き込むことができる
筆記可能なペン芯3が装着されている。この図18に示
した入力ペン1を用いると、例えば、後述する紙ドキュ
メント上での入力操作において、その操作内容を紙ドキ
ュメント上に筆記履歴として実際に画像を描くととも
に、この紙ドキュメント上に実際に描かれた画像に対応
する表示をシステム本体の表示画面(50)上に表示さ
せることができる。
【0097】なお、図18に示した入力ペン1は、この
入力ペン1の筆記可能なペン芯3の位置と超音波発信素
子6の装着位置とが離れているため、入力ペン1の向き
またはその傾きに応じて超音波発信素子6の装着位置と
ペン芯3の位置とがずれ、これにより紙ドキュメント上
に描かれた図形をシステム本体の表示画面(50)上に
表示される図形とが正確に一致しなくなる場合ある。こ
の問題を解決するために、入力ペン1の内部構造を、例
えば、図19のようにすれば良い。すなわち、図19に
おいて、入力ペン1は、その内部に超音波発信素子6が
内蔵される。この超音波発信素子6は、電源である電池
4からの給電により動作する制御回路5からの超音波駆
動信号により駆動され、超音波を発生する。この超音波
発信素子6から発生された超音波はこのペン1の先端に
設けられた超音波反射部8で反射され、この入力ペン1
の先端に設けられた超音波通過窓7を通って外部に送出
される。また、この入力ペン1の先端には紙ドキュメン
ト上に実際に画像を書き込むことができる筆記可能なペ
ン芯3が装着されている。
【0098】図20は、図19における入力ペン1で点
線で囲んだ部分の拡大図である。同図から明らかなよう
に、この入力ペン1の先端に設けられた超音波反射部8
は円錐形状からなり、超音波発信素子6から発生され、
この入力ペン1の軸方向に進む超音波を、この超音波反
射部8で反射させることにより、この入力ペン1の先端
でこの入力ペン1の軸方向と直角な方向に360度の範
囲で拡がる超音波に変換し、この360度の範囲で拡が
る超音波をこの入力ペン1の先端から発生する。なお、
この入力ペン1の先端部には、図21に示すように、そ
の周囲に複数の超音波通過窓7が形成されており、超音
波反射部8で反射された超音波はこの複数の超音波通過
窓7を通って外部に送出される。
【0099】これら図18〜図21に示す構成による
と、入力ペン1の先端に配設された筆記可能なペン芯3
の位置とこの入力ペン1から送出される超音波の送出位
置、すなわち超音波通過窓7の配設位置とを近接させる
ことができ、これにより、入力ペン1の向きまたはその
傾きによらず、紙ドキュメントに描かれた図形とシステ
ム本体の表示画面(50)上に表示される図形とをほぼ
一致させることができる。なお、図21に示した構造を
有する入力ペン1を用いることによって、超音波発信素
子6の位置とこの入力ペン1から送出される超音波の送
出位置、すなわち超音波通過窓7の配設位置との間は、
図19に示すように、距離Lだけ離れているので、この
入力ペン1を用いた場合、この入力ペン1の先端位置を
検出するには、この距離Lだけ補正する必要があること
は言うまでもない。
【0100】次に、本システムでの入力ペン1の3次元
座標の算出方法について、図22乃至図24を参照して
説明する。この3次元座標算出に対応すべく、例えば、
システム本体100を図22に示す如くのデスクトップ
型情報処理装置の形態とした場合に、そのディスプレイ
(入力面)近傍に、3つの超音波受信素子31a,31
b,31cを実装する。この時、超音波送出器は、これ
までの説明と同様、入力ペン1の内部に実装する。この
配置態様においては、図23に示すように、超音波送出
器(入力ペン1)から出力された超音波は、空気中を伝
播して3つの超音波受信素子31a,31b,31cに
て受信される。
【0101】また、この状態において、ディスプレイ近
傍に実装した3つの超音波受信素子31a,31b,3
1cを基準にして、図24に示すような3次元座標軸
X,Y,Zが生成される。位置検出機構では、上記超音
波送信器から超音波の出力時間と各超音波受信素子31
a,31b,31cの超音波受信時間とから超音波送出
器と各超音波受信素子との間の距離をそれぞれ算出し、
上記3次元座標系の中で、ディスプレイ上、あるいはそ
の周辺部を移動する入力ペン1の3次元位置座標を検出
する。
【0102】以下、この3個の超音波受信素子31a、
31b、31cを用いた入力ペン1の先端の位置の3次
元的検出原理について述べる。今、図24に示すよう
に、3個の超音波受信素子31a、31b、31cに固
定された3次元座標系X−Y−Zを考える。ここで、超
音波受信素子31aは、この3次元座標系X−Y−Zの
原点に配設されており、超音波受信素子31bは、この
3次元座標系X−Y−ZのY軸上の点(0、Ly、0)
に配設され、超音波受信素子31cは、3次元座標系X
−Y−ZのZ軸上の点(0、0、Lz)に配設されてい
るとする。
【0103】また、入力ペン1による指示位置が、この
3次元座標系X−Y−Z上の点(x、y、z)であるも
のとし、超音波受信素子31aから点(x、y、z)ま
での距離がn、超音波受信素子31bから点(x、y、
z)までの距離がm、超音波受信素子31cから点
(x、y、z)までの距離がlであるものとすると、 l2=(Lz−z)2+n2−z2 …(1) n2=x2+y2+z2 …(2) m2=x2+(Ly−y)2+z2 …(3) の関係が成立する。この式(9)〜(11)からx、
y、zについて解くと x=±SQRT[n2−{(Ly2+n2−m2)/2Ly}2 −{(Lz2+n2−l2)/2Lz}2] …(4) y=(Ly2+n2−m2)/2Ly …(5) z=(Lz2+n2−l2)/2Lz …(6) ただし、SQRT(A)はAの平方根を示す。
【0104】となる。ここでLyおよびLzは、超音波
受信素子31a、31b、31cの配設位置によって決
定される既知の値であるので、超音波受信素子31aか
ら点(x、y、z)までの距離n、超音波受信素子31
bから点(x、y、z)までの距離m、超音波受信素子
31cから点(x、y、z)までの距離lが分かれば、
3次元的に配設された3つの超音波受信素子31a、3
1b、31cに固定された3次元座標系X−Y−Z上に
おける入力ペン1による指示位置(x、y、z)を求め
ることができる。
【0105】ここで、超音波受信素子31aから入力ペ
ン1による指示位置(x、y、z)までの距離n、超音
波受信素子31bから入力ペン1による指示位置(x、
y、z)までの距離m、超音波受信素子31cから入力
ペン1による指示位置(x、y、z)までの距離lの検
出は、入力ペン1の先端から出力される超音波が超音波
受信素子31a、31b、31cで検出するまでの時間
Ta、Tb、Tcを検出することにより求めることがで
きる。
【0106】すなわち、入力ペン1の先端から出力され
る超音波の空間伝達速度をCとすると、上記時間Ta、
Tb、Tcを検出することにより上記距離n、距離m、
距離lは n=C×Ta …(7) m=C×Tb …(8) l=C×Tc …(9) により求めることができる。
【0107】この入力ペン1の先端から出力される超音
波が超音波受信素子31a、31b、31cで検出され
るまでの時間Ta、Tb、Tcを検出する処理は、図4
において説明した如く、超音波受信部30における受信
処理部32で行われる。この受信処理部32におけるカ
ウンタ321、322、323で計数された入力ペン1
の先端から出力される超音波が超音波受信素子31a、
31b、31cで検出されるまでの時間Ta、Tb、T
cは、受信時間保持回路325、326、327でそれ
ぞれ保持され、通信部33を介して図3に示した演算処
理部40に伝えられる。
【0108】演算処理部404は、通信部41を介して
上記時間Ta、Tb、Tcを受け取ると、演算部42に
おいて、前述した式(7)〜(9)に基づき、まず、入
力ペン1から超音波受信素子31a、31bまでの距離
n、m、lを算出し、次にその距離n、m、lに対し、
前述した式(4)〜(6)による演算を行うことによ
り、超音波受信素子31a、31b、31cに固定され
た3次元座標系X−Y−Z上における入力ペン1による
指示位置(x、y,z)を算出する。
【0109】また、この演算部42では、判別部43に
おいて、超音波受信処理部32から通信部41を介して
受け取った入力ペン1の操作状態に関する情報を基に入
力ペン1の操作内容を判別する。更に、表示制御部46
は演算部42にて検出された指示位置座標と判別部43
にて判別された入力ペン1の操作内容とに基づき表示部
46に対する表示制御を行う。なお、入力ペン1の操作
状態に関する情報については、例えば、受信処理部32
が、図15に示すシーケンスにおける入力ペン1の4回
の超音波送信タイミングのうちの1回目若しくは2回目
の超音波送信タイミングで受信される情報に基づき入力
ペン1にてどのようなボタン操作が行われたかを判定し
てその結果を示すデータを演算処理部40に渡すことに
より実現できる。
【0110】このようにして、超音波受信素子31a、
31b、31cの設置位置を基準とした3次元座標系に
おける入力ペン1の座標を求め、これにより入力ペン1
を用いた入力処理が可能となる。
【0111】ところで、本発明は、以下に述べるよう
に、例えば演算処理部40内に保管される電子ドキュメ
ントを印刷出力して得られる紙ドキュメント上での入力
ペン1による入力処理も可能にしようとするものであ
る。この紙ドキュメント上での入力ペン1による入力処
理を実現するためには、入力ペン1を用いて紙ドキュメ
ントの設置場所及び紙ドキュメント内部の任意の位置若
しくは領域を認識させる必要がある。この認識方法につ
いて以下に説明する。
【0112】図25は、本発明に係わるペン入力装置を
適用して成る情報処理システムにおいて、紙ドキュメン
ト上での入力ペン1の操作に応じた入力処理を行う場合
の運用イメージを示している。同図に示す如く、この運
用にあたっては、システム本体100から離れた任意の
位置に配設されたテーブル等の上に紙ドキュメント10
を置き、この紙ドキュメント10を入力面として用い
る。
【0113】すなわち、この実施例では、システム本体
100の表示画面50上の任意の位置を入力ペン1で指
示することにより、このシステム本体100の表示画面
50に対する指示位置の入力ができるだけでなく、シス
テム本体100から離間した任意の位置の紙ドキュメン
ト10上を入力ペン1で指示することにより、この紙ド
キュメント10に対する指示位置の入力が行え、かつこ
の紙ドキュメント10に対する指示位置に基づく表示を
表示画面50上に表示することができる。ここで、表示
画面50上で任意の位置を指示するペンと紙ドキュメン
ト10上で任意の位置を指示するペンとは同一のペンで
もあってもよいし、また本願発明のマルチペン機能を用
いることにより表示画面50上で任意の位置を指示する
ペンと紙ドキュメント10上で任意の位置を指示するペ
ンとを別のペンから構成するようにしてもよい。
【0114】但し、本実施例で用いる入力ペン1は、図
15に示したものとは異なり、図26に示すように、ボ
タンがn個実装されたものとする。これら各ボタンは、
後述する紙ドキュメント10上からの入力操作時におけ
る各機能を指示するために対応付けられたものである。
また、本実施例では、同時に使用可能な入力ペン1の本
数は3本とする。
【0115】さて、図25に示す運用環境下において、
紙ドキュメント10はシステム本体100から離れた任
意の位置に配設されている。この場合、システム本体1
00において、入力ペン1による紙ドキュメント10上
における指示位置を検出するためには、システム本体1
00に取り付けられた超音波受信素子31a、31b、
31cの配設位置に対する紙ドキュメント10の相対的
位置を検出する必要がある。本発明では、その相対位置
検出を実現するために、紙ドキュメント10を用いた位
置入力に先立って、当該紙ドキュメント10に予め設定
された複数の位置決め領域を入力ペン1により指示する
操作を行う。
【0116】図27は、紙ドキュメント10の位置決め
領域の設定例を示す図である。この紙ドキュメント10
には、システム本体100に、超音波受信素子31a、
31b、31cの配設位置に対する当該紙ドキュメント
10の相対的位置を通知するために、その4隅に4個の
位置決め領域P1〜P4が設けられている。システム本
体100に紙ドキュメント10の相対的位置を通知しよ
うとする時、操作者は、この紙ドキュメント10に予め
設定された上記4個の位置決め領域P1〜P4を入力ペ
ン1により順次指示する。これにより、システム本体1
00(演算処理部40)では、図28に示すフローチャ
ートに基づく初期設定用データの収集処理が行われる。
【0117】同図に示す如く、この初期設定用データ収
集が開始されると(ステップ201)、まず、n=1に
設定し(ステップ202)、ディスプレイ、すなわちシ
ステム本体100の表示画面50上に「ペンで位置決め
領域nをポイントし、描画ボタンを押してください」と
いう表示が行われる(ステップ203)。
【0118】次に、描画ボタンが押されたかを調べ(ス
テップ204)、押されていない場合は(ステップ20
4でno)、ステップ204に戻るが、押されたと判別
された場合は(ステップ204でyes)、そのボタン
が押された時点のペンの座標を(xn、yn、zn)と
して検出する(ステップ205)。
【0119】次に、n=n+1に設定し(ステップ20
6)、n=5かを調べる(ステップ207)。ここで、
n=5でない場合は(ステップ207でno)、まだ4
個の位置決め領域P1〜P4の検出が終了していないの
でステップ203に戻り、ステップ203からステップ
207までの処理を繰り返す。
【0120】そして、ステップ207でn=5が成立す
ると(ステップ207でyes)、4個の位置決め領域
P1〜P4の検出が全て終了したので、この初期設定用
データ収集を終了する(ステップ208)。
【0121】このようにして、4個の位置決め領域P1
〜P4の座標(xn、yn、zn)(n=1〜4)を求
めることができる。
【0122】実際には、紙ドキュメント10の4隅を入
力ペン1のペン先で指し示し、描画ボタンとしての例え
ばボタン1を押す。それぞれの操作にて、演算処理部4
0内の演算部42では入力ペン1のペン先の位置座標が
検出され、記憶される。記憶された位置決め領域P1〜
P4のそれぞれの座標は図28に示す如く、(x1,y1,z
1)、(x2,y2,z2)、(x3,y3,z3)、(x4,y4,z4)であ
る。
【0123】上記の処理により、紙ドキュメント10の
設置場所を特定した後、この設置場所に関する座標に基
づき、その紙ドキュメント10上の任意位置における入
力ペン1の操作位置を特定する方法について次に述べ
る。この場合、操作者は、図29に示す如く、設置場所
すなわち4隅の位置座標が特定された紙ドキュメント1
0の任意の内部領域に対して、入力ペン1で操作を行
う。この時、算出されるペン座標が(xa,ya,za)であっ
た場合、紙ドキュメント10内部領域における入力ペン
1の位置は、以下の計算式により求めることができる。
【0124】すなわち、図29でのペン指示操作にペン
座標(xa,ya,za)と位置決め領域P1〜P4との関係は
図30に示す如くにとらえることができる。同図におい
て、位置決め領域P1からペン座標(xa,ya,za)までの
横方向における距離をxとし、位置決め領域P1から位
置決め領域P4までの距離をlとし、位置決め領域P1
から位置決め領域P2までの距離をqとし、位置決め領
域P1とペン座標(xa,ya,za)の距離をmとし、位置決
め領域P4とペン座標(xa,ya,za)の距離をnとし、ペ
ン座標(xa,ya,za)の縦方向の延長線がこの紙ドキュメ
ント10の上辺と交わる点と当該ペン座標(xa,ya,za)
との距離をyとするとともに、位置決め領域P1の座標
を(x1,y1,z1)、位置決め領域P2の座標を(x2,y2,z
2)、位置決め領域P3の座標を(z3,y3,z3)、位置決
め領域P4の座標を(x4,y4,z4)、更に、ペン座標(x
a,ya,za)の縦方向の延長線とこの紙ドキュメント10
の上辺と下辺との交点の座標をそれぞれ(x5,y5,z5)、
(x6,y6,z6)とし、この紙ドキュメント10が折れ曲が
った状態になく、ある平面上に存在するものとすれば、
以下の式により座標(xa,ya,za)を算出することができ
る。
【0125】 x2+y2=m2 …(10) (1-x)2+y2=n2 …(11) 故に、 x=(l2−n2+m2)/2l …(12) y=SQR(m2-((l2-n2+m2)/2l)2) …(13) 但し、SQR(n)はnの正の平方根である。
【0126】よって、(x5,y5,z5)及び(x6,y6,z6)
は、以下の式により求まる。
【0127】 x5=x1+(x4-x1)×x/l; …(14) y5=y1+(y4-y1)×x/l; …(15) z5=z1+(z4-z1)×x/l; …(16) x6=x2+(x6-x2)×x/l; …(17) y6=y2+(y6-y2)×x/l; …(18) z6=z2+(z6-z2)×x/l; …(19) よって、スタイラスペンの位置座標(xa,ya,za)は、以
下の式により求まる。
【0128】 xa=x5+(x6-x5)×y/p; …(20) ya=y5+(y6-y5)×y/p; …(21) za=z5+(z6-z5)×y/p; …(22) なお、上記の処理は、システム本体100に対して紙ド
キュメント10の相対位置を認識させた後、この紙ドキ
ュメント10内部領域における入力ペン1の指示位置の
座標を検出する処理であったが、この検出処理を利用す
ることで紙ドキュメント10内部で入力ペン1により指
示された領域も特定できることは言うまでもない。
【0129】次に、本発明のペン入力装置を利用した情
報処理システムにおいて、紙ドキュメント10での入力
ペン1による入力操作について説明していく。本システ
ムでは、紙ドキュメント10上で行う入力ペン1の操作
によって、これと同様の操作を、当該紙ドキュメント1
0に対応する電子ドキュメントに対して実施することが
できる。この操作を実現するためには、紙ドキュメント
10と電子ドキュメント10とを1対1で対応付けるこ
とが必要である。本システムは、この紙ドキュメント1
0と電子ドキュメントとの対応付けについても、紙ドキ
ュメント10上での入力ペン1のペン操作により行う。
そして、このドキュメント間の対応付けをベースとし
て、紙ドキュメント10上に印刷された内容を入力ペン
1で操作することにより、該紙ドキュメント10に対応
する電子ドキュメント(あるいは、コンピュータ上の情
報資源)の内容を紙ドキュメント10上でのペン操作と
同様に操作することを実現している。なお、この操作を
実現するための前提となる、紙ドキュメント10が置か
れた位置の初期設定方法や紙ドキュメント領域内部にお
ける入力ペン1の位置認識方法については既に述べた通
りである。
【0130】以下、本発明システムにおける紙ドキュメ
ント上でのペン操作による各種入力処理について、具体
例をあげながら順次説明していく。まず、図31は、本
システムの演算処理部40の詳細構成を示すものであ
る。この演算処理部40において、紙入力制御部44
は、紙ドキュメント上における入力ペン1の特定操作を
検出し、この紙ドキュメントをシステム内の記憶部40
1に保管されている電子ドキュメントと1対1で対応付
けることにより、当該紙ドキュメント上で行われたペン
操作に対し、対応する電子ドキュメントに対する同様の
操作を施す制御を行うものである。この紙入力制御部4
4は、特定操作認識部441、ドキュメント間対応管理
部442、操作反映部443から構成される。また、こ
の演算処理部40では、上記紙入力制御部44以外の構
成要素として、記憶部401、操作部402、文書処理
部403、プリンタ部404、外部インタフェース40
5、各種動作機能部406、CPU407等を具備して
いる。この演算処理部40は、実際には図8に示す如く
の形態のコンピュータ(40)により実現される。従っ
て、この演算処理部40には、図31に示す要素以外に
も、例えば、後述する各種の処理に対応できる機能を保
有していることが理解されるべきである。
【0131】このシステムでは、紙ドキュメント上から
の入力ペン1での操作に先立ち、まず、この紙ドキュメ
ントを用意する必要がある。これは、例えば、文書処理
部403により作成され、記憶部401に記憶されてい
る電子ドキュメントを、操作部402からの印刷指示に
よって、プリンタ部404により紙ドキュメントとして
印刷出力することで実現できる。
【0132】この電子ドキュメントの印刷時、文書処理
部403では、例えば紙ドキュメント上部に図32に示
されるような内容のマーキングを自動的に付加するよう
に制御する。この場合、紙ドキュメント上における上記
マーキングの印刷位置は、紙面上のどの位置であっても
良い。但し、このマーキングは当該紙ドキュメントに1
対1で対応するものでなければならない。同図の例で
は、上記マーキングは、紙ドキュメントの紙面上部に7
個の四角形のうちの4つの四角形の内部に黒丸が印刷さ
れて成るものである。それぞれの四角形において、黒丸
が有る場合は「1」、無い場合は「0」というビット情
報に対応している。また、同図において、マーキングの
左端が先頭ビットであり、右端が最終ビット(LSB)
である。かかる条件の下では、同図に示す紙ドキュメン
トには「0101101」という数字の割り当てが実現
されている。この例に従うと、合計128種類の紙ドキ
ュメントの割り当てが可能であることが分かる。これら
マーキングに関する情報は、例えば、記憶部401内で
記憶、管理される。
【0133】次に、この紙ドキュメントと電子ドキュメ
ントとの対応付けを行うには、上記マーキング上の黒丸
が印刷されている位置に入力ペン1(図26に示すよう
なn個のボタンを有するもの)を移動し、予め当該処理
のために割り当てられているボタンを押す操作により実
現できる。黒丸上における当該特定操作が終了したこと
を示すために、例えば、紙ドキュメント上の右側最上部
に入力ペン1を移動させ、上記ボタンを押下する。一
方、紙入力制御部44では、ドキュメント間対応管理部
442が、例えば記憶部401に記憶されている対応管
理情報を基に、紙ドキュメントのどの位置に四角と黒丸
が印刷されているかが予め分かっている。また、紙ドキ
ュメント上のどの位置で上記特定ボタンが押下されたか
が特定操作認識部441により認識される。これによ
り、ドキュメント間対応管理部442では、上記対応管
理情報と特定操作認識部441での操作認識結果とに基
づいて上記特定操作がなされた紙ドキュメントと記憶部
401内に記憶されている電子ドキュメントとの対応付
けを行う。
【0134】また、紙ドキュメントと電子ドキュメント
を対応付けるための別の方法として、紙ドキュメント上
に印刷された図形(以下、紙紋という)を入力ペン1の
特定操作を用いて認識させる方法もある。図33は、こ
の方法において用いられる紙ドキュメントの一例を示し
たものである。この例において、上記紙紋は当該紙ドキ
ュメント上の右上部分の四角形内に配置されているが、
配置位置に特別の指定は無い。この紙紋上を予め割り当
てられたボタンを押しながら入力ペン1で正確になぞ
る。ここでは、当然の如く、紙紋パターンは、ペン入力
における入力解像度で認識可能なものでなければならな
い。入力ペン1による紙紋の入力が終わったら、この特
定操作が終了したことを示すために、例えば、紙ドキュ
メントの右側最上部に入力ペン1を移動させ、上記ボタ
ンを押下する。この操作に対し、紙入力制御部44で
は、特定操作認識部441により、上記入力ペン1のボ
タン操作及び描画パターン(紙紋パターン)が認識され
る。ドキュメント間対応管理部442は、その認識され
た紙紋パターンを予め登録してあるパターン(対応管理
情報)と照合し、記憶部401内の当該紙紋パターンに
対応する電子ドキュメントを上記ペン操作対象の紙ドキ
ュメントに1対1に対応付ける処理を行う。
【0135】また、この紙ドキュメントと電子ドキュメ
ントとの対応付けにおいて、操作者のパスワード入力が
必要なケースも考えられる。この機能が必要なケースと
しては、例えば、記憶部401内の重要な電子ドキュメ
ントにパスワード設定を行う場合や、ドキュメントを操
作する個人を特定した利用に供する場合等がある。この
システムでは、この種のパスワード機能についても、紙
ドキュメント上でのペン入力操作により実現する。以
下、個人特定機能を例にとり、具体例2つを説明する。
なお、パスワード設定機能も個人特定機能も基本的には
以下に述べる方法により対処できる。
【0136】第1の例において、紙ドキュメント上に
は、図34に示す如く、予めパスワード入力エリア
(「たなか」と書かれた領域)が設けられる。この例で
は、操作者に分かり易いものとすべく、四角の領域を印
刷してある。この紙ドキュメント上で、操作者は、入力
ペン1を用いて、予め当該機能用に割り当てられている
ボタンを押下しながら、操作者個人を特定するためのサ
イン(本実施例では個人名「たなか」)を上記サイン入
力エリアに入力する。この操作に際し、紙入力制御部4
4では、特定操作認識部441において、上記入力ペン
1のボタン押下状態とサインの軌跡(個人名パターン)
とが認識される。ドキュメント間対応管理部442で
は、その認識された個人名パターンを予め登録してある
個人名パターン(対応管理情報)と照合し、その照合結
果によって操作者を特定し、そのうえで、当該紙ドキュ
メントと電子ドキュメントとの対応付けを行う。
【0137】また、操作者を特定するための別の方法と
しては、入力ペン1に設けたボタンのオン/オフ操作を
利用した方法もある。この場合、まず、入力ペン1を紙
ドキュメント上のサイン入力エリアに移動する。次に、
入力ペン1に複数個実装されたボタンを、予め各個人に
割り当てられたボタン入力パターン通りの順序で当該ボ
タンを押していく。この操作に対し、特定操作認識部4
41は上記ボタン押下パターンを認識し、ドキュメント
間対応管理部474では、その押下パターンを予め登録
してある押下パターン(対応管理情報)と照合し、その
照合結果によって操作者を特定する。この例の最も簡単
な実現方法としては、入力ペン1に3つのボタンを実装
し、この3つのボタンを押す順序で個人を特定する方法
が考えられる。
【0138】上述の如く、紙ドキュメントと電子ドキュ
メントとの対応付け処理の後、当該紙ドキュメントの相
対位置を演算処理部40側に認知させるための位置登録
を行う。この場合、操作者は、図35に示す如く、入力
ペン1を紙ドキュメントの4隅に順次移動させ、かつそ
の4隅の各々において特定のボタンを押下する操作を行
う。このボタン操作は、図27において説明した操作と
同様のものである。これらそれぞれのボタン操作に対
し、演算部42では図28に示す処理を経て初期設定用
データを収集し、入力ペン1のペン先(上記紙ドキュメ
ントの4隅)の3次元位置座標を算出し、記憶部401
に記憶する。その後、紙ドキュメント上で入力ペン1に
より任意の位置が指示された場合、演算部42では、既
に算出している紙ドキュメントの4隅の位置座標を基
に、上記式(20)〜(22)を用いて、当該紙ドキュ
メント内の任意の指示位置も検出できることは上述した
通りである。そして、紙入力制御部44では、記憶部4
01に記憶された上記位置座標及び演算部42から通知
される任意指示位置座標によって、紙ドキュメントのど
の位置が指示されたかを認識し、以降に述べる種々の操
作反映処理を行うことになる。
【0139】なお、この例では、紙ドキュメントの全領
域での入力処理を可能にすべく、位置登録時のペン指示
位置を紙ドキュメントの4隅に設定した場合について述
べたが、このペン指示位置については任意に設定でき
る。例えば、このシステムの表示部50に電子ドキュメ
ントを表示しながら、紙ドキュメント上で入力ペン1を
用いてその内容を議論する場合において、表示部50に
はドキュメント1ページ全体を表示させるのではなく、
部分的な領域だけを表示させたい場合がある。また、操
作者が部分的な領域についてのみ紙ドキュメント上で操
作を行いたい場合がある(例えば、誤入力を避けるため
に、紙ドキュメント上での必要箇所以外の領域での入力
を無視するようにしたい場合等)。
【0140】このような場合には、紙ドキュメントの必
要な領域のみについて位置登録し、当該領域のみを表示
部50に表示させるようにしても良い。図36(a)
は、紙ドキュメントの部分的な領域の位置登録方法の一
例を示すものである。この場合、1枚の紙ドキュメント
の全領域を予め複数の領域に分割し、各分割位置には、
同図(a)に示す如くの数字を割り振っておく。これに
より、例えば、同図でシャドーのかけられた部分は、横
2、縦2という区分番号で指定することができる。操作
者は、この横2、縦2の区分番号の各領域の4隅に対し
て入力ペン1を移動させ、その4隅のそれぞれにおい
て、予めこの領域位置登録機能用に割り当てられている
ボタン(仮に、ボタンAとする)を押下する。この場
合、4隅に対する位置指定順序は予め定められた順序で
行う。次に、演算処理部40にその指定した領域を認識
させるために、横、縦の順に、各々の区画番号に対応し
たボタンを押下する。以上の処理を行うことにより、紙
ドキュメント内の特定領域を指定することができる。こ
れ以後、演算処理部40では、上記領域指定結果に基づ
き表示部50への表示制御、及び紙ドキュメント内部の
特定領域に対する入力操作の設定を行う。
【0141】尚、図36(a)の例では、領域指定は、
1つの領域に対してのみ行っているが、複数の領域であ
っても良い。これにより、表示部50に表示すること
も、また複数の領域に対して入力操作を行うことも可能
となる。図36(b)は、複数の領域を指定し、これら
複数の領域に対する入力操作を実現する場合における位
置登録方法の一例を示すものである。この場合の位置登
録は、上述したボタンAではなく、領域指定追加用のボ
タンBを用いることで容易に実現できる。
【0142】さて、上記の如く、紙ドキュメントと電子
ドキュメントとの対応付けがなされかつこれら紙ドキュ
メントの位置登録がなされた後は、当該紙ドキュメント
上での入力ペン1の操作結果を電子ドキュメントに反映
させることが可能となる。この処理機能は、紙入力制御
部44内における操作反映部442が受け持つ。この場
合に、電子ドキュメントを表示部50に表示させておけ
ば、紙ドキュメント上のペン操作を表示部50上で確認
しながら操作を進めることができる。
【0143】一方、紙ドキュメント上においても、操作
者が行った種々の操作を視覚的に確認できることが望ま
しい。これを実現すべく、本発明のシステムでは、筆記
具付きの入力ペン1(図18,図19参照)を用いるよ
うにしている。この機能を用いることにより、操作者
は、紙ドキュメント上で行ったペン操作を、表示部50
にて表示されている電子ドキュメントを見ずに、紙ドキ
ュメント上での筆記内容を見て確認することができ、操
作性を高めることができる。例えば、図34において、
操作者個人を特定するためのサイン入力の際に、入力ペ
ン1に設けられている紙ドキュメントへの筆記機能を用
いることにより、操作者のサイン入力の容易化が図れ
る。また、以下に述べる紙ドキュメント上での各種のペ
ン操作において、入力ペン1の軌跡を紙ドキュメント上
に記録できることは非常に有用である。その1つ目の理
由としては、上述したサイン入力と同様、操作者がペン
軌跡の内容を認識しながらペン入力を行うことにより誤
入力防止に貢献できるからである。また、2つめの理由
としては、後述する紙ドキュメント上の各オブジェクト
に対する操作内容を紙ドキュメント上に記録することに
よって、どのような操作が行われかが一目で判別できる
ようになるからである。その際、それぞれのペン操作内
容毎に筆記色を変えても良く、この場合には更に判別が
容易となる。
【0144】以下、本発明のシステムにおける紙ドキュ
メント上でのペン操作結果を電子ドキュメントに反映さ
せる処理の具体例について順次説明していく。図37
は、紙ドキュメント上に印刷された文字/図形等の情報
(以下、オブジェクトという)を選択する場合の操作方
法の一例を示したものである。この場合、操作者は、オ
ブジェクト選択用に予め割り当てられているボタン(選
択ボタン)を押下しながら、選択したいオブジェクトの
領域を囲むように入力ペン1を移動操作する。この時、
入力ペン1に設けた筆記具機構により、ペン軌跡を描画
するようにしても良い。なお、図37はオブジェクトと
してある領域を選択する場合の操作例を示しているが、
単独のオブジェクトを選択する場合は、図38に示す如
く、該当するオブジェクト上に入力ペン1を移動させた
後、上記選択ボタンを押下すれば良い。この方法による
オブジェクト選択時には、紙ドキュメント上にペン軌跡
を描画する必要はない。
【0145】上記オブジェクト選択操作に対し、紙入力
制御部44では、特定操作認識部441により、どの位
置(あるいはどの領域)でどのようなオブジェクト選択
がなされたかが認識される。操作反映部443は、その
認識結果を基に、ドキュメント対応管理部442により
管理中の電子ドキュメント上で上記選択操作に対応する
オブジェクト(単体または領域)を特定するとともに、
この特定されたオブジェクトに対し、その後に紙ドキュ
メント上でなされるペン操作に対応した操作を反映させ
る処理を行う。
【0146】この選択オブジェクトに対する操作反映処
理として、例えば、そのオブジェクトの複製、移動、削
除、編集、属性変更、実行等の処理があげられる。選択
したオブジェクトを複製または移動する場合、操作者
は、例えば図39に示す如く、上記オブジェクト選択操
作後、当該複製または移動の指令に対応した複製/移動
ボタンを押下しながら、入力ペン1を複製あるいは移動
したい場所まで移動させる。この時、複製あるいは移動
を示す筆記色にて紙ドキュメント上に移動軌跡が描画さ
れることが望ましい。なお、こうした用途を想定した場
合、入力ペンの筆記具機構としては、複製/移動ボタン
等の各ボタンの押下に合わせて対応する筆記色のペン先
が選ばれるような構造とすることが考えられる。
【0147】また、オブジェクトを削除する場合、操作
者は、例えば図40に示す如く、そのオブジェクト選択
操作後、入力ペン1を用いて、削除ボタンを押下しなが
ら、当該オブジェクト上で×(ばつ)印を書き込むよう
な操作を行う。この時、×印の描画色も削除に対応する
色にすることが望ましい。この他の削除操作の例として
は、例えば、消しゴムボタンを押下しながら、オブジェ
クト上を入力ペン1でなぞるようにし、そのオブジェク
トのなぞられた部分を削除するように構成することがで
きる。実際にペンに消しゴムを取り付けることも可能で
ある。
【0148】また、オブジェクトの編集を行うには、上
記選択操作によってオブジェクトを選択後、入力ペン1
を操作してそのオブジェクト上で編集内容に対応する書
き込みを行うようにする。書き込まれた内容は、特定操
作認識部441により認識され、操作反映部443によ
り、その認識結果に基づいた電子ドキュメント上での追
加修正処理が行われる。また、オブジェクトの属性変更
の一例として、例えばオブジェクトを大きくしたいので
あれば、目的とするオブジェクトの選択後、紙ドキュメ
ントの上方に入力ペン1を振り、オブジェクトを小さく
したいのであれば、逆に下方に振る操作を行う。また、
選択したオブジェクト(領域)の色を変更したいのであ
れば、例えば、その色を示す文字を紙面に筆記する操作
を行う。図41は、紙ドキュメントの中央の領域内の情
報を拡大し、赤色に変更する場合のペン操作の例を示し
たものであり、入力ペン1が上方に振られかつ変更する
赤色に対応する(RED)の描画がなされている。
【0149】上記移動、複製、削除及び編集のペン操作
(図39乃至図41)に対し、紙入力制御部44では、
演算部42から入力する入力ペン1の描画軌跡情報を基
に、特定操作認識部441により、移動、複製、削除及
び編集のそれぞれの指令であることを認識し、操作反映
部442は、その認識結果に基づき、上記紙ドキュメン
トに対応する電子ドキュメント上の該当オブジェクトの
移動、複製、削除及び編集処理を行う。
【0150】上述した紙ドキュメントは、入力ペン1の
選択対象となるオブジェクトとして、ローカルまたはネ
ットワークコンピュータ上に関連付けられたプログラム
やデータあるいはインターネット上のURL(Universa
l Resource Locator)のようなリンク情報を印刷したも
のであっても構わない。本発明のシステムでは、このよ
うな紙ドキュメント上のオブジェクトに対しても選択、
複製、移動、削除、実行等の処理を行うことができる。
【0151】図42及び図43は、この種の処理に適応
可能な紙ドキュメントの一例を示すものである。特に、
図42における紙ドキュメントは、上記オブジェクトと
して、2つのプログラム(Game0,Game1)を示す文字列
及び3つのサウンドデータ(Song0,Song1,Song2)を文
字列を印刷したものであり、図43における紙ドキュメ
ントは、上記オブジェクトとして、インターネット上の
2つのURLを印刷したものである。図42に示す紙ド
キュメント上で、入力ペン1を上記プログラムまたはサ
ウンドデータのオブジェクトのいずれかの上に置いた
後、実行ボタンを押下すると、紙入力制御部44では、
特定操作認識部441が、上記実行の指示がなされたこ
と及びその指示位置を認識する。この時、ドキュメント
間対応管理部442は、この紙ドキュメントと対応する
電子ドキュメントを管理している。操作反映部443
は、この電子ドキュメント上の上記特定操作認識部44
1により認識された位置のリンク情報を特定し、このリ
ンク情報に基づき、上記実行指示されたオブジェクトに
対応するプログラムを実行するか、あるいは上記実行指
示されたオブジェクトに対応するサウンドデータ(Song
0,Song1,Song2のいずれかの音楽ファイル)の運用(演
奏)に係わる制御を行う。同様に、図43に示す紙ドキ
ュメント上において、入力ペン1を上記2つのURLか
ら成るオブジェクトのいずれかの上に置いた後、実行ボ
タンを押下する操作を行うと、操作反映部443は、こ
の電子ドキュメント上の紙ドキュメントで入力ペン1に
より指示された位置に対応する位置のリンク情報を特定
し、このリンク情報に基づき、対応するURLのホーム
ページを表示部50上に表示する制御を行う。
【0152】図42,図43の紙ドキュメントにおいて
は、リンク先がプログラムやURLであったが、この
他、リンク先は、別の紙ドキュメントであっても良い。
この場合の運用方法について、図44乃至図46を参照
して説明する。まず、図44は、複数枚の紙ドキュメン
ト(10-1,10-2,10-3,…,10-n)で構成されるあ
る資料において、各紙ドキュメント(10-1,10-2,1
0-3,…,10-n)の右上にそれぞれのドキュメントを一
意に認識するための紙紋が印刷されている様子を示して
いる。ここで、各紙ドキュメント(10-1,10-2,10
-3,…,10-n)の右上の文字「A1,A2,…,An」
は紙紋を示しており、この中で「A」に続く数字が各紙
ドキュメントのページ数を示している。紙入力制御部4
4において、この紙紋を用いることにより、操作対象の
紙ドキュメントをそれぞれに認識できることは上述した
通りである。
【0153】更に、本発明では、これらの各紙ドキュメ
ント(10-1,10-2,10-3,…,10-n)に対して、そ
れぞれ別の紙ドキュメントへのリンクを示すリンク情報
を印刷する。図45は、図44に示した複数枚の資料中
の1ページ目の紙ドキュメント(10-1)の内容を示す
ものであり、右下の「A2」という文字が2枚目の紙ド
キュメント(10-2)へのリンク情報である。ここで、
「A2」は、2枚目の紙ドキュメント(10-2)と一意
に対応付けられた紙紋である(図44参照)。この1ペ
ージ目の紙ドキュメント(10-1)上で、入力ペン1に
より、紙面右下の「A2」なるリンク情報上で実行ボタ
ンを押下することで、ドキュメント対応管理部442で
の管理対象の電子ドキュメントをこの「A2」という紙
紋を持つ紙ドキュメント(10-2)に対応した電子ドキ
ュメントに切り換えることができる。
【0154】すなわち、上記ペン操作に対し、紙入力制
御部44では、特定操作認識部441が、上記実行の指
示がなされたこと及びその指示位置を認識する。この
時、ドキュメント間対応管理部442は、この紙ドキュ
メント(10-1)と対応する電子ドキュメントを管理し
ている。操作反映部443は、この電子ドキュメント上
の上記特定操作認識部441により認識された位置のリ
ンク情報を特定し、このリンク情報に基づき、上記実行
指示されたオブジェクトに対応する2ページ目の紙ドキ
ュメント(10-2)に対応する電子ドキュメントを展開
する処理を実行する。
【0155】上記ペン操作の後、操作者が2ページ目の
紙ドキュメント(10-2)を1ページ目の紙ドキュメン
ト(10-1)の真上に重ね合わせるようにすれば、上記
展開された電子ドキュメントと当該2ページ目の紙ドキ
ュメント(10-2)とが位置対応することにより、当該
2ページ目の紙ドキュメント(10-2)の位置設定操作
を行うことなく、引き続き当該2ページ目の紙ドキュメ
ント(10-2)を対象としたペン入力操作を行うことが
できる。また、2ページ目の紙ドキュメント(10-2)
を1ページ目の紙ドキュメント(10-1)から離れた位
置で利用したい場合には、操作者は、図35で述べたよ
うな方法によって当該2ページ目の紙ドキュメント(1
0-2)の位置登録操作を行えば良い。
【0156】図46は、2ページ目の紙ドキュメント
(10-2)を1ページ目の紙ドキュメント(10-1)か
ら離れた位置で利用したい場合における入力ペン1の操
作例を示す図である。この場合、2ページ目の紙ドキュ
メント(10-2)の位置登録が終わった時点で、1ペー
ジ目及び2ページ目の紙ドキュメントの設置登録が演算
処理部40で認識されているため、同時に2枚の紙ドキ
ュメントを使用してペン入力操作を行うことができる。
この機能を利用すると、同時に複数本の入力ペン1a,
1b,…を使用可能なマルチペンシステムにおいて、複
数の操作者が複数の紙ドキュメント(10-1,10-2,1
0-3,…,10-n)を同時に操作可能となる。更に、この
複数の紙ドキュメント(10-1,10-2,10-3,…,10
-n)は同一の紙ドキュメントと対応していても構わな
い。
【0157】次に、本システムで扱う別の紙ドキュメン
ト及びその紙ドキュメントに対するペン入力操作につい
て説明する。図47は、本システムの演算処理部40で
扱うデータファイルの構成を印刷した紙ドキュメントの
一例を示すものである。この紙ドキュメントを用いて入
力処理を行うには、まず、図33に述べたような方法
で、この紙ドキュメントの右上に印刷された紙紋を入力
ペン1によりなぞり、当該紙ドキュメントをドキュメン
ト間対応管理部442に認識させる。次に、この紙ドキ
ュメントの4隅の位置を入力ペン1により図47に示す
如くの順序で指示し、それぞれの指示位置で「実行」ボ
タンを押すことにより、演算処理部40に対して位置登
録を行う。
【0158】この位置登録が終わった後の紙ドキュメン
ト上でのオブジェクトの選択操作は、図38で述べたよ
うな方法により行う。これにより、図48に示す紙オブ
ジェクト上で、操作者が、例えばファイル「picture0」
を示すオブジェクト上まで入力ペン1を移動させ、選択
ボタンを押下すると、紙入力制御部44の特定操作認識
部444では、上記入力ペン1の指示位置に基づきこの
紙ドキュメントと対応する電子ドキュメント上のファイ
ル「picture0」に対応する操作であることが認識され
る。
【0159】次に、この選択したファイル「picture0」
をtmpディレクトリに複製あるいは移動させたい場
合、操作者は、入力ペン1を、これら複製あるいは移動
操作にそれぞれ対応した複製若しくは移動ボタンを押下
しながら、図49に示す如く、移動若しくは複製先のt
mpディレクトリ上まで移動させる。この時、操作者が
行った操作を分かり易くするために、紙ドキュメント上
に、同図に示すような操作に対応した筆記色により移動
軌跡を描画することも可能である。
【0160】また、紙オブジェクト上でのファイルの削
除操作は、図50に示す如くのペン操作により行う。同
図は、特に、tmpディレクトリ内のtmp_file0を削除
する場合の操作例である。この場合、操作者は、紙ドキ
ュメント上で、入力ペン1により削除対象のオブジェク
トであるtmp_file0を選択した後、当該オブジェクト上
で図示する如く×(ばつ)印を描画すれば良い。
【0161】また、紙ドキュメント上でのオブジェクト
に対する編集及び実行操作は、対象となるオブジェクト
上に入力ペン1を移動させ、特定のボタンをダブルクリ
ックすることで行う。このペン操作により、例えば、画
像ファイル等のデータ系のファイルの場合は、編集用の
プログラムが起動され、対象のファイルが編集可能な状
態になる。また、プログラムファイルの場合は、上記ペ
ン操作によって、当該プログラムが起動される。
【0162】更に、紙ドキュメント上でのファイルの属
性の変更操作については、変更対象のオブジェクト上
で、入力ペン1により変更内容に対応した描画操作を行
うようにする。図51は、ファイルの書き込み属性(書
き込みを許可するか否か)に関するペン操作の一例を示
すものである。同図に示す如く、対象ファイルpicture0
を書き込み許可にする場合、まず、当該ファイルpictur
e0を選択した後、その近傍に書き込み許可を示す「W
○」という描画を行えば良い。これに対し、対象ファイ
ルpicture2を書き込み禁止にする場合は、まず、当該フ
ァイルpicture2を選択した後、その近傍に書き込み禁止
を示す「W×」という描画を行えば良い。
【0163】次に、紙オブジェクトを用いたメール送信
制御について説明する。この場合、紙ドキュメントとし
ては、例えば、図52に示す如くのメール送信フォーム
が印刷されたものを用いる。同図に示す如く、この紙ド
キュメントでは、右上部に当該紙ドキュメントを一意に
認識するための紙紋「M1」が印刷されている。この紙
紋については、Mという文字はメール送信フォームであ
ることを示し、それに続く数字は演算処理部40の記憶
部401で保管されるメールシートの番号を示してい
る。この紙ドキュメント上の領域aは、メール本文を書
き込む領域である。また、領域bには、メールアドレス
が印刷されている。更に、「送信」という文字が描画さ
れたエリアは、作成されたメールドキュメントを実際に
送信する際に、その送信を指示するためのコマンドとし
て用いられるものである。
【0164】この紙ドキュメントを用いて入力処理を行
う場合も、その右上に印刷された紙紋を入力ペン1によ
りなぞり、当該紙ドキュメントを紙入力制御部47のド
キュメント間対応管理部442に認識させると共に、こ
の紙ドキュメントの4隅の位置を入力ペンにより指示
し、それぞれの指示位置で「実行」ボタンを押すことに
より、演算処理部40に対する位置登録を行う。
【0165】この位置登録が終わった後、紙ドキュメン
ト上の領域aにおいて、送信しようとするメッセージ等
を入力ペン1により描画する操作を行う。この描画操作
により、紙入力制御部44内では、ドキュメント間対応
管理部442にて管理中の上記紙ドキュメントに対応す
るメール送信フォームの上記領域a相当部分に、上記入
力ペン1により描画入力された内容が埋め込まれたメー
ルドキュメントが生成される。
【0166】図53は、その生成されたメールドキュメ
ント(実際にはそのメールドキュメントの印刷結果)を
示すものである。この中で、領域aに記載された内容は
入力ペン1により描画入力された内容である。この内容
は、メール本文として演算処理部40の例えば記憶部4
01に登録されている。この内容を文字認識システムに
より文字情報に変換し、この文字情報をメール本文とし
て送信することも可能である。この場合、図53におけ
る紙ドキュメント上で送信アドレスを指定する。紙ドキ
ュメントには、領域b内にメールアドレス帳が印刷され
ている。操作者は、このメールアドレス帳の中から送信
アドレスを指定するが、実際の操作としては、希望のア
ドレスが印刷されている位置に入力ペン1を移動させ、
実行ボタンを押下する。この送信アドレスの指定後、送
信の指示を行う。この送信指示の実際の操作としては、
紙ドキュメント上の「送信」と印刷された位置に入力ペ
ン1を移動させ、実行ボタンを押下する。この操作の
後、演算処理部40では、上述したメールドキュメント
の内容を含んだメールが外部インタフェース405を経
て上記領域bでのペン操作で指定された送信アドレスに
対して自動的に送信される。
【0167】図52,図53に示す例では、メールアド
レス帳を印刷した紙ドキュメントを用いたが、その変形
例としては、ある特定の送信先専用のメールシートを印
刷した紙ドキュメントを用いるようにしても良い。この
場合、メールの宛先は紙ドキュメント上の紙紋に1対1
で対応しており、操作者に、誰に対して送るためのメー
ルシートなのかを認識させるために、当該メールシート
上の例えばメール本文領域内にその宛名を印刷しておく
ことが望ましい。この種のメール送信フォームを図5
2,図53に示したメール送信フォームと比べた場合の
利点として、予めメールシート中に特定の相手先の対応
コンテンツを入れておくことが可能になる点である。
【0168】図54は、この変形例に係わる紙ドキュメ
ントの一例を示すものである。この例の紙ドキュメント
は、メールの送信先が「田中さん」に固定された特定送
信先専用メール送信フォームを形成している。このメー
ル送信フォームの領域a内には、予め「田中さん」に送
信するメールドキュメントに必要なコンテンツ(「田中
様、こんにちわ。さようなら。」)が印刷されている。
このメール送信フォームを持つ紙ドキュメント上で、操
作者は、先に述べたような方法で、メール本文を、入力
ペン1の描画操作により書き込む。図55は、図54に
示す紙ドキュメント上で操作者が入力ペン1によりメー
ル本文を描画(筆記)した後の状態を示すものである。
この描画操作により、紙入力制御部44内では、ドキュ
メント間対応管理部442にて管理中の上記紙ドキュメ
ントに対応するメール送信フォームの該当部分に、上記
入力ペン1により描画入力された内容が埋め込まれたメ
ールドキュメントが生成される。その後、操作者が、紙
ドキュメント上の「送信」と印刷された領域に入力ペン
1を移動させ、実行ボタンを押下することにより、演算
処理部40では、上記メールドキュメントの内容が、当
該特定送信先専用メール送信フォームに対応付けられて
いる宛先(田中様宛)に外部インタフェース405を通
じて自動的に送信される。
【0169】図54,図55の例において、メールドキ
ュメント上における「田中様、こんにちわ。さような
ら。」等の内容は、本質的には、送信するメールドキュ
メントに付加されれば良いものであるが、メール本文を
作成する際の操作者の作業性を考えると、当該内容が紙
ドキュメント上に予め印刷されていることが望ましい。
この送信に特化したメール送信フォームを用いて、比較
的手間をかけることなく、メールドキュメントを作成で
きる。
【0170】次に、メール送信を行うための紙ドキュメ
ントの更に別の変形例について述べる。この変形例の紙
ドキュメントは、既に作成済みの文章、絵、ファイル等
に対応するオブジェクトを印刷しておき、これらオブジ
ェクトをペン操作により選択して対応する文章、絵、フ
ァイル等をメールドキュメントに埋め込むことにより、
メール送信作業を効率化しようとするものである。図5
6は、この変形例に係わる紙ドキュメントの一例を示す
ものであり、紙紋と、送信の指示を行う領域と、メール
本文を記入する領域aと、送信アドレスを印刷した領域
と、既に作成済みの文章、絵、ファイル等に対応するオ
ブジェクトを印刷した領域を有するメール送信フォーム
を形成している。
【0171】このメール送信フォームから成る紙ドキュ
メントを用いたメール送信は、図57に示すようなペン
操作により行う。まず、操作者は、この紙ドキュメント
上で、入力ペン1を用いて、利用したいオブジェクトを
選択した後、このオブジェクトをメール本文を記入する
領域内の所望の配置位置に複製する操作を行う。同図
は、特に、定形の文章0と挿絵1を本文記入領域内の所
望の位置に配置する場合のペン操作の例を示している。
【0172】このペン操作に対し、紙入力制御部44の
操作反映部443は、ドキュメント間対応管理部442
で管理中の上記紙ドキュメントに対応する電子ドキュメ
ントに、入力ペン1により複製操作されたオブジェクト
である定形の文章0と挿絵1を埋め込んだメールドキュ
メントを生成する。この例の紙ドキュメントを用いたド
キュメント生成作業では、使用頻度の高い文章や絵等を
メールドキュメントの本文に埋め込む作業を大幅に効率
化できる。その後、このメールドキュメントを送信する
には、当該紙ドキュメントに送信の指示を行う領域と送
信アドレスを印刷した領域が設けられていることを利用
し、図53や図55で説明した送信操作と同様の操作に
より対処できる。
【0173】更に、このシステムでは、紙ドキュメント
上に紙切れや人形等の実オブジェクトを配置し、この実
オブジェクトの移動に合わせて入力ペン1を移動させる
ことにより、オブジェクト間対応管理部442で管理さ
れる電子ドキュメント上で実オブジェクトの所在位置を
認識させ、表示部50に表示させることで、紙ドキュメ
ントからのペン入力によるゲームを楽しむこともでき
る。図58は、この場合に用いられる紙ドキュメントの
一例を示すものであり、具体的には、将棋を行うための
将棋盤が印刷されたものである。この将棋盤の上には、
初期状態の配置として、将棋の各駒(実オブジェクト)
が並んでいる。ここで、それぞれの駒の初期状態での配
置は常に一定であるので、これらの駒の配置状態を演算
処理部40にわざわざ認識させる必要は無い。すなわ
ち、演算処理部40の記憶部401には、この将棋盤が
印刷された紙ドキュメントに対応する電子ドキュメント
が予め保管されており、将棋を開始する場合は、ドキュ
メント間対応管理部442が、この紙ドキュメント(将
棋盤)上のペン操作(例えば、図32や図33における
ような操作)に応じて、対応する電子ドキュメントを特
定し、表示部50上に表示させるだけで良い。
【0174】この紙ドキュメント上で、将棋を楽しむた
めには、以下のように操作する。すなわち、自分の手番
の時には、入力ペン1にて移動させる駒を選択し、更に
この駒を入力ペン1で所望の位置まで移動させる。この
移動操作中は、入力ペンの移動ボタンを押し続けるよう
にする。この駒の移動に際しての入力ペン1の操作例を
図59に示している。このような入力ペン1の操作によ
って、演算処理部40では、駒の移動が認識される、そ
して、その認識結果を基に、表示部50上に、紙オブジ
ェクト上の駒の配置と同じ状況を表示する。これによ
り、対戦者以外の人々は、紙オブジェクト上ではなく、
表示部50上でその対戦状況を確認できる。この時の対
戦の棋譜を記憶部401内に保存できることは言うまで
もない。また、この保存結果を用いて、ある棋譜状態か
ら将棋を再開することも可能である。
【0175】また、駒の初期段階の位置等を認識させる
場合には、例えば図60に示すようなペン操作により対
処する。まず、将棋盤たる紙ドキュメントには、各駒に
相当するオブジェクトが紙面の左側の駒領域内に印刷さ
れている。駒を配置しようとする時、操作者は、まず、
入力ペン1を用いて配置しようとする駒を上記駒領域内
で特定する。これは、既に説明した処理と同様、上記駒
領域内の所望の駒の上まで入力ペン1を移動させ、選択
ボタンを押すことにより実行可能である。これにより、
演算処理部4では、操作者が希望する駒の種類を認識で
きる。次に、入力ペンの複製ボタンを押し、その選択し
た駒を移動させたい位置まで入力ペン1を移動させ、複
製ボタンの押下を解除する。この駒の複製先には、当該
選択した駒に対応する実オブジェクトが配置されるよう
にする。このようなペン操作を、各駒分行うことによ
り、図60に示すような駒の初期段階の配置を紙ドキュ
メントと電子ドキュメント間の対応を保ちながら実現で
きる。尚、図60に示す例は、駒の初期段階の配置を認
識させるものであったが、任意の位置へ任意の駒を配置
してそれらの位置関係を認識させることもできる。これ
により、例えば、詰め将棋等にも対応できる。上述した
例は、いずれも、オブジェクト(駒)の移動や複製につ
いてのみ述べてきたが、前述した説明を参照すれば、当
該オブジェクトの削除についても対処できることは明ら
かである。
【0176】ところで、上述した紙ドキュメントの例
は、いずれも演算処理部40内のワープロソフト等のア
プリケーションで作成し、プリンタ部404により印刷
出力した文書等の情報を持つものであった。つまり、上
述したいずれの例も、紙ドキュメントに対応する電子ド
キュメントが必ずシステム本体内に存在することが前提
であった。しかしながら、本発明では、システム本体内
に元々存在しない雑誌等の紙ドキュメントも扱うことが
可能である。例えば、ある雑誌Aは、図61に示す如
く、各ページに印刷された雑誌Aという紙紋とそれに続
くP30等のページ数とにより、これまでと同様のペン
操作で、どの雑誌の何ページ目であるかを、演算処理部
40より認識可能である。この機能を利用し、紙ドキュ
メント(雑誌)に対し、前述と同様のペン操作にて、あ
るページに印刷されているオブジェクト(内容)を入力
ペン1で選択し(入力ペンで内容をなぞり、描画機能を
利用してその内容を判別する)、認識することができ
る。一方で、この雑誌Aに相当する情報をデータベース
としてCD−ROMやネットワーク上に用意しておく。
そして、上記認識結果に応じて、外部インタフェース4
05を通じて、上記CD−ROMやネットワーク等から
対応する内容を複製するようにすれば良い。この場合、
キーボードやマウスを用いた現状の操作とは異なり、雑
誌そのものに対してペン操作を行うことで、希望の情報
を引き出すことが可能となる。入力ペン1で選択し、複
製操作を施されたオブジェクト(情報)は、演算処理部
40内に設定されたスクラップ文書等に自動的に張り付
けられ、再利用するといった運用も可能である。
【0177】この他、本発明は、上述した主旨を逸脱し
ない範囲内で、種々の応用あるいは変形が可能であるこ
とは言うまでもない。例えば、紙ドキュメントの複製、
移動に関して、移動する先の領域指定をそのサイズの指
定とともに行う構成としても良い。この場合の領域指定
は、入力ペン1の領域指定ボタンを用いて移動先の位置
を入力ペン1で指定する。また、サイズの変更について
は、移動する先の領域を設置することで指定することが
できる。また、本発明では、マルチペン機能をサポート
しているが、この機能に関連して、同時に使用する複数
の入力ペンの筆記色に関して、各々異なった色を設定す
ることにより、紙ドキュメント上で操作を行った操作者
を特定し易くすることができる。また、各入力ペンを特
定操作専用としても良く、この場合には紙ドキュメント
上における各操作の認識が極めて容易になる。
【0178】
【発明の効果】以上説明したように、請求項1または請
求項19の発明によれば、紙ドキュメント上での入力ペ
ンの特定操作に応じて紙ドキュメントと電子ドキュメン
ト間を1対1に対応付けたうえで、紙ドキュメント上で
の入力ペンの操作を対応する電子ドキュメントに反映さ
せるようにしたため、紙ドキュメントを用いて、コンピ
ュータと対話的に、その紙ドキュメントに対応する電子
ドキュメントに対し、当該紙ドキュメント上でのペン操
作に対応する種々の操作をリアルタイムに実施可能とな
る。
【0179】ここで、紙ドキュメント上に別の紙ドキュ
メントへのリンク情報を持たせ、入力ペンによる当該リ
ンク情報の選択指示操作に基づき上記別の紙ドキュメン
トに対応する電子ドキュメントをドキュメント間対応管
理下におくように構成すれば、複数の紙ドキュメント上
から、一人または複数の操作者が、それぞれ任意の位置
から、入力領域の制限を受けることなくその操作を実現
できる。
【0180】また、入力ペンに筆記具を設け、かつ紙ド
キュメントに対する操作内容に応じて当該操作内容に対
応する筆記が行えるように構成すれば、紙ドキュメント
を用いて対応する電子ドキュメントへの操作を行う場合
に、紙ドキュメント上で行った操作内容が当該紙ドキュ
メント上に筆記情報として残り、修正履歴の確認が容易
に行えるようになる。
【0181】また、請求項17の発明によれば、紙ドキ
ュメント上での入力ペンによる特定描画情報を基に、該
描画情報に対応する外部電子ドキュメントを外部より取
り込み、上記紙ドキュメントに対して1対1に対応付け
て管理したうえで、当該紙ドキュメント上での入力ペン
の操作を対応する外部電子ドキュメントに反映させる構
成としたため、システム本体内に元々存在しない雑誌等
の電子オブジェクトに対しても、対応する紙ドキュメン
ト上でのペン操作を通じて種々の操作を行うことができ
る。
【図面の簡単な説明】
【図1】本発明に係わるペン入力装置の位置検出原理を
説明するための概略構成図。
【図2】本発明に係わるペン入力装置を適用した情報処
理システムの概略構成図。
【図3】図2における情報処理システムの一実施の形態
を示すブロック図。
【図4】図3に示した超音波受信部の受信処理部の機能
構成を示すブロック図。
【図5】図4に示したスタイラスペンにおける基本クロ
ックと超音波送出タイミングとの関係を示すタイミング
チャート。
【図6】図4に示したカウンタによる超音波受信時間の
検出動作を示すタイミングチャート。
【図7】図3に示した情報処理システムで用いるスタイ
ラスペンの内部回路構成を示すブロック図。
【図8】図3に示した超音波受信部及び演算処理部の機
能構成を示すブロック図。
【図9】図7に示したスタイラスペンの超音波送出の基
本動作を示すタイミングチャート。
【図10】図9における超音波送出間隔Twaitの可変設
定条件を示す表図。
【図11】スタイラスペンから送出された超音波が超音
波受信素子で受信される経路の様子を示す図。
【図12】図11に示した場合における超音波受信素子
における超音波受信信号を説明する図。
【図13】図12に示した場合における不都合を説明す
るための図。
【図14】図3に示した情報処理システムで用いるスタ
イラスペンの外観構成を示す図。
【図15】マルチペン機能が選択された場合におけるス
タイラスペンの超音波送信タイミングを示す図。
【図16】スタイラスペンによる超音波送信タイミング
制御の状態遷移図。
【図17】超音波受信部による受信タイミング制御の状
態遷移図。
【図18】筆記具としての機能も有するスタイラスペン
の構成例を示す図。
【図19】筆記具としての機能も有するスタイラスペン
の別の構成例を示す図。
【図20】図19において点線で囲んだ部分を拡大して
示す構成図。
【図21】図19に示した超音波通過窓の部分を拡大し
て示す構成図。
【図22】図3の情報処理システムにおける超音波受信
素子の実装形態を示す図。
【図23】図22に示した実装形態時における超音波伝
播の様子を示す図。
【図24】図22に示した実装形態時におけるスタイラ
スペン位置座標の検出原理を説明するための図。
【図25】図3に示した情報処理システムにおいて紙ド
キュメント上でのペン入力操作を行う場合の運用イメー
ジを示す図。
【図26】図25に示す運用形態の時に用いるスタイラ
スペンの外観構成を示す図。
【図27】紙ドキュメントの位置登録に係わる位置決め
領域の設定例を示す図。
【図28】紙ドキュメントの位置登録に係わる初期設定
用データの収集処理を示す図。
【図29】紙ドキュメントの内部領域位置座標検出に際
してのスタイラスペンの指示操作を示す図。
【図30】紙ドキュメントの内部領域位置座標検出に係
わるスタイラスペンの指示位置と各位置決め領域との座
標のとらえ方を示す図。
【図31】図3における演算処理部の詳細構成を示す
図。
【図32】電子ドキュメントとの対応付けを可能にする
紙ドキュメントの一例を示す図。
【図33】電子ドキュメントとの対応付けを可能にする
紙ドキュメントの別の例を示す図。
【図34】パスワード設定を可能にする紙ドキュメント
を示す図。
【図35】紙ドキュメントの位置登録操作を示す図。
【図36】紙ドキュメントの一部領域の位置登録操作を
示す図。
【図37】紙ドキュメント上でのオブジェクト選択操作
の一例を示す図。
【図38】紙ドキュメント上でのオブジェクト選択操作
の別の例を示す図。
【図39】選択オブジェクトの複製または移動操作を示
す図。
【図40】選択オブジェクトの削除操作を示す図。
【図41】選択オブジェクトの属性変更操作を示す図。
【図42】オブジェクトとしてリンク情報を持つ紙ドキ
ュメントの一例を示す図。
【図43】オブジェクトとしてリンク情報を持つ紙ドキ
ュメントの別の例を示す図。
【図44】複数の紙ドキュメントから成る資料の紙紋印
刷態様を示す図。
【図45】リンク先として別の紙ドキュメントを持つ紙
ドキュメントを示す図。
【図46】リンク先の紙ドキュメントにおける位置登録
操作を示す図。
【図47】ファイル管理情報を印刷して成る紙ドキュメ
ントを示す図。
【図48】図47における紙ドキュメントでのオブジェ
クト選択操作を示す図。
【図49】図47における選択オブジェクトの複製また
は移動操作を示す図。
【図50】図47における紙ドキュメント上でのオブジ
ェクト削除操作を示す図。
【図51】図47における紙ドキュメント上でのオブジ
ェクト属性変更操作を示す図。
【図52】メール送信フォームを印刷して成る紙ドキュ
メントの一例を示す図。
【図53】図52における紙ドキュメント上でのメール
生成/送信操作を示す図。
【図54】メール送信フォームを印刷して成る紙ドキュ
メントの別の例を示す図。
【図55】図54における紙ドキュメントのメール本文
記入後の状態を示す図。
【図56】メール送信フォームを印刷して成る紙ドキュ
メントの更に別の例を示す図。
【図57】図56における紙ドキュメント上でのメール
生成操作を示す図。
【図58】将棋盤を印刷して成る紙ドキュメントの一例
を示す図。
【図59】図58における紙ドキュメント上の実オブジ
ェクト移動操作を示す図。
【図60】将棋盤を印刷して成る紙ドキュメント上での
駒の初期位置登録操作を示す図。
【図61】紙ドキュメントとして用いる雑誌上での紙紋
印刷形態を示す図。
【符号の説明】
1,1a,1b…スタイラスペン、10,10-1,10-
2,10-3,…,10-n…紙ドキュメント、11…送信タイ
ミング制御部、12…シーケンサ、13…オシレータ、
14…ボタン、14a…第1ボタン、14b…第2ボタ
ン、15…アンプ部、16…オペアンプ、17…送出
部、18…超音波送出器、30…超音波受信部、31…
受信センサ部、31a,31b,31c…超音波受信素
子、32…受信処理部、321,322,323…カウ
ンタ、324…基本クロック生成回路、325,32
6,327…受信時間保持回路、60…アンプ部、61
…オペアンプ、70…受信タイミング制御部、71…カ
ウンタ、レジスタ、72…シーケンサ、73…オシレー
タ、74…SCC(シリアル通信制御部)初期化部、3
3…通信部、331…SCC(シリアル通信制御部)、
332…232Cドライバ、34…ペンホルダ、35…
同期回路、40…演算処理部、41…通信部、42…演
算部、43…判別部、44…紙入力制御部、441…特
定操作認識部、442…ドキュメント間対応管理部、4
43…操作反映部、401…記憶部、402…操作部、
403…文書処理部、404…プリンタ部、405…外
部インタフェース、406…各種動作機能部、407…
CPU(中央処理装置)、45…表示制御部、50…表
示部

Claims (21)

    【特許請求の範囲】
  1. 【請求項1】 操作内容指示機能を有する入力ペンの指
    示位置を検出し、該指示位置に基づき前記入力ペンの操
    作に基づく入力処理を行うペン入力装置において、 少なくとも電子ドキュメントを記憶する記憶手段と、 前記電子ドキュメントを紙ドキュメントとして印刷出力
    する印刷手段と、 前記紙ドキュメント上での前記入力ペンの操作内容を認
    識する操作認識手段と、 認識された操作内容のうちの特定操作に応じて前記紙ド
    キュメントと対応する電子ドキュメントを当該紙ドキュ
    メントに対して1対1に対応付けて管理するドキュメン
    ト間対応管理手段と、 前記操作認識手段により認識された前記操作内容に応
    じ、前記紙ドキュメント上での前記入力ペンの操作を対
    応する前記電子ドキュメントに反映させる操作反映手段
    とを具備することを特徴とするペン入力装置。
  2. 【請求項2】 前記特定操作は、前記入力ペンによる前
    記紙ドキュメント上の所定のマーキング領域内での予め
    定められた情報パターンの指示操作であることを特徴と
    する請求項1記載のペン入力装置。
  3. 【請求項3】 前記特定操作は、前記入力ペンによる前
    記紙ドキュメント上の所定のマーキング領域内での予め
    定められた図形情報の描画操作であることを特徴とする
    請求項1記載のペン入力装置。
  4. 【請求項4】 前記特定操作は、前記入力ペンによる前
    記紙ドキュメント上の所定領域内での予め定められたパ
    スワードに対応する情報の描画操作を含むことを特徴と
    する請求項1乃至3記載のペン入力装置。
  5. 【請求項5】 前記紙ドキュメント上の任意位置での前
    記入力ペンの位置指示操作を認識し、該認識時の前記入
    力ペンの指示位置から形成される当該紙ドキュメント上
    の領域と前記電子ドキュメントが形成する領域との位置
    関係を設定する位置関係設定手段と、 前記位置関係設定手段による設定領域に基づいて前記電
    子ドキュメントの当該設定領域に対応する領域の内容を
    表示手段に表示する表示制御手段と、 前記設定領域内においてのみ前記入力ペンによる操作を
    前記電子ドキュメントへ反映させる処理を有効にすべく
    制御する入力領域規制手段とを具備することを特徴とす
    る請求項1記載のペン入力装置。
  6. 【請求項6】 前記表示制御手段は、前記入力ペンの操
    作内容及び該操作内容に基づく前記操作反映手段による
    前記電子ドキュメントへの操作反映結果を前記表示手段
    に表示することを特徴とする請求項5記載のペン入力装
    置。
  7. 【請求項7】 前記入力ペンの操作内容指示機能は、前
    記紙ドキュメント上のオブジェクトに対する選択、複
    製、移動、削除、編集、属性変更、実行のうちから少な
    くとも1つの操作を指示可能に構成され、前記操作反映
    手段は、前記操作認識手段による前記操作指示機能によ
    る前記各指示操作の認識結果を基に、前記電子ドキュメ
    ント上の対応するオブジェクトに該当する指示操作を施
    すことを特徴とする請求項5記載のペン入力装置。
  8. 【請求項8】 前記紙ドキュメント上のオブジェクト
    は、リンク情報であり、前記操作反映手段は、前記紙ド
    キュメント上での前記入力ペンによる前記リンク情報の
    選択、複製、移動、削除、実行のそれぞれの指示操作に
    対し、該リンク情報に対する該当指示操作を施すことを
    特徴とする請求項7記載のペン入力装置。
  9. 【請求項9】 前記紙ドキュメント上のオブジェクト
    は、プログラムであり、前記操作反映手段は、前記入力
    ペンによる当該オブジェクトの実行指示操作に基づき前
    記プログラムを実行することを特徴とする請求項7記載
    のペン入力装置。
  10. 【請求項10】 前記紙ドキュメントは、送信宛先情報
    であるオブジェクト及び送信指示コマンドとして機能す
    るオブジェクトを含み、前記操作反映手段は、前記入力
    ペンによる前者のオブジェクトの選択指示操作に基づき
    前記送信宛先情報を前記表示手段に表示し、後者のオブ
    ジェクトの実行指示操作に基づき対応する電子ドキュメ
    ントを前記送信宛先情報に従って送信することを特徴と
    する請求項7記載のペン入力装置。
  11. 【請求項11】 前記紙ドキュメント上のオブジェクト
    は、定形文章、挿絵を含み、前記操作反映手段は、前記
    入力ペンによる前記オブジェクトの選択、複製、移動の
    各指示操作に基づきそれぞれ前記定形文章、挿絵を選択
    し、対応する電子ドキュメント上に複製しあるいは移動
    させることを特徴とする請求項10記載のペン入力装
    置。
  12. 【請求項12】 前記紙ドキュメント上のオブジェクト
    は、ファイル管理情報であり、前記操作反映手段は、前
    記入力ペンによる当該オブジェクトの選択、複製、移
    動、削除、編集、属性変更、実行の各指示操作に基づき
    当該指示位置の前記ファイル管理情報に対する該当する
    指示操作を施すことを特徴とする請求項7記載のペン入
    力装置。
  13. 【請求項13】 前記リンク情報は、別の紙ドキュメン
    トであり、前記操作反映手段は、前記入力ペンによる当
    該リンク情報の選択指示操作に基づき前記別の紙ドキュ
    メントに対応する電子ドキュメントを前記ドキュメント
    間対応管理手段の管理下に展開させることを特徴とする
    請求項8記載のペン入力装置。
  14. 【請求項14】 前記紙ドキュメント上に該紙ドキュメ
    ントの印刷オブジェクトに対応しかつ移動可能な実オブ
    ジェクトを配置すると共に、前記入力ペンによる前記印
    刷オブジェクトに対する複製、移動、削除の各操作を前
    記実オブジェクトの位置に対応付けて指示し、前記操作
    反映手段は、前記紙ドキュメント上での前記入力ペンに
    よる前記複製、移動、削除の指示操作に対し、対応する
    電子ドキュメント上で前記印刷オブジェクトに対応する
    オブジェクトの複製、移動、削除の処理を行うことを特
    徴とする請求項5記載のペン入力装置。
  15. 【請求項15】 前記入力ペンは、前記複製または移動
    の指示操作に際し、複製または移動先の領域を指定する
    操作機能を有し、前記操作反映手段は、前記複製または
    移動に係わる情報を前記領域に収まるように拡大または
    縮小処理する機能を有することを特徴とする請求項7記
    載のペン入力装置。
  16. 【請求項16】 前記入力ペンは、筆記具機能を具備
    し、前記紙ドキュメント上での操作軌跡を当該紙ドキュ
    メントに筆記可能であることを特徴とする請求項7記載
    のペン入力装置。
  17. 【請求項17】 操作内容指示機能を有する入力ペンの
    指示位置を検出し、該指示位置に基づき前記入力ペンの
    操作に基づく入力処理を行うペン入力装置において、 少なくとも電子ドキュメントを記憶する記憶手段と、 紙ドキュメント上での前記入力ペンの操作内容を認識す
    る操作認識手段と、 認識された操作内容のうちの特定描画操作に基づく描画
    情報を認識し、該描画情報に対応する外部電子ドキュメ
    ントを外部より取り込んで前記記憶手段に記憶する外部
    情報取込手段と、 前記外部電子ドキュメントを前記特定描画操作がなされ
    た前記紙ドキュメントに対して1対1に対応付けて管理
    するドキュメント間対応管理手段と、 前記操作認識手段により認識された前記操作内容に応
    じ、前記紙ドキュメント上での前記入力ペンの操作を対
    応する前記外部電子ドキュメントに反映させる操作反映
    手段とを具備することを特徴とするペン入力装置。
  18. 【請求項18】 前記紙ドキュメントは雑誌であり、前
    記描画情報は当該雑誌の雑誌名及びページ数であり、前
    記外部情報取込手段は、ネットワークまたは可搬型記憶
    媒体を通じて前記雑誌の前記ページの内容に対応する外
    部ドキュメントを入手する手段であることを特徴とする
    請求項17記載のペン入力装置。
  19. 【請求項19】 操作内容指示機能を有する入力ペンの
    指示位置を検出し、該指示位置に基づき前記入力ペンの
    操作に基づく入力処理を行うペン入力方法において、 電子ドキュメントを基に得た紙ドキュメント上での前記
    入力ペンの操作内容を認識し、 前記認識された操作内容のうちの特定操作に応じて前記
    紙ドキュメントと対応する電子ドキュメントを当該紙ド
    キュメントに対して1対1に対応付けて管理するととも
    に、 前記認識された操作内容に応じ、前記紙ドキュメント上
    での前記入力ペンの操作を対応する前記電子ドキュメン
    トに反映させることを特徴とするペン入力方法。
  20. 【請求項20】 前記紙ドキュメント上の任意位置での
    前記入力ペンの位置指示操作を認識し、該認識時の前記
    入力ペンの指示位置から形成される当該紙ドキュメント
    上の領域と前記電子ドキュメントが形成する領域との位
    置関係を設定するとともに、 前記設定領域に基づいて前記電子ドキュメントの当該設
    定領域に対応する領域の内容を表示手段に表示し、 前記設定領域内においてのみ前記入力ペンによる操作を
    前記電子ドキュメントへ反映させる処理を有効にすべく
    制御することを特徴とする請求項19記載のペン入力方
    法。
  21. 【請求項21】 前記入力ペンは、前記紙ドキュメント
    上のオブジェクトに対する選択、複製、移動、削除、編
    集、属性変更、実行のうちから少なくとも1つの操作を
    指示可能であり、前記入力ペンによる操作を前記電子ド
    キュメントへ反映させる処理は、前記各指示操作の認識
    結果を基に、前記電子ドキュメント上の対応するオブジ
    ェクトに該当する指示操作を施す処理であることを特徴
    とする請求項20記載のペン入力方法。
JP10009594A 1998-01-21 1998-01-21 ペン入力方法及び装置 Pending JPH11212691A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP10009594A JPH11212691A (ja) 1998-01-21 1998-01-21 ペン入力方法及び装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP10009594A JPH11212691A (ja) 1998-01-21 1998-01-21 ペン入力方法及び装置

Publications (1)

Publication Number Publication Date
JPH11212691A true JPH11212691A (ja) 1999-08-06

Family

ID=11724664

Family Applications (1)

Application Number Title Priority Date Filing Date
JP10009594A Pending JPH11212691A (ja) 1998-01-21 1998-01-21 ペン入力方法及び装置

Country Status (1)

Country Link
JP (1) JPH11212691A (ja)

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003500777A (ja) * 1999-05-28 2003-01-07 アノト・アクティエボラーク 情報の記録
JP2003508831A (ja) * 1999-08-30 2003-03-04 アノト・アクティエボラーク 手書き情報の電子的記録のためのシステム及び装置
JP2003510700A (ja) * 1999-09-17 2003-03-18 シルバーブルック リサーチ プロプライエタリイ、リミテッド 電子メールトークンとしての名刺
JP2003516047A (ja) * 1999-12-01 2003-05-07 シルバーブルック リサーチ ピーティーワイ リミテッド 電話制御の方法およびシステム
JP2006350927A (ja) * 2005-06-20 2006-12-28 Fuji Xerox Co Ltd 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム
US7649808B2 (en) 2006-08-04 2010-01-19 Nec Display Solutions, Ltd. Distance measuring system and method utilizing infrared radiation and ultrasonic wave
US7907968B2 (en) 1999-09-17 2011-03-15 Silverbrook Research Pty Ltd Retrieving contact details using a printed medium
US7925299B2 (en) 1999-12-01 2011-04-12 Silverbrook Research Pty Ltd Messaging using a coded surface
JP2012094156A (ja) * 2004-04-19 2012-05-17 Google Inc レンダリングされた文書からの視覚的取得データに対する処理技術
US8874504B2 (en) 2004-12-03 2014-10-28 Google Inc. Processing techniques for visual capture data from a rendered document
US8903759B2 (en) 2004-12-03 2014-12-02 Google Inc. Determining actions involving captured information and electronic content associated with rendered documents
US8990235B2 (en) 2009-03-12 2015-03-24 Google Inc. Automatically providing content associated with captured information, such as information captured in real-time
US9008447B2 (en) 2004-04-01 2015-04-14 Google Inc. Method and system for character recognition
US9075779B2 (en) 2009-03-12 2015-07-07 Google Inc. Performing actions based on capturing information from rendered documents, such as documents under copyright
US9081799B2 (en) 2009-12-04 2015-07-14 Google Inc. Using gestalt information to identify locations in printed information
US9116890B2 (en) 2004-04-01 2015-08-25 Google Inc. Triggering actions in response to optically or acoustically capturing keywords from a rendered document
US9143638B2 (en) 2004-04-01 2015-09-22 Google Inc. Data capture from rendered documents using handheld device
US9268852B2 (en) 2004-02-15 2016-02-23 Google Inc. Search engines and systems with handheld document data capture devices
US9275051B2 (en) 2004-07-19 2016-03-01 Google Inc. Automatic modification of web pages
US9323784B2 (en) 2009-12-09 2016-04-26 Google Inc. Image search using text-based elements within the contents of images
US9454764B2 (en) 2004-04-01 2016-09-27 Google Inc. Contextual dynamic advertising based upon captured rendered text
US10769431B2 (en) 2004-09-27 2020-09-08 Google Llc Handheld device for capturing text from both a document printed on paper and a document displayed on a dynamic display device
USRE50599E1 (en) 2004-04-01 2025-09-23 Kyocera Corporation Search engines and systems with handheld document data capture devices

Cited By (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003500777A (ja) * 1999-05-28 2003-01-07 アノト・アクティエボラーク 情報の記録
JP4785310B2 (ja) * 1999-05-28 2011-10-05 アノト アクティエボラーク 情報の記録に用いられる製品
JP2003508831A (ja) * 1999-08-30 2003-03-04 アノト・アクティエボラーク 手書き情報の電子的記録のためのシステム及び装置
JP4920153B2 (ja) * 1999-08-30 2012-04-18 アノト アクティエボラーク 手書き情報の電子的記録のためのシステム及び装置
US7952743B2 (en) 1999-09-17 2011-05-31 Silverbrook Research Pty Ltd Mobile telephone for printing a business card
JP2003510700A (ja) * 1999-09-17 2003-03-18 シルバーブルック リサーチ プロプライエタリイ、リミテッド 電子メールトークンとしての名刺
JP2003512688A (ja) * 1999-09-17 2003-04-02 シルバーブルック リサーチ プロプライエタリイ、リミテッド 電子メール認可トークンとしての名刺
US8112120B2 (en) 1999-09-17 2012-02-07 Silverbrook Research Pty Ltd Contact details retrieval using a printed medium
JP4848114B2 (ja) * 1999-09-17 2011-12-28 シルバーブルック リサーチ プロプライエタリイ、リミテッド 電子メール認可トークンとしての名刺
US7907968B2 (en) 1999-09-17 2011-03-15 Silverbrook Research Pty Ltd Retrieving contact details using a printed medium
US8290522B2 (en) 1999-12-01 2012-10-16 Silverbrook Research Pty Ltd Messaging via a coded business card and mobile telephone
JP2003516047A (ja) * 1999-12-01 2003-05-07 シルバーブルック リサーチ ピーティーワイ リミテッド 電話制御の方法およびシステム
US8095110B2 (en) 1999-12-01 2012-01-10 Silverbrook Research Pty Ltd Method for a device to perform a function in response to a command from a printer
US8112072B2 (en) 1999-12-01 2012-02-07 Silverbrook Research Pty Ltd Control of a communications device
US7925299B2 (en) 1999-12-01 2011-04-12 Silverbrook Research Pty Ltd Messaging using a coded surface
JP2003516073A (ja) * 1999-12-01 2003-05-07 シルバーブルック リサーチ ピーティーワイ リミテッド デバイス制御の方法およびシステム
US9268852B2 (en) 2004-02-15 2016-02-23 Google Inc. Search engines and systems with handheld document data capture devices
US10635723B2 (en) 2004-02-15 2020-04-28 Google Llc Search engines and systems with handheld document data capture devices
USRE50778E1 (en) 2004-04-01 2026-02-03 Kyocera Corporation Search engines and systems with handheld document data capture devices
US9116890B2 (en) 2004-04-01 2015-08-25 Google Inc. Triggering actions in response to optically or acoustically capturing keywords from a rendered document
US9633013B2 (en) 2004-04-01 2017-04-25 Google Inc. Triggering actions in response to optically or acoustically capturing keywords from a rendered document
US9514134B2 (en) 2004-04-01 2016-12-06 Google Inc. Triggering actions in response to optically or acoustically capturing keywords from a rendered document
US9008447B2 (en) 2004-04-01 2015-04-14 Google Inc. Method and system for character recognition
US9454764B2 (en) 2004-04-01 2016-09-27 Google Inc. Contextual dynamic advertising based upon captured rendered text
USRE50599E1 (en) 2004-04-01 2025-09-23 Kyocera Corporation Search engines and systems with handheld document data capture devices
US9143638B2 (en) 2004-04-01 2015-09-22 Google Inc. Data capture from rendered documents using handheld device
JP2012094156A (ja) * 2004-04-19 2012-05-17 Google Inc レンダリングされた文書からの視覚的取得データに対する処理技術
US9275051B2 (en) 2004-07-19 2016-03-01 Google Inc. Automatic modification of web pages
US10769431B2 (en) 2004-09-27 2020-09-08 Google Llc Handheld device for capturing text from both a document printed on paper and a document displayed on a dynamic display device
US8874504B2 (en) 2004-12-03 2014-10-28 Google Inc. Processing techniques for visual capture data from a rendered document
US8903759B2 (en) 2004-12-03 2014-12-02 Google Inc. Determining actions involving captured information and electronic content associated with rendered documents
JP2006350927A (ja) * 2005-06-20 2006-12-28 Fuji Xerox Co Ltd 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム
US7649808B2 (en) 2006-08-04 2010-01-19 Nec Display Solutions, Ltd. Distance measuring system and method utilizing infrared radiation and ultrasonic wave
US9075779B2 (en) 2009-03-12 2015-07-07 Google Inc. Performing actions based on capturing information from rendered documents, such as documents under copyright
US8990235B2 (en) 2009-03-12 2015-03-24 Google Inc. Automatically providing content associated with captured information, such as information captured in real-time
US9081799B2 (en) 2009-12-04 2015-07-14 Google Inc. Using gestalt information to identify locations in printed information
US9323784B2 (en) 2009-12-09 2016-04-26 Google Inc. Image search using text-based elements within the contents of images

Similar Documents

Publication Publication Date Title
TW538365B (en) Input system, electronic input apparatus, writing instrument for digitizer input, digitizer, method for inputting coordinates, method for transmitting coordinate information, and storage medium
US7659891B2 (en) Associating electronic documents, and apparatus, methods and software relating to such activities
RU2669717C2 (ru) Система рукописного ввода/вывода, лист рукописного ввода, система ввода информации и лист, обеспечивающий ввод информации
JPH03500943A (ja) 注釈可能なイメージを処理するデータ処理システム
JPH05330289A (ja) 電子黒板装置
US6867765B2 (en) Use of a paper pad with uniquely identified pages in a digitizer system
JP2011123833A (ja) 情報処理システムおよび電子ペン
CN101968716A (zh) 电子阅读装置及其添加批注的方法
JP5736005B2 (ja) 入力処理装置、情報処理装置、情報処理システム、入力処理方法、情報処理方法、入力処理プログラム、及び情報処理プログラム
JP4301524B2 (ja) 印刷システム及び情報処理装置
JP2000259338A (ja) 入力システム、表示システム、プレゼンテーションシステム及び情報記憶媒体
JP4716453B1 (ja) プログラム、情報処理装置、情報処理システム
JP2003008805A (ja) 電子黒板システム
JPH0713676A (ja) 手書き情報入力装置
JP2005100315A (ja) 紙文書情報操作システムおよび情報操作方法
JP4348831B2 (ja) 手書き入力データ表示システム,座標データ入力装置,表示装置及び手書き入力データ表示装置
GB2410579A (en) Associating electonic documents
JP2008257530A (ja) 電子ペン入力データ処理システム
JP2012208593A (ja) 表示オブジェクト入力操作端末、表示オブジェクト管理装置、表示オブジェクト入力表示システム、表示オブジェクト入力表示方法、及び表示オブジェクト管理プログラム
JP2005063029A (ja) 手書き情報取得装置
JP6056263B2 (ja) 端末装置、電子ペンシステム及びプログラム
GB2377607A (en) Analysing and displaying motion of hand held instrument
JP3171421U (ja) 電子ペン収容ユニット及び電子ペンシステム
JP6019716B2 (ja) コンピュータ装置、プログラム及び情報処理システム
EP0453568B1 (en) Electronic blackboard apparatus

Legal Events

Date Code Title Description
LAPS Cancellation because of no payment of annual fees