以下、本発明の各実施形態について、図面を参照しながら説明する。なお、以下に説明する実施形態は、電子ペンによって読み取り可能な位置情報を示すコード化パターンが形成された複数のスクリーンに、または、複数のディスプレイ上にそれぞれ形成された透明シートに、当該電子ペンによってストロークを記入した場合に、記入されたストロークを、各スクリーンまたは各ディスプレイのそれぞれに画像として表示させる情報処理システムに対して本発明の情報処理システム及び表示処理プログラムを適用した場合の実施形態である。
<第1実施形態>
はじめに、図1〜図9の各図を用いて本発明に係る情報処理システム10の第1実施形態について説明する。
[情報処理システムの構成及び概要]
まず、図1を用いて第1実施形態における情報処理システム10の構成及び概要について説明する。なお、図1は、第1実施形態における情報処理システム10の構成を示すシステム構成図である。
情報処理システム10は、図1に示すように、固有の座標範囲を示すコード化パターンがそれぞれ形成されたスクリーン4A、4B(4)上に、電子ペン1A、1B(1)によってそれぞれ記入されたストロークを集約して、各スクリーン4A、4B(4)に表示させるためのシステムであり、複数の電子ペン1A、1B(1)と、コンピュータ装置2と、投影手段としての複数のプロジェクタ3A、3B(3)と、画像信号分配器5とから構成される。なお、以下では、特に区別して説明する場合を除き、電子ペン「1」のように統一した符号を用いて説明する。
各電子ペン1は、スクリーン4上にストロークを記入する際に用いられ、ストロークの記入に伴ってスクリーン4に形成されたコード化パターンを読み取りつつ、当該スクリーン4上のストロークの位置座標を演算する。そして、電子ペン1は、演算した位置座標の情報(座標情報)を含む記入したストロークに関する記入情報をコンピュータ装置2に送信する。コンピュータ装置2は、電子ペン1から送信された記入情報を受信し、当該記入情報に基づいて電子ペン1のストロークを表示手段26の表示画面(画像表示領域)201に描画しつつ、各スクリーン4に当該表示画面201に表示された画像と同一の画像を表示させるために、所定の画像信号を画像信号分配器5に出力する。画像信号分配器5は、受信した画像信号を各プロジェクタ3にそれぞれ出力する。各プロジェクタ3は、入力された画像信号に基づいて、各スクリーン4に表示画面201に表示された画像と同一の画像をそれぞれ投影する。なお、各スクリーン4は、各プロジェクタ3によって投影された画像を表示することとなる。
このような構成を有する情報処理システム10においては、コンピュータ装置2は、記入されたストロークを表示画面201及び各スクリーン4に正確に表示するために、スクリーン4毎に、各スクリーン4の座標系(すなわち、各スクリーン4上の位置座標)と表示画面201の画像表示領域の座標系(すなわち、表示画面201上の位置座標)とをそれぞれ対応付けるキャリブレーション処理を実行する。
特に、コンピュータ装置2は、指示用紙6への電子ペン1におけるストロークの記入に基づいてキャリブレーション処理の実行を開始し、各スクリーン4(4A及び4B)の所定の位置に、電子ペン1を当接させるための2つのマーク画像(以下、「第1マーク画像」及び「第2マーク画像」という。)601A、601B(601)、及び、602A、602B(602)をそれぞれ表示させる。また、コンピュータ装置2は、電子ペン1が第1マーク画像601(601Aまたは601B)へ当接された際の記入情報に基づいて、キャリブレーションの対象となる対象スクリーンを決定し、かつ、対象スクリーン上における第1マーク画像601の位置座標を認識する。そして、コンピュータ装置2は、決定した対象スクリーンに対してさらに、第2マーク画像602の位置座標を認識して、認識した第1マーク画像601及び第2マーク画像602の位置座標に基づいて、対象スクリーンであるスクリーン4(4Aまたは4B)の座標系と表示画面201の座標系とをそれぞれ対応付けるキャリブレーション処理を実行する。
一方、コンピュータ装置2は、対象スクリーンにおけるキャリブレーション処理の実行中に、他のスクリーン4(4Bまたは4A)である非対象スクリーンに属する記入情報を受信した場合には、エラー処理を行う。このエラー処理としては、コンピュータ装置2は、各スクリーン4上の中央、または、非対象スクリーンに対して電子ペン1が当接されているスクリーン4上の位置(後述するペンダウンされている位置)など、スクリーン4における予め定められた位置に、プロジェクタ3によって所定のエラー表示を表示させる表示制御処理を実行する。
[スクリーン]
次に、図1を用いてスクリーン4A及び4B(4)について説明する。
各スクリーン4A、4B(4)は、電子ペン1に十分に筆圧がかかる程度に硬いマグネット板(ホワイトボード)401A、401B(401)の前面に、それぞれ、後述するドットパターン(コード化パターン)が印刷により全面に形成された用紙402A、402B(402)を、上からマグネットで押さえ付けたり、あるいは糊、粘着剤あるいは接着剤等で貼りつけたりしたものである。なお、マグネット板401の代わりに部屋の壁面等を利用してもよい。また、用紙402の代わりに、ドットパターンが印刷されたプラスチック製のシートでもよく、マグネット板(ホワイトボード)401にドットパターンを直接形成してもよい。
各用紙402A、402Bは、画像が投影される領域である座標入力領域(以下、「投影領域」ともいう。)403A、403B(403)を有している。この各座標入力領域403A、403Bは、各プロジェクタ3A、3Bと各スクリーン4A、4Bとの距離及び各プロジェクタ3A、3Bの仰角などを調整することによって決定される領域である。なお、各座標入力領域403A、403Bは、それぞれ用紙402A、402B上からはみ出すと、はみ出した領域にはドットパターンが無く、電子ペン1によって記入情報を生成することができないため、それぞれ用紙402A、402B内に形成されている。
スクリーン4が上述のような構成を有していることにより、ユーザが電子ペン1によってスクリーン4に文字、図形その他の線図を書くと、電子ペン1は、ペン先部103の移動軌跡に沿って、用紙402に印刷されたドットパターンを局所的、連続的に読み取り、スクリーン4におけるその局所位置の座標(位置座標)を算出し、その電子データを記入情報としてコンピュータ装置2へ送信する。そして、コンピュータ装置2が表示手段26の表示画面201に電子ペン1のストロークを描画すると、各プロジェクタ3は、コンピュータ装置2から送信された画像信号を、画像信号分配器5を介して受信し、表示画面201に表示された画像と同一の画像を、それぞれ、スクリーン4の用紙402内に投影する。
一方、スクリーン4には、用紙402の外側に、キャリブレーション処理を行うための位置合わせ指示エリアとして、固有の座標範囲を示すドットパターンが印刷された指示用紙6が、貼り付けられている。この位置合わせ指示エリアは、スクリーン4の用紙402上のドットパターン(コード化パターン)によって規定される位置座標と、コンピュータ装置2の表示手段26における表示画面(ディスプレイ)201上の位置座標とのそれぞれを対応させるためのキャリブレーション処理を、コンピュータ装置2に実行させるためのドットパターンが印刷されているエリアである。また、指示用紙6は、シールなどの他の部材への貼り付けが可能となるような形態に形成されており、ユーザにコンピュータ装置2の表示画面201内への電子ペン1による記入(座標入力)と誤認混同させないために、座標入力領域403の領域外にそれぞれ貼り付けられている。
なお、ユーザが指示用紙6に対して電子ペン1によるタップ(具体的には、スクリーン4への軽叩)を実行すると、コンピュータ装置2は、キャリブレーション処理を開始させる。そして、コンピュータ装置2においてキャリブレーション処理が実行されると、スクリーン4上の座標入力領域403が決定されるとともに、コンピュータ装置2の表示画面201の座標系をスクリーン4上の座標入力領域403上の座標系に対応させるための座標変換関数が演算され、そのスクリーン4と関連付けられてコンピュータ装置2の記憶手段25に記憶される。
また、指示用紙6は、予めスクリーン4の製造時に必須なものではなく、スクリーン4と別個に予めシール等の形態に形成しておき、後からユーザが任意にスクリーン4に貼り付けることができるようにしておいてもよい。さらに、各指示用紙6をスクリーン4に貼り付けなくても、単一の指示用紙6をノートやコンピュータ装置2等のユーザによって携帯可能なものに貼り付けてもよい。
[ドットパターン]
次に、図2及び図3を用いてスクリーン4の用紙402と指示用紙6に印刷されているアノト方式のドットパターン(コード化パターン)について説明する。なお、図2は、用紙402に印刷されたドットパターンのドットとそのドットが変換される値との関係を説明する図であり、図3は、ドットパターンの配列とそのドットパターンの配列が変換された情報を示す例である。
ドットパターンの各ドットは、図2に示すように、その位置によって所定の値に対応付けられている。すなわち、各ドットは、ドットの位置を格子の基準位置(縦線及び横線の交差点)から上下左右のどの方向にシフトするかによって、0〜3の値に対応付けられている。各ドットの値は、X座標用の第1ビット値及びY座標用の第2ビット値に変換される。そして、ドットパターンは、このようにして対応付けられた情報の組み合わせにより、スクリーン4上の位置座標が決定されるように構成されている。また、ドットパターンは、赤外線を吸収するカーボンを含有するインクによって印刷されている。
図3(a)は、スクリーン4において、ある位置のドットパターンの配列を示している。図3(a)に示すように、縦横約2mmの範囲内に6×6個のドットが、スクリーン4上のどの部分から6×6ドットを取ってもユニークなパターンとなるように配置されている。これら36個のドットにより形成されるドットパターンは、用紙402の相対的な位置座標及びドットパターンアドレス(コード化パターンアドレス)を保持している。図3(b)は、図3(a)に示す各ドットを、格子の基準位置からのシフト方向によって、図2に示す規則性に基づいて対応付けられた値に変換したものである。この変換は、ドットパターンの画像を撮影する電子ペン1によって行われる。
[電子ペン]
次に、図4を用いて電子ペン1A及び1B(1)について説明する。なお、図4は、電子ペン1の構造を示す概略図である。
電子ペン1は、図4に示すように、その筐体101の内部に、ペン部104、LED105、CMOSカメラ106、圧力センサ107、CPU等により構成されるプロセッサ108、ROMまたはRAMなどのメモリ109、リアルタイムクロック110、アンテナ等により構成される通信ユニット111、バッテリー112及びCOMSカメラ106の前面に設けられた赤外線透過フィルタ113を備える。
ペン部104の先端は、ペン先部103となっており、ユーザは、電子ペン1のペン先部103をスクリーン4の用紙402または指示用紙6に当接させて、文字等のストロークを記入したり、タップしたりする。なお、ここで、電子ペン1のペン先部103が用紙402等に最初に接触することをペンダウンと呼び、接触している(当接している)状態からペン先部103が離れることをペンアップと呼ぶ。
電子ペン1のペンダウンからペンアップまでの間に記入される軌跡が1つのストロークとなり、文字、図形またはその他の線図は、1つ又は複数個のストロークから形成される。また、電子ペン1は、プロジェクタ3により投影されるスクリーン4に、タップしたり文字を記入したりするのに用いるものであるので、ペン部104は、インクが充填されていない。
バッテリー112は、電子ペン1内の各部品に電力を供給するためのものであり、例えば、電子ペン1のキャップ(図示せず)の脱着により電子ペン1自体の電源のオン/オフを行うよう構成させてもよい。リアルタイムクロック110は、現在時刻(タイムスタンプ)を示す時刻情報を発信し、プロセッサ108に供給する。圧力センサ107は、ユーザが電子ペン1によりスクリーン4に文字、図形またはその他の線図を記入したりタップしたりする際にペン先部103からペン部104を通じて与えられる圧力、すなわち筆圧を検出し、その値をプロセッサ108へ伝送する。
プロセッサ108は、圧力センサ107から与えられる筆圧データに基づいて、LED105及びCMOSカメラ106のスイッチのオン/オフを切換える。したがって、ユーザが電子ペン1でスクリーン4に文字などを記入すると、ペン先部103に筆圧がかかり、圧力センサ107によって所定値以上の筆圧が検出されたときに、プロセッサ108は、ユーザが記入を開始したと判定して、LED105及びCMOSカメラ106の作動を開始させる。また、ユーザが1つのストロークを記入し終えて電子ペン1をスクリーン4から離すと、所定値以上の筆圧が検出されなくなり、圧力センサ107は、ペンアップを検出する。
LED105とCMOSカメラ106は、電子ペン1のペン先部103付近に取り付けられており、筐体101におけるLED105及びCMOSカメラ106と対向する部分には、開口部102が形成されている。LED105は、スクリーン4上のペン先部103近傍に向けて赤外線を照射する。その照射する領域は、ペン先部103がスクリーン4に接触する位置とはわずかにずれている。CMOSカメラ106は、赤外線透過フィルタ113を介してLED105によって照射された領域内におけるドットパターンを撮影し、そのドットパターンの画像データをプロセッサ108に供給する。
LED105によって照射された赤外線は、ドットに含まれるカーボンによって吸収される。すなわち、カーボンは、赤外線を吸収するため、カーボンを含有するインクによって印刷されたドットの部分は、赤外線の反射量が少なく、ドット以外の部分は赤外線の反射量が多くなる。また、赤外線透過フィルタ113は、日光または紫外線を遮断する一方で、赤外線のみ透過させる。したがって、CMOSカメラ106の撮影により、赤外線の反射量の違いから閾値を設けることによって、カーボンを含むドットの領域とそれ以外の領域を区別することができる。なお、CMOSカメラ106による撮影領域は、図3(a)に示すような約2mm×約2mmの大きさを含む範囲であり、CMOSカメラ106の撮影は毎秒50〜100回程度の定間隔で行われる。
プロセッサ108は、ユーザによるストロークの記入が行われる間に、CMOSカメラ106によって供給される画像データのドットパターンから、当該ユーザが記入するストローク(筆跡)のスクリーン4上におけるX,Y座標(すなわち、「位置座標」であり、以下、「座標データ」とも呼ぶ)を連続的に演算していく。すなわち、プロセッサ108は、CMOSカメラ106によって供給される、図3(a)に示されるようなドットパターンの画像データを図3(b)に示すデータ配列に変換し、さらに、X座標ビット値及びY座標ビット値に変換して、そのデータ配列から所定の演算方法によりX,Y座標データを演算するとともに、演算したX,Y座標データに対応するドットパターンアドレス(一定の座標範囲で同じ値を示す)を求める。そして、プロセッサ108は、リアルタイムクロック110から発信される現在時刻(タイムスタンプ:記入された時刻情報)、筆圧データ、ドットパターンアドレス及びX,Y座標データを関連付ける。なお、スクリーン4における6×6のドットパターンは、スクリーン4内で重複することはないため、ユーザが電子ペン1で文字等を記入すると、記入された位置がスクリーン4のどの位置に当たるかを、プロセッサ108による座標演算により特定することができる。
メモリ109には、電子ペン1を識別するための「pen01」または「pen02」といったペンID(電子ペン識別情報)、ペン製造者番号、ペンソフトウェアのバージョン等のプロパティ情報が記憶されている。そして、通信ユニット111は、時刻情報(タイムスタンプ)と、筆圧データと、ドットパターンアドレスと、X,Y座標データ(以上、「ストローク情報」)と、ペンIDとを関連付けて、記入情報としてコンピュータ装置2へ送信する。通信ユニット111によるコンピュータ装置2への送信は、Bluetooth(登録商標)などの無線送信によって、即時的かつ逐次的に行われる。
[コンピュータ装置]
次に、図5〜図7の各図を用いてコンピュータ装置2について説明する。なお、図5は、コンピュータ装置2の機能ブロック図であり、図6は、本実施形態における記憶手段25に記憶される座標定義情報の一例である。また、図7は、記憶手段25に記憶されるスクリーン管理テーブルの一例である。
コンピュータ装置2は、ハードウェアとして、電子ペン1とのデータ通信が可能なアンテナ装置、CPU等のプロセッサ、ROM及びRAM等のメモリ、ディスプレイ、マウス及びキーボードの入力インターフェースなどで構成される。コンピュータ装置2は、機能的には、図5に示すように、マウス及びキーボードなどの入力手段21、受信手段22、処理手段24、記憶手段25、表示手段26及び送信手段27を備える。そして、コンピュータ装置2は、電子ペン1から受信した記入情報に基づいて、描画処理及びキャリブレーション処理などの所定の処理を行う。
受信手段22は、アンテナ及び受信回路等により構成され、電子ペン1から送信された記入情報を受信し、処理手段24に伝送する。
記憶手段25は、ハードディスク、ROM及びRAMなどのメモリによって構成される。記憶手段25には、キャリブレーション処理を行うためのプログラム(以下、「キャリブレーションプログラム」という。)と、受信手段22によって受信された記入情報に基づいて、表示手段26の表示画面201に対して電子ペン1によるスクリーン4上のストロークを表示させる描画処理を行うためのプログラム(以下、「描画プログラム」という。)とが記憶されている。また、記憶手段25には、キャリブレーション処理の際に表示手段26の表示画面201に表示される第1マーク画像601、第2マーク画像602、それらのマーク画像を表示するため第1表示基準点及び第2表示基準点の位置座標、並びに、座標定義情報など、キャリブレーション処理が実行される際に用いられる各種のデータが予め記憶されている。特に、座標定義情報としては、図6に示すように、スクリーン4毎に、ドットパターンアドレス、座標領域を規定するための情報(以下、単に「座標領域」ともいう。)、当該スクリーン4の種別を示す情報、並びに、当該スクリーン4を識別するために用いられるスクリーン番号の各種の情報が含まれる。また、座標定義情報には、指示用紙6に関する情報も含まれ、具体的には、ドットパターンアドレス、座標領域を規定する情報及びその種別を示す情報が含まれる。なお、この記憶手段25に座標定義情報として記憶される種別の情報とは、スクリーン4であるか、位置合わせ指示エリアであるか否かを示す情報であり、特に、スクリーン4に関してはその部材(例えば、用紙)を示す情報をも含んでもよい。
また、記憶手段25には、描画プログラムの実行中に、ユーザがスクリーン4に文字、図形またはその他の線図のストロークを記入した際に、電子ペン1によって生成されて送信された記入情報を記憶する。そして、この記憶手段25には、後述するキャリブレーション処理手段242によってキャリブレーションプログラムが実行される際に、図7に示すように、対象スクリーンのスクリーン番号が位置合わせ番号として記憶され、さらに、対象スクリーンのスクリーン番号(換言すると、位置合わせ番号)に対応付けられて、第1認識基準点及び第2認識基準点の位置座標、並びに、座標入力領域を規定する情報、座標変換関数の各情報がスクリーン管理テーブルに記憶される。なお、図7(a)は、スクリーン管理テーブルにおける座標入力領域、座標変換関数及び各認識基準点の各情報が記憶されていない状態を示し、図7(b)は、一部のスクリーン(具体的には、スクリーン番号が「SCR01」であるスクリーン4A)について、座標入力領域、座標変換関数及び各認識基準点の各情報が記憶されている状態を示す。また、第1認識基準点及び第2認識基準点の位置座標は、座標変換関数の演算に用いるだけであるので、スクリーン管理テーブルでの記憶を省略してもよい。
処理手段24は、CPU等のプロセッサによって構成され、記憶手段25に記憶されたキャリブレーションプログラムを起動させて、スクリーン4毎に所定のキャリブレーション処理を行う。また、処理手段24は、受信手段22によって受信された電子ペン1の記入情報に基づいて、表示手段26の表示画面201に対して電子ペン1によるスクリーン4上に記入されたストロークを表示させる描画処理を行う。具体的には、処理手段24は、図5に示すように、描画処理を行う描画処理手段241と、キャリブレーション処理を実行するキャリブレーション処理手段242とを有している。なお、処理手段24における描画処理手段241及びキャリブレーション処理手段242の詳細については後述する。
表示手段26は、ディスプレイ等によって構成され、処理手段24によって指示された内容を表示画面201に表示する。
送信手段27は、スクリーン4に所定の画像を表示させるために、処理手段24の指示によって、表示手段26の画像表示に用いられる画像信号を画像信号分配器5を介して各プロジェクタ3に送信する。なお、送信手段27においては、プロジェクタ3へのデータ送信方式としては、有線式であっても無線式であってもよい。また、各プロジェクタ3は、送信手段27から送信された画像信号に基づいて、表示手段26の表示画面201に表示された画像と同様の画像を、各スクリーン4の各座標入力領域403にそれぞれ投影する。
[処理手段]
次に、図8〜図13の各図を用いて処理手段24の詳細について説明する。なお、図8は、スクリーン4Aにおける電子ペン1Aによって記入されたストロークの表示について説明するための図であり、図9は、スクリーン4Aに投影されたキャリブレーション用の第1マーク画像601A及び第2マーク画像602Aを示す図である。また、図10は、キャリブレーション処理においてスクリーン4Aに表示された第1マーク画像601Aとペンアップの関係を説明するための図であり、図11は、コンピュータ装置2の表示画面201上における第1表示基準点及び第2表示基準点の位置座標を説明するための図である。さらに、図12は、スクリーン4Aの用紙402A上における第1認識基準点及び第2認識基準点の位置座標を説明するための図であり、図13は、電子ペン1Bがペンダウンされた位置からエラー表示603Bを表示した場合の一例である。
描画処理手段241は、受信手段22によって受信された電子ペン1(1Aまたは1B)の各記入情報(すなわち、一のストロークを構成する部分ストロークの座標属性情報及びペンID)を記憶手段25に記憶しつつ、当該記憶手段25に記憶された座標定義情報を参照し、スクリーン4(4A若しくは4B)へのストロークの記入であるかまたは位置合わせ指示エリアへのストロークの記入であるかを判断する。具体的には、描画処理手段241は、受信された記入情報に含まれる位置座標の一部または全てが、図6に示す座標定義情報におけるどの座標領域に属するかを認識して、その座標領域に対応付けられている種別が「スクリーン番号(用紙)」であるか、または「位置合わせ指示エリア」であるかを判断する。
また、描画処理手段241は、記入情報がスクリーン4へのストロークの記入であると判断した場合には、当該記入情報が属するスクリーン(以下、「記入スクリーン」といい、例えば、スクリーン4A)のスクリーン番号を認識する。具体的には、描画処理手段241は、座標定義情報に基づいて、上述の判断処理において受信された記入情報が属すると判断された座標領域に対応付けられて記憶されているスクリーン番号を認識する。また、描画処理手段241は、キャリブレーション処理が実行中であるか否か、かつ、当該認識された記入スクリーンにおける座標変換関数が定義されて記憶手段25に既に記録されているか否かを判断する。そして、描画処理手段241は、キャリブレーション処理が実行中でなく、かつ、座標変換関数が定義されて既に記憶手段25に記憶されていると判断した場合には、受信した記入情報に含まれる各X,Y座標データ(位置座標)を、既に定義されておりスクリーン番号に対応する座標変換関数によって表示手段26の表示画面201上の位置座標にそれぞれ変換し、当該表示画面201に電子ペン1Aまたは1Bのストロークを描画する描画処理を実行する。なお、送信手段27は、表示画面201上に描画されたストロークを、各プロジェクタ3(3A及び3B)を介して、各スクリーン4(4A及び4B)の座標入力領域403(403A及び403B)に投影するために、所定の画像信号を画像信号分配器5に出力する。
例えば、図8に示すように、ユーザが、スクリーン4Aの座標入力領域403Aに電子ペン1Aを用いて文字「ABC」を記入すると、描画処理手段241によって筆跡に応じたストロークの線分を表示手段26の表示画面201に描画することができるとともに、プロジェクタ3Aによってスクリーン4A上の筆跡とずれることなく、電子ペン1Aのストロークの線分を当該スクリーン4Aに投影させることができる。なお、この電子ペン1Aのストロークの線分は、プロジェクタ3Bによってスクリーン4Bにも投影される。
キャリブレーション処理手段242は、描画処理手段241によって、記入情報が指示用紙6の位置合わせ指示エリアへのストロークの記入(例えば、タップ)であると判断された場合に、すなわち、電子ペン1によるストロークの一部または全部が座標定義情報における位置合わせ指示エリアとして定義される座標領域内に含まれると判断された場合に、キャリブレーション処理を実行する。キャリブレーション処理手段242は、キャリブレーション処理を開始すると、記憶手段25に記憶されている位置合わせ番号、第1認識基準点の位置座標及び第2認識基準点の位置座標をクリアにする初期化を行うとともに、記憶手段25に記憶されている第1表示基準点及び第2表示基準点の位置座標に基づいて第1マーク画像と第2マーク画像とを表示手段26の表示画面201上に異なるタイミングによってそれぞれ表示させる。また、このとき、キャリブレーション処理手段242は、「ペン先が的の中心に触れたところであげてください。」などの所定の指示メッセージを表示手段26の表示画面201上に表示させる。
なお、キャリブレーション処理手段242がこのような表示を表示手段26に表示させると、スクリーン4Aには、図9に示すように、プロジェクタ3Aによって、第1マーク画像601Aと第2マーク画像602Aがそれぞれのタイミングで投影されるとともに、「ペン先が的の中心に触れたところであげてください。」という表示画面201上に表示された指示メッセージと同一の指示メッセージ701Aが投影される。なお、プロジェクタ3Bによってスクリーン4Bにも、第1マーク画像601Bと第2マーク画像602Bがそれぞれのタイミングで投影されるとともに、表示画面201上に表示された指示メッセージと同一の指示メッセージ701Bが投影される。
また、キャリブレーション処理手段242は、キャリブレーション処理を開始して第1マーク画像を表示した後に、最初に受信した記入情報が属するスクリーン4Aまたは4Bを対象としてキャリブレーション処理を実行する。すなわち、キャリブレーション処理手段242は、各スクリーン4(4A及び4B)に表示された第1マーク画像601への電子ペン1における最初の当接によって受信したストローク情報に基づき描画処理手段241が認識した記入スクリーンのスクリーン番号に基づいて、キャリブレーション処理を行うスクリーン4Aまたは4Bを特定する。
さらに、キャリブレーション処理手段242は、各スクリーン4上に第1マーク画像601または第2マーク画像602を表示させている最中に受信した対象スクリーンに関する記入情報に含まれる電子ペン1のペンアップの位置座標を、第1認識基準点及び第2認識基準点の位置座標としてそれぞれ認識する。例えば、スクリーン4Aにおいて第1認識基準点を認識させる場合には、図10に示すように、ユーザに当該スクリーン4A上において電子ペン1Aをペンダウンさせた状態を保持させつつ、キャリブレーション用の第1マーク画像601Aが投影された位置(同心円の中心)までペン先を移動させてからペンアップさせる。電子ペン1Aは、ペンダウンからペンアップまで間、ストロークに関する記入情報を生成し即時的かつ逐次的にコンピュータ装置2へ送信するので、キャリブレーション処理手段242は、第1マーク画像601Aの表示中に受信された記入情報から電子ペン1Aによるペンアップの位置座標を認識することによって、第1認識基準点の位置座標を認識することが可能となっている。なお、キャリブレーション処理手段242は、同様な方法によって第2認識基準点の位置座標を認識することができる。また、キャリブレーション処理手段242は、位置合わせ指示エリアへのストロークの記入が実行されずに、キャリブレーション処理が開始されていない場合であっても、記入情報が認識された記入スクリーンにおける座標変換関数が定義されておらず記憶手段25のスクリーン管理テーブルに記録されていないと描画処理手段241が判断した場合には、どのスクリーン4のキャリブレーションが必要であるかを表示して、キャリブレーション処理を開始する。
一方、キャリブレーション処理手段242は、第1認識基準点及び第2認識基準点の座標を認識すると、当該認識した第1認識基準点及び第2認識基準点の位置座標に基づいて、座標入力領域及び座標変換関数を定義し、定義した座標入力領域及び座標変換関数を、対象スクリーンのスクリーン番号に対応付けてスクリーン管理テーブルに記憶する。
ここで、キャリブレーション処理手段242によって定義される座標入力領域及び座標変換関数について説明する。
図11に示すように、コンピュータ装置2の表示手段26の表示画面201において、X軸を右方向、Y軸を下方向と規定すると、左下端点、右下端点、第1表示基準点及び第2表示基準点をそれぞれ以下のように定義することができる。
左上端点:座標202(Xamin,Yamin)
右下端点:座標203(Xamax,Yamax)
第1表示基準点:座標204(Xa1,Ya1)
第2表示基準点:座標205(Xa2,Ya2)
ただし、Xamin≦Xa1<Xa2≦Xamax
Yamin≦Ya1<Ya2≦Yamax
なお、座標204(Xa1,Ya1)及び座標205(Xa2,Ya2)は、左上端点と右下端点の中間点を示す。
また、スクリーン4上において認識される第1認識基準点及び第2認識基準点の位置座標は、コンピュータ装置2の表示画面201上における第1表示基準点及び第2表示基準点に基づいてスクリーン4に投影された第1マーク画像601及び第2マーク画像602への、電子ペン1でのタップによって生成された記入情報に含まれるドットパターン(コード化パターン)を解析して求めた位置座標である。このため、プロジェクタ3によってスクリーン4に投影される座標入力領域403において、X軸を右方向、Y軸を下方向と規定すると、左上端点、座標入力領域403の左上端点、座標入力領域403の右下端点、第1認識基準点、並びに、第2認識基準点それぞれを所定の位置座標によって定義することができる。例えば、スクリーン4Aにおいては、図12に示すように、
左上端点:座標404A(XAb0,YAb0)
座標入力領域403Aの左上端点:座標405A(XAbmin,YAbmin)
座標入力領域403Aの右下端点:座標406A(Xbmax,Ybmax)
第1認識基準点:座標407A(XAb1,YAb1)
第2認識基準点:座標408A(XAb2,YAb2)となる。
ただし、XAb0≦XAbmin<XAb1<XAb2≦XAbmax
YAb0≦YAbmin<YAb1<YAb2≦YAbmax
となる。なお、座標407A(XAb1,YAb1)及び座標408A(XAb2,XAb2)は、左上端点と右下端点の中間点を示す。また、スクリーン4Bについてもスクリーン4Aと同様に規定することができる。
そして、スクリーン4Aにおいて上述のように規定した場合には、コンピュータ装置2の表示画面201における第1表示基準点の座標204(Xa1,Ya1)及び第2表示基準点の座標205(Xa2,Ya2)が、用紙402A上のドットパターンにおける第1認識基準点の座標407A(XAb1,YAb1)及び第2認識基準点の座標408A(XAb2,YAb2)にそれぞれ対応することとなる。したがって、スクリーン4Aに投影される座標入力領域403Aを規定するそれぞれの左上端点座標405A(XAbmin,YAbmin)及び右下端点座標406A(XAbmax,YAbmax)(長方形状の座標入力領域403Aにおける対角の各頂点)は、(式1)〜(式4)によって表すことができる。
また、スクリーン4Bについても上述のように各点を規定し、各(式1)〜(式4)と同様な式によって、スクリーン4Bに投影される長方形状の座標入力領域403Bにおける対角の各頂点である左上端点座標(XBbmin,YBbmin)及び右下端点座標(XBbmax,YBbmax)を表すことができる。
なお、この各座標値を対頂角点とする長方形状の領域から、図7に示す各スクリー
ン4A(スクリーン番号「SCR01」)及び4B(スクリーン番号「SCR02」)の座標入力領域403A及び403Bを規定することができる。
そして、各スクリーン4A及び4Bの各用紙402A及び402B上のドットパターンでそれぞれ規定される位置座標(XAbn,YAbn)及び(XBbn,YBbn)から、コンピュータ装置2の表示手段26における表示画面201上の位置座標(Xan,Yan)を算出することができる。例えば、スクリーン4Aにおいては、それぞれ(式5)及び(式6)によって算出することができる。
なお、勿論、スクリーン4Bにおいても表示画面201上の位置座標(Xan,Yan)を(式5)及び(式6)と同様に算出することができる。
このように算出された(式5)及び(式6)によって規定される関数を、座標変換関数といい、キャリブレーション処理手段242は、上述のように、第1認識基準点及び第2認識基準点の位置座標に基づいてスクリーン4A,4B毎に指示用紙6が指示される都度、座標変換関数を定義して記憶手段25に記憶する。なお、各スクリーン4に対する各プロジェクタ3の角度によって、演算式の項に歪みを補正する所定の係数をかけるようにしてもよい。
他方、キャリブレーション処理手段242は、キャリブレーション実行中に受信した記入情報に基づき描画処理手段241が認識した記入スクリーンが、キャリブレーション処理の対象となっている対象スクリーンとは異なる非対象スクリーン上の記入情報であると判断した場合には、所定のエラー表示処理を行う。具体的には、エラー表示処理としては、キャリブレーション処理手段242は、非対象スクリーンである記入スクリーンにおける座標変換関数が既に定義されて記憶手段25に記憶されている場合には、受信した記入情報に基づいて、電子ペン1がペンダウンしている記入スクリーンにおける位置座標を認識するとともに、認識した位置座標を記入スクリーンの座標変換関数で表示画面201上の位置座標に変換し、表示手段201上の変換された位置座標から「スクリーン01(または02)を位置合わせ中です。しばらくお待ちください。」のエラー表示を表示させる。特に、キャリブレーション処理手段242は、キャリブレーション処理中に対象スクリーンのスクリーン番号を位置合わせ番号として保持しているため、当該保持されている位置合わせ番号に基づいてキャリブレーション処理中のスクリーンとして「スクリーン01(または02)」をエラー表示のメッセージ中に可変に表示させることができる構成を有している。
そして、キャリブレーション処理手段242がエラー表示を表示画面201に表示させると、送信手段27は、表示画面201上に描画されたエラー表示の画像信号を画像信号分配器5を介して各プロジェクタ3(3A及び3B)に出力し、各スクリーン4(4A及び4B)は、表示画面201上に描画されたエラー表示と同一の画像を表示する。例えば、スクリーン4Aについてキャリブレーション処理が実行されている場合であって、スクリーン4Bに電子ペン1Bによるストロークの記入が実行された場合には、スクリーン4Bには、図13に示すように、表示画面201上に描画されたエラー表示と同一のエラー表示603Bが座標入力領域403B内であって電子ペン1Bがペンダウンされた位置に表示される。
また、キャリブレーション処理手段242は、非対象スクリーンである記入スクリーンにおける座標変換関数が未だ定義されておらず記憶手段25に記憶されていない場合には、表示画面201上の中央の位置座標から「スクリーン01(または02)を位置合わせ中です。しばらくお待ちください。」のエラー表示を表示させる。そして、キャリブレーション処理手段242がエラー表示を表示画面201に表示させると、送信手段27は、表示画面201上に描画されたエラー表示を含む画像の画像信号を画像信号分配器5を介して各プロジェクタ3に出力し、各スクリーン4は、表示画面201上に描画された画像と同一の、その中央の位置にエラー表示が表示された画像を表示する。
なお、キャリブレーション処理手段242は、第2認識基準点の位置座標を認識するときの記入スクリーンと第1認識基準点の位置座標が記憶されているスクリーンが一致するか否かを判断することによって、キャリブレーション実行中に受信した記入情報がキャリブレーション処理の対象となっている対象スクリーンのものか、対象スクリーンとは異なる非対象スクリーン上の記入情報であるかを判断する。
[キャリブレーション処理を含むストロークの描画処理]
次に、図14及び図15を参照して、情報処理システム10におけるキャリブレーション処理を含むストロークの描画処理について説明する。図14及び図15は、キャリブレーション処理を含むストロークの描画処理の動作を示すフローチャートである。
はじめに、図14を用いてキャリブレーションの起動処理を含むストロークの描画処理について説明する。
なお、本動作においては、第1表示基準点及び第2表示基準点の位置座標などの座標定義情報及びスクリーン管理テーブルが予め記憶手段25に記憶されているものとする。
まず、電子ペン1(1Aまたは1B)を用いてユーザによってスクリーン4(4Aまたは4B)の用紙402(402A若しくは402B)上または指示用紙6上にストロークの記入が実行されると、電子ペン1は、記入情報をコンピュータ装置2に送信する(ステップS101)。具体的には、ユーザによってスクリーン4A,4Bまたは指示用紙6上にストロークが記入されると、圧力センサ107は、所定値以上の筆圧を検出することによってペン先部103の接触を検出し、LED105は、赤外線を照射するとともに、カメラ106は、記入されるストロークないしタップに沿ってドットパターンを撮影する。また、プロセッサ108は、撮影されたドットパターンの画像データからストロークないしタップに沿った位置座標を連続的に演算し、当該位置座標、ドットパターンアドレス、リアルタイムクロック110により発信された現在時刻、筆圧データ(以上、「ストローク情報」)及びペンIDと関連付けて、記入情報として即時且つ逐次的にコンピュータ装置2へ送信する(ステップS101)。
次いで、コンピュータ装置2においては、受信手段22が、電子ペン1から送信された記入情報(ストローク情報及びペンID)を受信すると、描画処理手段241は、その記入情報に含まれるストローク情報及びペンIDを記憶手段25に記憶する(ステップS201)。
次いで、描画処理手段241は、受信したストローク情報がスクリーン4への記入か否かを判断する(ステップS202)。具体的には、描画処理手段241は、記憶手段25に記憶された座標定義情報を参照して、ストローク情報に含まれる位置座標が属する座標領域を認識して、その座標領域に対応付けられている種別の情報が「スクリーン(用紙)」であるか否かを判断する。このとき、描画処理手段241は、受信したストローク情報がスクリーン4への記入でないと判断した場合には(ステップS202:No)、ステップS207の処理に移行する。なお、ステップS202の判断処理においては、描画処理手段241は、時刻的に最先の位置座標など、ストローク情報に含まれる一の位置座標のみ用いてもよいし、複数または全ての位置座標を用いてもよい。
また、描画処理手段241は、受信したストローク情報がスクリーン4への記入であると判断した場合には(ステップS202:Yes)、ストローク情報が属する座標領域に関連付けられているスクリーン番号を記入スクリーンのスクリーン番号として認識する(ステップS203)。具体的には、描画処理手段241は、ステップS202の処理において該当した座標領域に対応付けられて座標定義情報に記憶されたスクリーン番号を認識する。例えば、描画処理手段241は、ステップS202の処理においてストローク情報に含まれる位置座標が座標領域「(x1,y1)、H1、W1」内に含まれると認識した場合には、ステップS203の処理においては、スクリーン番号を「SCR01」(スクリーン4A)と認識する。
なお、このステップS203の処理によって、キャリブレーション処理手段242は、キャリブレーション処理を開始して第1マーク画像を表示した後に、最初に受信した記入情報が属するスクリーン4(4A又は4B)を対象スクリーンとして特定して、適切にキャリブレーション処理を実行することができる。すなわち、キャリブレーション処理手段242は、キャリブレーション処理実行中に、対象スクリーンではないスクリーン4(4Bまたは4A)に属する記入情報を受信した場合には、エラー処理を行うことができる。
次いで、描画処理手段241は、キャリブレーション処理が実行中であるか否かを判断し(ステップS204)、キャリブレーション処理が実行中であると判断した場合には(ステップS204:Yes)、図15のステップS301の処理に移行する。また、描画処理手段241は、キャリブレーション処理が実行中でないと判断した場合には(ステップS204:No)、記入スクリーンにおける座標変換関数が定義されているか否かを確認する(ステップS205)。すなわち、描画処理手段241は、ステップS203の処理によって認識したスクリーン番号に対応付けて、記憶手段25のスクリーン管理テーブルに座標変換関数が記憶されているか否かを確認する。このとき、描画処理手段241が記入スクリーンにおける座標変換関数が定義されていないと判断した場合には(ステップS205:No)、ステップS208の処理に移行する。
また、描画処理手段241は、記入スクリーンにおける座標変換関数が定義されていると判断した場合には(ステップS205:Yes)、記憶手段25に記憶された該当する座標変換関数に基づいて、受信したストローク情報の各位置座標を表示手段26の表示画面201上の位置座標に変換し、変換された位置座標に沿って電子ペン1(1Aまたは1B)のストロークを表示画面201に表示する。なお、描画処理手段241が、表示手段26の表示画面201に電子ペン1のストロークを表示すると、送信手段27は、当該表示画面201に表示されている画像と同一の画像を各スクリーン4A及び4Bに表示するために、所定の画像信号を画像信号分配器5を介して各プロジェクタ3A及び3Bに出力する。
一方、描画処理手段241は、ステップS202で、受信したストローク情報がスクリーン4への記入でないと判断した場合には(ステップS202:No)、当該受信したストローク情報が位置合わせ指示エリアへの記入であるか否かを判断する(ステップS207)。具体的には、描画処理手段241は、ステップS202の処理において該当した座標領域に対応付けられて座標定義情報に記憶された種別の情報が「位置合わせ指示エリア」であるか否かを判断する。このステップS207の処理は、キャリブレーション処理が実行中であるか否かに問わず、キャリブレーション処理を再度実行することができるように設けられている。
このとき、描画処理手段241は、受信したストローク情報が位置合わせ指示エリアへの記入でないと判断した場合には(ステップS207:No)、本動作を終了する。
また、描画処理手段241が、受信したストローク情報が位置合わせ指示エリアへの記入であると判断した場合には(ステップS207:Yes)、または、ステップS205で、描画処理手段241が記入スクリーンにおける座標変換関数が定義されていないと判断した場合には(ステップS205:No)、キャリブレーション処理手段242は、キャリブレーション処理を開始して、記憶手段25に記憶されているスクリーン管理テーブルにおいて、位置合わせ番号、第1認識基準点の位置座標及び第2認識基準点の位置座標をクリアにする(ステップS208)。
次いで、キャリブレーション処理手段242は、記憶手段25に記憶されている第1表示基準点の位置座標に基づいて、表示手段26の表示画面201に第1マーク画像を表示し(ステップS209)、本動作を終了させる。なお、ステップS209の処理においては、キャリブレーション処理手段242は、表示手段26の表示画面201にキャリブレーション用の第1マーク画像を表示させると、各プロジェクタ3(3A及び3B)に対して、スクリーン4上に、キャリブレーション用の第1マーク画像601を投影させつつ、ユーザに電子ペン1によるキャリブレーション用の第1マーク画像601の基準点(同心円の中心)でのペンアップを促す。例えば、図9のように、処理手段24は、プロジェクタ3Aに対してマーク画像601Aをスクリーン4A上に投影させつつ「ペン先が的の中心に触れたところで上げてください」といった指示メッセージを表示させたり、同様の音声による指示を出力させたりする。
次に、図15を用いて図14のステップS208、S209におけるキャリブレーションの起動処理に続くキャリブレーション処理について説明する。
本動作は、図14のステップS209の処理における第1マーク画像の表示後に記入情報が受信され、ステップS204の処理において、描画処理手段241によってキャリブレーション処理の実行中と判断された場合に実行される。
まず、キャリブレーション処理手段242は、記憶手段25に記憶されているスクリーン管理テーブルを参照し、当該スクリーン管理テーブルに位置合わせ番号が記憶されているか否かを判断する(ステップS301)。このとき、キャリブレーション処理手段242は、位置合わせ番号がスクリーン管理テーブルに記憶されていると判断した場合には(ステップS301:Yes)、ステップS305の処理に移行する。また、キャリブレーション処理手段242は、位置合わせ番号がスクリーン管理テーブルに記憶されていないと判断した場合には(ステップS301:No)、記入スクリーンのスクリーン番号を位置合わせ番号として記憶手段25に記憶する(ステップS302)。具体的には、キャリブレーション処理手段242は、ステップS203の処理において描画処理手段241が認識したスクリーン番号を、位置合わせ番号として記憶手段25のスクリーン管理テーブルに記憶する。
このため、前回の記入情報に基づく本動作において、キャリブレーション処理が開始されている場合には、当該キャリブレーション処理が開始され第1マーク画像の表示後に最初にストロークが記入されたスクリーン4のスクリーン番号が位置合わせ番号として記憶手段25に記憶される。すなわち、各スクリーン4に表示された各第1マーク画像601への各電子ペン1における当接によって生成された記入情報のうち、コンピュータ装置2が第1マーク画像を表示後に最初に受信した記入情報(座標情報)に基づいて、記入スクリーンとして認識されたスクリーン4(4Aまたは4B)が、キャリブレーション処理の対象となる対象スクリーンとして特定されることになる。
次いで、キャリブレーション処理手段242は、受信した記入情報のうち、電子ペン1のペンアップの位置座標を抽出して、当該抽出した位置座標を第1認識基準点の位置座標として、対象スクリーンのスクリーン番号に対応付けてスクリーン管理テーブルに記憶する(ステップS303)。
次いで、キャリブレーション処理手段242は、記憶手段25に記憶されている第2表示基準点の位置座標に基づいて、表示手段26の表示画面201に第2マーク画像を表示させ(ステップS304)、本動作を終了させる。なお、ステップS304の処理においては、キャリブレーション処理手段242が表示手段26の表示画面201に第2マーク画像を表示させると、送信手段27は、各プロジェクタ3に対して、各スクリーン4上にキャリブレーション用の第2マーク画像602を投影させるための画像信号を出力する。そして、スクリーン4は、ユーザに電子ペン1によるキャリブレーション用の第2マーク画像602を表示させ、当該第2マーク画像602の基準点(同心円の中心)でのペンアップを促す。
一方、キャリブレーション処理手段242は、ステップS301で、位置合わせ番号がスクリーン管理テーブルに記憶されていると判断した場合には(ステップS301:Yes)、ステップS203の処理において描画処理手段241が認識した記入スクリーンのスクリーン番号とスクリーン管理テーブルに記憶されている位置合わせ番号とが同一であるか否かを判断する(ステップS305)。このとき、キャリブレーション処理手段242は、記入スクリーンのスクリーン番号と位置合わせ番号とが同一でないと判断した場合には(ステップS305:No)、エラー表示処理を実行し(ステップS310)、本動作を終了させる。一方、キャリブレーション処理手段242は、記入スクリーンのスクリーン番号と位置合わせ番号とが同一であると判断した場合には(ステップS305:Yes)、受信した記入情報のうち、ペンアップの位置座標を抽出して、当該抽出した位置座標を第2認識基準点の位置座標として、対象スクリーンのスクリーン番号に対応付けてスクリーン管理テーブルに記憶する(ステップS306)。
次いで、キャリブレーション処理手段242は、対象スクリーンにおける記憶手段25のスクリーン管理テーブルに記憶された第1認識基準点及び第2認識基準点の位置座標に基づいて座標入力領域403の対角の各頂点の位置座標を算出して(式1〜4参照)座標入力領域403の座標領域を規定し、規定した座標入力領域の座標領域を対象スクリーンのスクリーン番号に対応付けてスクリーン管理テーブルに記憶または更新する(ステップS307)。
次いで、キャリブレーション処理手段242は、対象スクリーンの座標変換関数を算出し(式5,6参照)、当該算出された座標変換関数を対象スクリーンのスクリーン番号に対応付けてスクリーン管理テーブルに記憶または更新する(ステップS308)。
最後に、キャリブレーション処理手段242は、対象スクリーンにおけるキャリブレーションを終了させて(ステップS309)本動作を終了する。なお、ステップS309の処理において、前回のストロークの描画処理においてエラー表示が実行されている場合には、表示されている当該エラー表示を解除する。
[エラー表示処理]
次に、図16を用いてキャリブレーション処理中に実行されるエラー表示処理の動作について説明する。なお、図16は、エラー処理の動作を示すフローチャートである。
まず、キャリブレーション処理を含むストロークの描画処理における図15のステップS310において、エラー処理が開始されると、キャリブレーション処理手段242は、ステップ203の処理において認識された記入スクリーンのスクリーン番号について、座標変換関数が定義されているか否かを判断する(ステップS401)。具体的には、キャリブレーション処理手段242は、記入スクリーンのスクリーン番号に対応付けて座標変換関数がスクリーン管理テーブルに記憶されているか否かを判断する。このとき、キャリブレーション処理手段242は、記入スクリーンについて座標変換関数が定義されていないと判断した場合には(ステップS401:No)、表示手段26の表示画面201の中央にエラー表示を表示して(ステップS404)、本動作を終了させる。
なお、ステップS404の処理においては、キャリブレーション処理手段242が表示手段26の表示画面201の中央にエラー表示を表示させると、送信手段27は、各プロジェクタ3に対して、各スクリーン4の座標入力領域403の中央にエラー表示を投影させるための画像信号を出力する。例えば、送信手段27は、各プロジェクタ3に対して、「スクリーン01を位置合わせ中です。しばらくお待ちください。」というエラー表示を各スクリーン4の座標入力領域403の中央に投影させるための画像信号を出力する。そして、各スクリーン4は、当該エラー表示を中央に表示する。
一方、キャリブレーション処理手段242は、記入スクリーンについて座標変換関数が定義されていると判断した場合には(ステップS401:Yes)、受信した記入情報のうち、電子ペン1によってペンダウンされた位置座標を抽出して、記入スクリーンの座標変換関数に基づいて、当該抽出した位置座標を表示画面201における位置座標に変換する座標変換を行う(ステップS402)。
次いで、キャリブレーション処理手段242は、座標変換された位置座標に基づいて表示手段26の表示画面201にエラー表示を表示して(ステップS403)、本動作を終了させる。
なお、ステップS403の処理においては、キャリブレーション処理手段242が表示手段26の表示画面201の、記入スクリーンに電子ペン1がペンダウンされた位置に対応する位置にエラー表示を表示させると、送信手段27は、各プロジェクタ3に対して、各スクリーン4の電子ペン1がペンダウンされた位置にエラー表示603を投影させるための画像信号を出力する。例えば、対象スクリーンではないスクリーン4Bへのペンダウンに対してステップS402のエラー表示を行う場合には、送信手段27は、各プロジェクタ3に対して、「スクリーン01を位置合わせ中です。しばらくお待ちください。」というエラー表示603がスクリーン4Bの電子ペン1がペンダウンした位置に表示される画像を、各スクリーン4に投影させるための画像信号を出力する。そして、スクリーン4Bでは、図13に示すように、当該エラー表示603Bを電子ペン1Bがペンダウンした位置に表示する。なお、スクリーン4Aには、電子ペン1Aがペンダウンされていなくても、あるいは電子ペン1Aがペンダウンされている位置に係わらず、座標入力領域403Aの電子ペン1Bがペンダウンした位置に対応する位置にエラー表示603Aが表示される。
<第1実施形態の作用効果>
以上、本実施形態における情報処理システム10は、キャリブレーション処理の対象のスクリーン4Aまたは4Bについて、キャリブレーション処理を実行している際に、キャリブレーション処理の非対象である他のスクリーン4Bまたは4Aへの電子ペン1Aまたは1Bのストロークの記入による記入情報を受信した場合には、エラー処理を実行するので、対象スクリーンのスクリーン4Aまたは4Bについてキャリブレーション処理の実行中に、非対象のスクリーン4Bまたは4Aにおける記入情報を受信したとしても、当該記入情報によって、対象スクリーンにおけるキャリブレーション処理に影響を与えることがなく、スクリーン4Aまたは4Bについてキャリブレーション処理を的確に行うことができる。したがって、情報処理システム10は、キャリブレーションされた各スクリーン4A及び4Bにおける座標系と電子ペンのストロークを描画する所定の画像表示領域の座標系とをそれぞれ高精度に位置合わせすることができるとともに、電子ペン1Aまたは1Bによるスクリーン4Aまたは4B上のストロークを集約してそれぞれのスクリーン4A及び4Bに正確に画像として表示させることができる。
また、情報処理システム10は、対象スクリーンのスクリーン4Aまたは4Bについてキャリブレーション処理の実行中に、非対象のスクリーン4Bまたは4Aにおける記入情報を受信した場合に、電子ペン1Aまたは1Bによるストロークの記入がエラーであることをユーザに確実に認識させることができる。特に、情報処理システム10は、キャリブレーション処理の非対象のスクリーン4Bまたは4A上における電子ペン1Bまたは1Aによってペンダウンされた位置に、エラー表示をすることができる。すなわち、電子ペンが当接された位置における表示については、ユーザによって確実に視覚できる位置と推認し、当該位置にエラー表示を行うことによって、電子ペンによるストロークの記入がエラーであることをユーザに確実に認識させることができる。
また、情報処理システム10は、キャリブレーション処理を開始して表示画面201に第1マーク画像を表示した後に各スクリーン4A及び4Bに表示された第1マーク画像601への電子ペン1による当接により生成される記入情報のうち、コンピュータ装置2が最初に受信した記入情報に基づいて、キャリブレーション処理を行う対象スクリーンとしてスクリーン4Aまたは4Bを特定することができるので、煩雑な操作を行うことなく、容易にキャリブレーションを実行させることができる。
<変形例>
次に、第1実施形態における変形例について説明する。
第1実施形態においては、キャリブレーション処理手段242は、指示用紙6への電子ペン1Aまたは1Bによるストロークの記入に基づいてキャリブレーション処理を実行しているが、コンピュータ装置2の入力手段21からの指示に基づいて当該キャリブレーション処理を実行するようにしてもよい。この場合には、図7に示すキャリブレーション処理を含む描画処理においては、ステップS202及びステップS207の各処理は省略されるとともに、キャリブレーション処理手段242は、コンピュータ装置2の入力手段21からの指示に基づいてキャリブレーション処理を開始して、位置合わせ番号、第1認識基準点の位置座標及び第2認識基準点の位置座標をクリアし、記憶手段25に記憶された第1表示基準点の及び第2表示基準点の位置座標に基づいて第1マーク画像を表示画面201に表示させる。この変形例においても、コンピュータ装置2は、キャリブレーション処理が実行されていないときに、座標変換関数が定義されていないスクリーン4に関する記入情報を受信すると、どのスクリーン4のキャリブレーションが必要であるかを表示してキャリブレーション処理を開始することができる(ステップS205:No、S208、S209参照)。
また、第1実施形態においては、エラー処理としてエラー表示処理を行うようになっているが、単に、キャリブレーション処理手段242は、受信した記入情報を無視し、キャリブレーション処理に用いる情報としては用いないようにするだけでもよい。この場合には、キャリブレーション処理を含むストロークの描画処理においては、ステップS310の処理が省略される。
また、第1実施形態においては、キャリブレーション処理手段242が、第1マーク画像601を表示させて第1認識基準点の位置座標を認識した後に第2マーク画像602の表示及び第2認識基準点の位置座標の認識を実行しているが、第1マーク画像と第2マーク画像を同時に表示画面201に表示させつつ、各スクリーン4に第1マーク画像601及び第2マーク画像602を同時に表示させ、第1認識基準点及び第2認識基準点の位置座標を認識するようにしてもよい。この場合には、キャリブレーション処理手段242は、第1マーク画像601及び第2マーク画像602を同時に各スクリーン4に表示させた後に、記入スクリーンに対して記入された複数のストローク情報(例えば、2つのストローク情報)をそれぞれ受信する。そして、キャリブレーション処理手段242は、受信した各ストローク情報に含まれるペンアップの位置座標を比較し、記入スクリーンの座標系上においてX座標及びY座標とも最小値である位置座標を第1認識基準点の位置座標として認識し、X座標及びY座標とも最大値である位置座標を第2認識基準点の位置座標として認識するようにしてもよい。
また、第1実施形態においては、キャリブレーション処理手段242は、ストローク情報に含まれるペンアップの位置座標を、第1認識基準点または第2認識基準点の位置座標として認識しているが、電子ペン1がスクリーン4に当接した位置を示すペンダウンの位置座標をストローク情報から認識し、当該認識した位置座標を第1認識基準点または第2認識基準点の位置座標として用いてもよい。
また、第1実施形態においては、キャリブレーション処理手段242は、エラー表示処理を実行した後に、当該エラー処理の対象となったストローク情報を表示画面201に描画するようにしてもよい。この場合には、送信手段27は、各プロジェクタ3に対して、描画されたストロークを各スクリーン4上に投影させるための画像信号を出力する。そして、各スクリーン4は、描画されたストロークをそれぞれ表示する。また、この処理は、ステップS403の処理の後に実行される。
また、第1実施形態においては、情報処理システム100は、複数の電子ペン1を用いて複数のスクリーン4に対するストロークの描画処理及びキャリブレーション処理を実行する点に代えて、一の電子ペン1のみを用いてユーザによって複数のスクリーン4に対するストロークの描画処理及びキャリブレーション処理を実行するようにしてもよい。
また、第1実施形態においては、第1認識基準点及び第2認識基準点を認識するために、第1マーク画像601及び第2マーク画像602の2つの画像を各スクリーン4に表示させるようにしているが、3以上のマーク画像を表示させて3以上の認識基準点に基づいてキャリブレーション処理を実行するようにしてもよい。
また、第1実施形態においては、2つのスクリーン4(4A及び4B)において本発明を適用しているが、3以上のスクリーンに電子ペン1のストロークを表示する情報処理システムについて本発明を適用することができる。
<第2実施形態>
次に、図17〜図19の各図を用いて第2実施形態における情報処理システム100を説明する。
第2実施形態は、第1実施形態において同一のドットパターンが印刷された位置合わせ指示エリアを有する指示用紙6が各スクリーン4(4A及び4B)にそれぞれ貼り付けられている点に代えて、異なるドットパターンが印刷された指示用紙6がそれぞれスクリーン4A及び4Bに貼り付けてある点に特徴がある。その他の本実施形態の構成は、第1実施形態と同一であり、同一の部材に対しては同一の番号を付してその説明を省略する。
[座標定義情報]
まず、図17を用いて記憶手段25に記憶される座標定義情報について説明する。なお、図17は、本実施形態における記憶手段25に記憶される座標定義情報の一例である。
記憶手段25に記憶される座標定義情報としては、図17に示すように、複数のスクリーン4に関する情報と、各スクリーン4毎にそれぞれ設けられた複数の位置合わせ指示エリアに関する情報とが記憶される。特に、各位置合わせ指示エリアに関する情報は、異なるドットパターンアドレス、異なる座標領域を規定する情報、その種別を示す情報及びその位置合わせ指示エリアを有する指示用紙6が貼り付けられているスクリーン4のスクリーン番号が対応付けられて座標定義情報として記憶手段25に記憶される。
[キャリブレーション処理を含むストロークの描画処理]
次に、図18及び図19を用いて、本第2実施形態の情報処理システム100におけるキャリブレーション処理を含むストロークの描画処理について説明する。なお、図18及び図19は、第2実施形態におけるキャリブレーション処理を含むストロークの描画処理の動作を示すフローチャートである。
本動作において、第1実施形態の図14及び図15のフローチャートと同様の処理については、適宜省略して説明する。
まず、電子ペン1(1Aまたは1B)は、ユーザによってスクリーン4(4Aまたは4B)の用紙402上または何れかの指示用紙6上にストロークの記入が実行されると、記入情報をコンピュータ装置2に送信する(ステップS501)。
次いで、コンピュータ装置2においては、受信手段22が、電子ペン1から記入情報(ストローク情報及びペンID)を受信すると、描画処理手段241は、その記入情報に含まれるストローク情報及びペンIDを記憶手段25に記憶する(ステップS601)。
次いで、描画処理手段241は、受信したストローク情報がスクリーン4への記入か否かを判断する(ステップS602)。このとき、描画処理手段241は、受信したストローク情報がスクリーン4への記入でないと判断した場合には(ステップS602:No)、ステップS607の処理に移行する。なお、ステップS602の判断処理においては、描画処理手段241は、時刻的に最先の位置座標など、ストローク情報に含まれる一の位置座標のみ用いてもよいし、複数または全ての位置座標を用いてもよい。
また、描画処理手段241は、受信したストローク情報がスクリーン4への記入であると判断した場合には(ステップS602:Yes)、ストローク情報が属する座標領域に関連付けられているスクリーン番号を記入スクリーンのスクリーン番号として認識する(ステップS603)。
次いで、描画処理手段241は、キャリブレーション処理が実行中であるか否かを判断し(ステップS604)、キャリブレーション処理が実行中であると判断した場合には(ステップS604:Yes)、図19のステップS701の処理に移行する。また、描画処理手段241は、キャリブレーション処理が実行中でないと判断した場合には(ステップS604:No)、記入スクリーンにおける座標変換関数が定義されているか否かを確認する(ステップS605)。すなわち、描画処理手段241は、ステップS603の処理によって認識したスクリーン番号に対応付けて、記憶手段25のスクリーン管理テーブルに座標変換関数が記憶されているか否かを確認する。このとき、描画処理手段241が記入スクリーンにおける座標変換関数が定義されていないと判断した場合には(ステップS605:No)、ステップS609の処理に移行する。
また、描画処理手段241は、記入スクリーンにおける座標変換関数が定義されていると判断した場合には(ステップS605:Yes)、記憶手段25に記憶された該当する座標変換関数に基づいて、受信したストローク情報の各位置座標を表示画面201上の位置座標に変換し、変換された位置座標に沿って表示手段26の表示画面201に電子ペン1(1Aまたは1B)のストロークを表示する。なお、描画処理手段241が、表示手段26の表示画面201に電子ペン1のストロークを表示すると、送信手段27は、当該表示画面201に表示されている画像と同一の画像を各スクリーン4に表示するために、所定の画像信号を画像信号分配器5を介して各プロジェクタ3に出力する。
一方、描画処理手段241は、ステップS602で、受信したストローク情報がスクリーン4への記入でないと判断した場合には(ステップS602:No)、当該受信したストローク情報が位置合わせ指示エリア(指示用紙6)への記入であるかを判断する(ステップS607)。具体的には、描画処理手段241は、ステップS602の処理において該当した座標領域に対応付けられて座標定義情報に記憶された種別の情報が「位置合わせ指示エリア」であるか否かを判断する。このとき、描画処理手段241は、受信したストローク情報が位置合わせ指示エリアへの記入でないと判断した場合には(ステップS608:No)、本動作を終了する。
また、描画処理手段241が、受信したストローク情報が位置合わせ指示エリアへの記入であると判断した場合には(ステップS607:Yes)、描画処理手段241は、ストローク情報の該当した座標領域に対応付けられて座標定義情報に記憶されている、位置合わせ指示エリアの貼られたスクリーン番号を認識する(ステップS609)。
次いで、キャリブレーション処理手段242は、キャリブレーション処理を開始して、記憶手段25に記憶されているスクリーン管理テーブルにおいて、位置合わせ番号、第1認識基準点の位置座標及び第2認識基準点の位置座標をクリアにする(ステップS609)。次いで、キャリブレーション処理手段242は、ステップS608又はステップS603で認識したスクリーン番号を位置合わせ番号として記憶手段25に記憶する(ステップS610)。すなわち、キャリブレーション処理手段242は、特定の指示用紙6への記入により特定のスクリーン4についてのキャリブレーションが指示された場合に、又は、座標変換関数が未定義のスクリーン4への記入による記入情報を受信して、当該未定義のスクリーン4について強制的にキャリブレーションを行う場合に、対象スクリーンを特定して対応するスクリーン番号を位置合わせ番号として記憶手段25に記憶する。
次いで、キャリブレーション処理手段242は、表示手段26の表示画面201に第1マーク画像を表示し(ステップS611)、本動作を終了させる。なお、ステップS611の処理においては、キャリブレーション処理手段242は、表示手段26の表示画面201にキャリブレーション用の第1マーク画像を表示させると、各プロジェクタ3に対して、スクリーン4上に、キャリブレーション用の第1マーク画像601を投影させつつ、ユーザに電子ペン1によるキャリブレーション用の第1マーク画像601の基準点(同心円の中心)でのペンアップを促す。例えば、図9のように、処理手段24は、プロジェクタ3Aに対してマーク画像601Aをスクリーン4A上に投影させつつ「ペン先が的の中心に触れたところで上げてください」といった指示メッセージを表示させたり、同様の音声による指示を出力させたりする。
次に、図19を用いて図18のステップS609〜S611におけるキャリブレーションの起動処理に続くキャリブレーション処理について説明する。
本動作は、図18のステップS611の処理における第1マーク画像の表示後に記入情報が受信され、ステップS604の処理において、描画処理手段241によってキャリブレーション処理の実行中と判断された場合に実行される。
まず、キャリブレーション処理手段242は、ステップS603で認識したスクリーン番号が、記憶手段25のスクリーン管理テーブルに記憶されている位置合わせ番号と同一か否かを判断する(ステップS701)。このとき、キャリブレーション処理手段242は、認識したスクリーン番号が位置合わせ番号と異なると判断した場合には(ステップS701:No)、エラー表示処理を実行し(ステップS710)、本動作を終了させる。
一方、キャリブレーション処理手段242は、認識したスクリーン番号が位置合わせ番号と同一であると判断した場合には(ステップS701:Yes)、スクリーン管理テーブルの対象スクリーンのスクリーン番号に対応付けて、第1認識基準点が記憶されているか否かを判断する(ステップS702)。このとき、キャリブレーション処理手段242は、第1認識基準点がスクリーン管理テーブルに記憶されていると判断した場合には(ステップS702:Yes)、ステップS706の処理に移行する。また、キャリブレーション処理手段242は、第1認識基準点がスクリーン管理テーブルに記憶されていないと判断した場合には(ステップS702:No)、受信した記入情報のうち、電子ペン1のペンアップの位置座標を抽出して、当該抽出した位置座標を第1認識基準点の位置座標として、対象スクリーンのスクリーン番号に対応付けてスクリーン管理テーブルに記憶する(ステップS703)。
次いで、キャリブレーション処理手段242は、記憶手段25に記憶されている第2表示基準点の位置座標に基づいて、表示手段26の表示画面201に第2マーク画像を表示させ(ステップS704)、本動作を終了させる。なお、ステップS704の処理においては、キャリブレーション処理手段242が表示手段26の表示画面201に第2マーク画像を表示させると、送信手段27は、各プロジェクタ3に対して、各スクリーン4上にキャリブレーション用の第2マーク画像602を投影させるための画像信号を出力する。そして、スクリーン4は、ユーザに電子ペン1によるキャリブレーション用の第2マーク画像602を表示させ、当該第2マーク画像602の基準点(同心円の中心)でのペンアップを促す。
一方、キャリブレーション処理手段242は、ステップS702で、第1認識基準点がスクリーン管理テーブルに記憶されていると判断した場合には(ステップS702:Yes)、受信した記入情報のうち、ペンアップの位置座標を抽出して、当該抽出した位置座標を第2認識基準点の位置座標として、対象スクリーンのスクリーン番号に対応付けてスクリーン管理テーブルに記憶する(ステップS706)。
次いで、キャリブレーション処理手段242は、対象スクリーンにおける記憶手段25のスクリーン管理テーブルに記憶された第1認識基準点及び第2認識基準点の位置座標に基づいて座標入力領域403の対角の各頂点の位置座標を算出して(式1〜4参照)座標入力領域403の座標領域を規定し、規定した座標入力領域の座標領域を対象スクリーンのスクリーン番号に対応付けてスクリーン管理テーブルに記憶または更新する(ステップS707)。
次いで、キャリブレーション処理手段242は、対象スクリーンの座標変換関数を算出し(式5,6参照)、当該算出された座標変換関数を対象スクリーンのスクリーン番号に対応付けてスクリーン管理テーブルに記憶または更新する(ステップS708)。
最後に、キャリブレーション処理手段242は、対象スクリーンにおけるキャリブレーションを終了させて(ステップS709)本動作を終了する。なお、ステップS709の処理において、前回のストロークの描画処理においてエラー表示が実行されている場合には、表示されている当該エラー表示を解除する。
<第2実施形態の作用効果>
以上、本第2実施形態の情報処理システム100は、キャリブレーション処理を開始するための座標入力領域(座標情報)を有する位置合わせ指示エリアに電子ペン1Aまたは1Bの記入を行うこと(当接させること)によって、当該位置合わせエリアに予め対応付けられたスクリーン4Aまたは4Bを対象スクリーンとして特定して、キャリブレーション処理を実行させることができるので、確実にユーザが所望するスクリーン4Aまたは4Bに対してキャリブレーション処理を実行させることができる。
また、情報処理システム100は、座標変換関数が定義されていないスクリーン4A又は4Bに関する記入情報を受信した場合にも、当該スクリーン4A又は4Bを対象スクリーンとして特定して、キャリブレーション処理を実行させることができる。そのため、他のスクリーン4への電子ペン1による記入のタイミングに左右されずに、確実に座標変換関数が未定義のスクリーン4A又は4Bに対してキャリブレーション処理を実行させることができる。
<変形例>
次に、第2実施形態の変形例について説明する。
第2実施形態においては、キャリブレーション処理を実行するための位置合わせ指示エリアが、スクリーン4A、4Bの座標入力領域403A、403Bの領域外に指示用紙6としてそれぞれ設けられているが、当該座標入力領域403の領域内に設けられていてもよい。この場合には、スクリーン4の座標入力領域403内にメニュー及びアイコンによってキャリブレーション処理毎に変動する領域として位置合わせ指示エリアが形成されていてもよいし、スクリーン4の一部にそれぞれ固定した領域として位置合わせ指示エリアが形成されていてもよい。メニューまたはアイコンによって位置合わせ領域が形成されている場合には、上述のように、スクリーン4上の位置座標とコンピュータ装置2の表示手段26における表示画面201上の位置座標とが座標変換関数による座標変換によりキャリブレーションされているため、キャリブレーション処理が実行される毎に、メニューまたはアイコンの位置座標を認識し、当該メニューまたはアイコンのスクリーン4上の位置座標に対して電子ペン1によるストロークを記入すれば、キャリブレーション処理手段242は、キャリブレーション処理の開始指示を認識することができる。また、位置合わせ指示領域が座標入力領域403内に固定されている場合には、その部分に位置合わせ指示エリアである旨を表示するとよい。
このようにスクリーン4A、4B内にキャリブレーション処理を開始させるためのエリアが設けられている場合には、スクリーン4Aまたは4Bに電子ペン1によるスクリーンの記入中であっても容易にキャリブレーション処理を開始させることができるので、常に正確にスクリーンにユーザが記入した電子ペン1のストロークを表示させることができる。
<第3実施形態>
次に、図20及び図21を用いて第3実施形態における情報処理システム101を説明する。なお、図20は、本実施形態における情報処理システム101のシステム構成図であり、図21は、本実施形態におけるディスプレイ装置40Aに表示されたキャリブレーション用の第1マーク画像及び第2マーク画像を示す図である。
[情報処理システムの構成及び概要]
第3実施形態の情報処理システム101は、第1実施形態において複数のプロジェクタ3を用いて複数のスクリーン4に画像を表示するとともに何れかのスクリーン4を用いて電子ペン1によるストロークの記入を行う点に代えて、複数のディスプレイ装置40A、40B(40)と、各ディスプレイ装置40A、40Bの前面に形成されたドットパターンが印刷された透明シート8A、8B(8)を用いて電子ペン1によるストロークの記入を行う点に特徴がある。なお、本実施形態において、第1実施形態と同一の部材については、同一の符号を付してその説明を省略する。
本第3実施形態の情報処理システム101は、図20に示すように、電子ペン1A、1Bと、表示画面(画像表示領域)401A、401Bを有する複数のディスプレイ装置40A、40Bと、各ディスプレイ装置40A、40Bの前面に形成され、電子ペン1によって読取可能なドットパターン(コード化パターン)が印刷された透明シート8A、8Bと、電子ペン1A、1Bにおけるストロークの記入など各ディスプレイ装置に同一の画像を表示させるための種々の処理を行うコンピュータ装置20と、コンピュータ装置20から出力された画像信号を分配し各ディスプレイ装置40A、40Bに出力する画像信号分配器5とを有している。なお、コンピュータ装置20は、第1実施形態のコンピュータ装置2とほぼ同一の構成を有しているが、独自に表示手段26を有していない点のみ当該コンピュータ装置2と構成が異なる。
[透明シート]
各透明シート8A、8Bは、各ディスプレイ装置40A、40Bの表示エリア401A、401Bの前面に貼り付けられるとともに、電子ペン1のストロークまたは第1マーク画像801A、801Bなど表示エリア401A、401Bに表示された画像を前面から視覚可能となるよう各画像を透過させる構成を有している。
例えば、キャリブレーション処理が実行される際には、ディスプレイ装置40Aには、図21に示すように、透明シート8Aの前面から視覚可能に第1マーク画像801Aと第2マーク画像802Aがタイミングを変えて表示されるとともに、「ペン先が的の中心に触れたところであげてください。」という指示メッセージ901Aが表示される。
なお、本実施形態のドットパターンは、赤外線を選択的に反射する特性を有するインキにて各透明シート8に印刷されている。したがって、電子ペン1では、プロセッサ108には、CMOSカメラ106によって撮影された画像データから、赤外線反射の強い部分領域をドットであると認識するよう閾値を設けて判定される。
[座標定義情報]
コンピュータ装置20の記憶手段25に記憶される座標定義情報としては、ドットパターンアドレス、座標領域、「透明シート」であるか「位置合わせ指示エリア」であるかを示す種別の情報、スクリーン番号(透明シート番号)として「SHT01」、「SHT02」といった該当する各透明シート8の識別情報、が含まれる。
[キャリブレーション処理を含むストロークの描画処理]
情報処理システム101におけるキャリブレーション処理を含むストロークの描画処理は、第1、第2実施形態の情報処理システム10、100におけるキャリブレーション処理を含むストロークの描画処理と同様であって、第1、第2実施形態においてスクリーン4について処理していた点が、透明シート8について処理することとなる。具体的には、例えば、第1、第2実施形態における「スクリーン」、「記入スクリーン」、「対象スクリーン」等は、本第3実施形態では、「透明シート」、「記入透明シート」、「対象透明シート」等として処理する。
<第3実施形態の作用効果>
以上、本第3実施形態における情報処理システム101は、キャリブレーション処理の対象の透明シート8Aまたは8Bについて、キャリブレーション処理を実行している際に、キャリブレーション処理の非対象である他の透明シート8Bまたは8Aへの電子ペン1のストロークの記入による記入情報を受信した場合には、エラー処理を実行するので、対象スクリーン(対象透明シート)の透明シート8Aまたは8Bについてキャリブレーション処理の実行中に、非対象の透明シート8Bまたは8Aにおける座標情報を受信したとしても、当該記入情報によって、対象の透明シート8におけるキャリブレーション処理に影響を与えることがなく、そのキャリブレーション処理を的確に行うことができる。したがって、情報処理システム101は、各透明シート8A及び8Bにおける座標系と電子ペンのストロークを描画する所定の画像表示領域の座標系とをそれぞれ高精度に位置合わせすることができるとともに、電子ペン1Aまたは1Bによる透明シート8Aまたは8B上のストロークを集約してそれぞれの透明シート8A及び8Bに正確に画像として表示させることができる。
<変形例>
次に、第3実施形態の変形例について説明する。
本変形例は、図22に示すように、上述の第3実施形態において、電子ペン1によるストロークを、透明シート8を有する複数のディスプレイ装置40に画像として表示させる点に代えて、第1実施形態で説明したスクリーン4Aと、透明シート8Bを有するディスプレイ装置に対して、スクリーン4A上または透明シート8B上に記入された電子ペン1によるストロークの画像を表示させるようにしてもよい。すなわち、本変形例は、固有の座標範囲を示すコード化パターンが形成されたスクリーン4A上に及び透明シート8Bを有するディスプレイ装置40Bに、電子ペン1A、1B(1)によってそれぞれ記入されたストロークを集約して表示させるためのシステムである。具体的には、本変形例の情報処理システム102は、複数の電子ペン1A、1B(1)と、コンピュータ装置2と、スクリーン4Aに画像を投影するプロジェクタ3Aと、表示画面(画像表示領域)401Bを有するディスプレイ装置40Bと、ディスプレイ装置40Bの前面に形成され、電子ペン1によって読取可能なドットパターンが印刷された透明シート8Bと、電子ペン1A、1Bにおけるストロークの記入などスクリーン4A及びディスプレイ装置40Bに同一の画像を表示させるための種々の処理を行うコンピュータ装置2と、画像信号分配器5と、から構成される。
なお、本変形例におけるキャリブレーション処理の動作については、第1実施形態または第3実施形態において複数のスクリーン4または複数のディスプレイ装置40の一方について処理している点に代えて、スクリーン4及びディスプレイ装置40が混在して処理をしている点を除き、同一の処理が実行される。例えば、第1、第2実施形態における「スクリーン」、「記入スクリーン」、「対象スクリーン」等は、「スクリーン」または「透明シート」、「対象スクリーン」または「記入透明シート」、「対象スクリーン」または「対象透明シート」等として処理を実行する。
また、第3実施形態においては、第2実施形態と同様に、表示エリア401A、401Bの領域外に、キャリブレーション処理を実行するための位置合わせ指示エリアを有し、異なるドットパターンが印刷された指示用紙6をそれぞれディスプレイ40A、40Bに貼り付けてあってもよく、また、指示用紙6に代えて位置合わせ指示エリアが表示エリア401A、401Bの領域内に設けられていてもよい。