JP6151005B2 - システムおよび情報提供方法並びに電子機器 - Google Patents

Description

本発明の実施形態は、手書きデータを処理するための技術に関する。

近年、タブレット、ＰＤＡ、スマートフォンといった種々の電子機器が開発されている。この種の電子機器の多くは、ユーザによる入力操作を容易にするために、タッチスクリーンディスプレイを備えている。

ユーザは、タッチスクリーンディスプレイ上に表示されるメニューまたはオブジェクトを指などでタッチすることにより、これらメニューまたはオブジェクトに関連づけられた機能の実行を電子機器に指示することができる。

しかし、タッチスクリーンディスプレイを備える既存の電子機器の多くは、画像、音楽、他の各種メディアデータに対する操作性を追求したコンシューマ向け製品であり、会議、商談、商品開発などのビジネスシーンにおける利用については必ずしも適していない場合がある。このため、ビジネスシーンにおいては、いまなお、紙の手帳が広く利用されている。

特開２０１０−２６２５８４号公報

ビジネスシーンにおいては、電子機器は、過去に作成した手書き情報を容易に再利用することが可能なデジタルツールとして機能することが期待される場合がある。したがって、手書き情報を容易に扱うことが可能な新たな技術の実現が必要とされる。

本発明の目的は、手書き情報を容易に扱うことができるシステムおよび情報提供方法並びに電子機器を提供することを目的とする。

実施形態によれば、システムは、管理手段と、検索手段と、提供手段とを具備する。前記管理手段は、記憶媒体に格納される複数のコンテンツを管理する。前記複数のコンテンツの各々は、手書きされる複数のストロークに対応する複数のストロークデータを含む手書きデータと、前記複数のストロークに対応するイメージデータと、前記手書きデータを検索するための検索用情報とを含む。前記検索手段は、端末から文字列および識別子を含む検索要求を受信した場合、前記複数のコンテンツの検索用情報の中から、前記文字列に対応する検索用情報を検索する。前記提供手段は、前記検索要求に含まれる前記識別子に基づいて前記検索要求を送信した前記端末の種別を判定し、前記端末を手書き対応端末と判定した場合は前記検索用情報に対応するコンテンツ内の手書きデータを当該端末に送信し、前記端末を手書き対応でない端末であると判定した場合は前記検索用情報に対応するコンテンツ内のイメージデータを当該端末に提供する。

実施形態に係る電子機器の外観を示す斜視図。 同実施形態の電子機器のタッチスクリーンディスプレイ上に手書きされる手書き文書の例を示す図。 同実施形態の電子機器によって記憶媒体に保存される、図２の手書き文書に対応する時系列情報（手書きページデータ）を説明するための図。 同実施形態の電子機器のシステム構成を示すブロック図。 同実施形態の電子機器によって実行される手書きノートアプリケーションプログラムの機能構成を示すブロック図。 実施形態に係るサーバシステムと各クライアント端末との間のデータの流れを示す図。 図６のサーバシステムを介した手書き機能対応クライアント端末間の手書きページデータの流れを示す図。 図６のサーバシステムを介した手書き機能対応クライアント端末とＷｅｂクライアント端末との間の手書きページデータの流れを示す図。 図６のサーバシステムによって管理される手書きコンテンツのデータ構造を示す図。 図６のサーバシステムのシステム構成を示すブロック図。 同実施形態の電子機器によって実行されるアップロード処理の手順を示すフローチャート。 図６のサーバシステムによって実行される検索処理の手順を示すフローチャート。

以下、実施の形態について図面を参照して説明する。
図１は、一実施形態に係る電子機器の外観を示す斜視図である。この電子機器は、例えば、ペンまたは指によって手書き入力可能なペン・ベースの携帯型電子機器である。この電子機器は、タブレットコンピュータ、ノートブック型パーソナルコンピュータ、スマートフォン、ＰＤＡ等として実現され得る。以下では、この電子機器がタブレットコンピュータ１０として実現されている場合を想定する。タブレットコンピュータ１０は、タブレットまたはストレートコンピュータとも称される携帯型電子機器であり、図１に示すように、本体１１とタッチスクリーンディスプレイ１７とを備える。タッチスクリーンディスプレイ１７は、本体１１の上面に重ね合わせるように取り付けられている。

本体１１は、薄い箱形の筐体を有している。タッチスクリーンディスプレイ１７には、フラットパネルディスプレイと、フラットパネルディスプレイの画面上のペンまたは指の接触位置を検出するように構成されたセンサとが組み込まれている。フラットパネルディスプレイは、例えば、液晶表示装置（ＬＣＤ）であってもよい。センサとしては、例えば、静電容量方式のタッチパネル、電磁誘導方式のデジタイザなどを使用することができる。以下では、デジタイザとタッチパネルの２種類のセンサの双方がタッチスクリーンディスプレイ１７に組み込まれている場合を想定する。

デジタイザおよびタッチパネルタッチの各々は、フラットパネルディスプレイの画面を覆うように設けられる。このタッチスクリーンディスプレイ１７は、指を使用した画面に対するタッチ操作のみならず、ペン１００を使用した画面に対するタッチ操作も検出することができる。ペン１００は例えば電磁誘導ペンであってもよい。ユーザは、外部オブジェクト（ペン１００又は指）を使用してタッチスクリーンディスプレイ１７上で手書き入力操作を行うことができる。手書き入力操作中においては、画面上の外部オブジェクト（ペン１００又は指）の動きの軌跡、つまり手書き入力操作によって手書きされるストロークの軌跡（筆跡）がリアルタイムに描画され、これによって各ストロークの軌跡が画面上に表示される。外部オブジェクトが画面に接触されている間の外部オブジェクトの動きの軌跡が１ストロークに相当する。手書きされた文字または図形などに対応する多数のストロークの集合、つまり多数の軌跡（筆跡）の集合が手書き文書を構成する。

本実施形態では、この手書き文書は、イメージデータではなく、各ストロークの軌跡の座標列とストローク間の順序関係を示す時系列情報として記憶媒体に保存される。この時系列情報の詳細は図４を参照して後述するが、この時系列情報は、複数のストロークが手書きされた順を示し、且つ複数のストロークにそれぞれ対応する複数のストロークデータを含む。換言すれば、この時系列情報は、複数のストロークにそれぞれ対応する時系列のストロークデータの集合を意味する。各ストロークデータは、ある一つのストロークに対応し、このストロークの軌跡上の点それぞれに対応する座標データ系列（時系列座標）を含む。これらストロークデータの並びの順序は、ストロークそれぞれが手書きされた順序つまり筆順に相当する。

タブレットコンピュータ１０は、記憶媒体から既存の任意の時系列情報を読み出し、この時系列情報に対応する手書き文書、つまりこの時系列情報によって示される複数のストロークそれぞれに対応する軌跡を画面上に表示することができる。さらに、タブレットコンピュータ１０は編集機能を有している。この編集機能は、「消しゴム」ツール、範囲指定ツール、および他の各種ツール等を用いたユーザによる編集操作に応じて、表示中の手書き文書内の任意のストロークまたは任意の手書き文字等を削除または移動することができる。さらに、この編集機能は、幾つかの手書き操作の履歴を取り消す機能も含んでいる。さらに、この編集機能は、表示中の手書き文書に、任意の手書き文字または手書き記号などを追加することができる。

本実施形態では、時系列情報は、１つまたは複数のページとして管理されうる。この場合、時系列情報を１つの画面に収まる面積単位で区切ることによって、１つの画面に収まる時系列情報のまとまりを１つのページとして記録してもよい。あるいは、ページのサイズを可変できるようにしてもよい。この場合、ページのサイズは１つの画面のサイズよりも大きい面積に広げることができるので、画面のサイズよりも大きな面積の手書き文書を一つのページとして扱うことができる。１つのページ全体をディスプレイに同時に表示できない場合は、そのページを縮小してするようにしてもよいし、縦横スクロールによってページ内の表示対象部分を移動するようにしてもよい。

このように、時系列情報はページデータとして管理することができるので、以下では、時系列情報を手書きページデータあるいは単に手書きデータとも称する。

タブレットコンピュータ１０は、ネットワーク通信機能を有しており、他のパーソナルコンピュータやインターネット上のサーバシステム２などと連携することができる。すなわち、タブレットコンピュータ１０は、無線ＬＡＮなどの無線通信デバイスを備えており、他のパーソナルコンピュータとの無線通信を実行することができる。さらに、タブレットコンピュータ１０は、インターネット上のサーバシステム２との通信を実行することもできる。サーバシステム２は様々な情報を共有するためのシステムであり、オンラインストレージサービス、他の各種クラウドコンピューティングサービスを実行する。このサーバシステム２は１以上のサーバコンピュータから実現し得る。

サーバシステム２はハードディスクドライブ（ＨＤＤ）のような大容量の記憶媒体を備えている。タブレットコンピュータ１０は、時系列情報（手書きページデータ）をネットワーク越しにサーバシステム２に送信して、サーバシステム２の記憶媒体に格納することができる（アップロード）。タブレットコンピュータ１０とサーバシステム２との間のセキュアな通信を確保するために、通信開始時には、サーバシステム２がタブレットコンピュータ１０を認証するようにしてもよい。この場合、タブレットコンピュータ１０の画面上にユーザに対してＩＤまたはパスワードの入力を促すダイアログを表示してもよいし、タブレットコンピュータ１０のＩＤなどを自動的にタブレットコンピュータ１０からサーバシステム２に送信してもよい。

これにより、タブレットコンピュータ１０内のストレージの容量が少ない場合でも、タブレットコンピュータ１０が多数の時系列情報（手書きページデータ）あるいは大容量の時系列情報（手書きページデータ）を扱うことが可能となる。

さらに、タブレットコンピュータ１０は、サーバシステム２の記憶媒体に格納されている任意の１以上の時系列情報（手書きページデータ）を読み出し（ダウンロード）、その読み出した時系列情報によって示されるストロークそれぞれの軌跡をタブレットコンピュータ１０のディスプレイ１７の画面に表示することができる。この場合、複数の時系列情報（手書きページデータ）それぞれのページを縮小することによって得られるサムネイル（サムネイル画像）の一覧をディスプレイ１７の画面上に表示してもよいし、これらサムネイルから選ばれた１ページをディスプレイ１７の画面上に通常サイズで表示してもよい。

このように、本実施形態では、時系列情報が格納される記憶媒体は、タブレットコンピュータ１０内のストレージ、サーバ２内のストレージのいずれであってもよい。タブレットコンピュータ１０のユーザは、任意の時系列情報を、タブレットコンピュータ１０内のストレージおよびサーバ２内のストレージから選択される任意のストレージに格納することができる。

次に、図２および図３を参照して、ユーザによって手書きされたストローク（文字、マーク、図形、表など）と時系列情報との関係について説明する。図２は、ペン１００などを使用してタッチスクリーンディスプレイ１７上に手書きされる手書き文書（手書き文字列）の例を示している。

手書き文書では、一旦手書きされた文字や図形などの上に、さらに別の文字や図形などが手書きされるというケースが多い。図２においては、「ＡＢＣ」の手書き文字列が「Ａ」、「Ｂ」、「Ｃ」の順番で手書きされ、この後に、手書きの矢印が、手書き文字「Ａ」のすぐ近くに手書きされた場合が想定されている。

手書き文字「Ａ」は、ペン１００などを使用して手書きされる２つのストローク（「∧」形状の軌跡、「−」形状の軌跡）によって、つまり２つの軌跡によって表現される。最初に手書きされる「∧」形状のペン１００の軌跡は例えば等時間間隔でリアルタイムにサンプリングされ、これによって「∧」形状のストロークの時系列座標ＳＤ１１、ＳＤ１２、…ＳＤ１ｎが得られる。同様に、次に手書きされる「−」形状のペン１００の軌跡も等時間間隔でリアルタイムにサンプリングされ、これによって「−」形状のストロークの時系列座標ＳＤ２１、ＳＤ２１、…ＳＤ２ｎが得られる。

手書き文字「Ｂ」は、ペン１００などを使用して手書きされた２つのストローク、つまり２つの軌跡によって表現される。手書き文字「Ｃ」は、ペン１００などを使用して手書きされた手書きされた１つのストローク、つまり１つの軌跡によって表現される。手書きの「矢印」は、ペン１００などを使用して手書きされた手書きされた２つのストローク、つまり２つの軌跡によって表現される。

図３は、図２の手書き文書に対応する時系列情報（手書きページデータ）２００を示している。時系列情報は、複数のストロークデータＳＤ１、ＳＤ２、…、ＳＤ７を含む。時系列情報２００内においては、これらストロークデータＳＤ１、ＳＤ２、…、ＳＤ７は、筆跡順に、つまり複数のストロークが手書きされた順に時系列に並べている。

時系列情報２００において、先頭の２つのストロークデータＳＤ１、ＳＤ２は、手書き文字「Ａ」の２つのストロークをそれぞれ示している。３番目と４番目のストロークデータＳＤ３、ＳＤ４は、手書き文字「Ｂ」を構成する２つのストロークをそれぞれ示している。５番目のストロークデータＳＤ５は、手書き文字「Ｃ」を構成する１つのストロークを示している。６番目と７番目のストロークデータＳＤ６、ＳＤ７は、手書き「矢印」を構成する２つのストロークをそれぞれ示している。

各ストロークデータは、一つのストロークに対応する座標データ系列（時系列座標）、つまり一つのストロークの軌跡上の複数の点それぞれに対応する複数の座標を含む。各ストロークデータにおいては、複数の座標はストロークが書かれた順に時系列に並べられている。例えば、手書き文字「Ａ」に関しては、ストロークデータＳＤ１は、手書き文字「Ａ」の「∧」形状のストロークの軌跡上の点それぞれに対応する座標データ系列（時系列座標）、つまりｎ個の座標データＳＤ１１、ＳＤ１２、…ＳＤ１ｎを含む。ストロークデータＳＤ２は、手書き文字「Ａ」の「−」形状のストロークの軌跡上の点それぞれに対応する座標データ系列、つまりｎ個の座標データＳＤ２１、ＳＤ２２、…ＳＤ２ｎを含む。なお、座標データの数はストロークデータ毎に異なっていてもよい。

各座標データは、対応する軌跡内のある１点に対応するＸ座標およびＹ座標を示す。例えば、座標データＳＤ１１は、「∧」形状のストロークの始点のＸ座標（Ｘ１１）およびＹ座標（Ｙ１１）を示す。ＳＤ１ｎは、「∧」形状のストロークの終点のＸ座標（Ｘ１ｎ）およびＹ座標（Ｙ１ｎ）を示す。

さらに、各座標データは、その座標に対応する点が手書きされた時点に対応するタイムスタンプ情報Ｔを含んでいてもよい。手書きされた時点は、絶対時間（例えば、年月日時分秒）またはある時点を基準とした相対時間のいずれであってもよい。例えば、各ストロークデータに、ストロークが書き始められた絶対時間（例えば、年月日時分秒）をタイムスタンプ情報として付加し、さらに、ストロークデータ内の各座標データに、絶対時間との差分を示す相対時間をタイムスタンプ情報Ｔとして付加してもよい。

このように、各座標データにタイムスタンプ情報Ｔが追加された時系列情報を使用することにより、ストローク間の時間的関係をより精度よく表すことができる。

さらに、各座標データには、筆圧を示す情報（Ｚ）を追加してもよい。

図３で説明したような構造を有する時系列情報２００は、個々のストロークの筆跡だけでなく、ストローク間の時間的関係も表すことができる。したがって、この時系列情報２００を使用することにより、図２に示すようにたとえ手書き「矢印」の先端部が手書き文字「Ａ」上に重ねてまたは手書き文字「Ａ」に近接して書かれたとしても、手書き文字「Ａ」と手書き「矢印」の先端部とを異なる文字または図形として扱うことが可能となる。

なお、ストロークデータＳＤ１のタイムスタンプ情報としては、ストロークデータＳＤ１の内の複数の座標それぞれに対応する複数のタイムスタンプ情報Ｔ１１からＴ１ｎから選択される任意の一つを、あるいはタイムスタンプ情報Ｔ１１からＴ１ｎの平均値などを使用してもよい。同様に、ストロークデータＳＤ２のタイムスタンプ情報としては、ストロークデータＳＤ２の内の複数の座標点それぞれに対応する複数のタイムスタンプ情報Ｔ２１からＴ２ｎから選択される任意の一つを、あるいはタイムスタンプ情報Ｔ２１からＴ２ｎの平均値などを使用してもよい。また、同様に、ストロークデータＳＤ７のタイムスタンプ情報としては、ストロークデータＳＤ７の内の複数の座標点それぞれに対応する複数のタイムスタンプ情報Ｔ７１からＴ７ｎから選択される任意の一つを、あるいはタイムスタンプ情報Ｔ７１からＴ７ｎの平均値などを使用してもよい。

本実施形態の時系列情報２００においては、上述したように、ストロークデータＳＤ１、ＳＤ２、…、ＳＤ７の並びは手書き文字の筆順を示す。例えば、ストロークデータＳＤ１およびＳＤ２の並びは、最初に「∧」形状のストロークが手書きされ、次に「−」形状のストロークが手書きされたことを表す。したがって、たとえ２つの手書き文字の筆跡同士が互いに類似していても、それら２つの手書き文字の筆順が互いに異なる場合には、それら２つの手書き文字を異なる文字として区別することができる。

さらに、本実施形態では、上述したように、手書き文書は、イメージまたは文字認識結果ではなく、複数のストロークに対応する複数のストロークデータの集合から構成される時系列情報２００として記憶されるので、手書き文字の言語に依存せずに手書き文字を扱うことができる。よって、本実施形態の時系列情報２００の構造は、使用言語の異なる世界中の様々な国で共通に使用できる。

図４は、タブレットコンピュータ１０のシステム構成を示す図である。
タブレットコンピュータ１０は、図５に示されるように、ＣＰＵ１０１、システムコントローラ１０２、主メモリ１０３、グラフィクスコントローラ１０５、ＢＩＯＳ−ＲＯＭ１０５、不揮発性メモリ１０６、無線通信デバイス１０７、エンベデッドコントローラ（ＥＣ）１０８等を備える。

ＣＰＵ１０１は、タブレットコンピュータ１０内の各種モジュールの動作を制御するプロセッサである。ＣＰＵ１０１は、ストレージデバイスである不揮発性メモリ１０６から主メモリ１０３にロードされる各種ソフトウェアを実行する。これらソフトウェアには、オペレーティングシステム（ＯＳ）２０１、および各種アプリケーションプログラムが含まれている。アプリケーションプログラムには、手書きノートアプリケーションプログラム２０２が含まれている。この手書きノートアプリケーションプログラム２０２は、上述の手書きページデータを作成および表示する機能、手書きページデータを編集する機能、筆跡（ストローク）検索機能、および文字・図表認識機能等を有している。

また、ＣＰＵ１０１は、ＢＩＯＳ−ＲＯＭ１０５に格納された基本入出力システム（ＢＩＯＳ）も実行する。ＢＩＯＳは、ハードウェア制御のためのプログラムである。

システムコントローラ１０２は、ＣＰＵ１０１のローカルバスと各種コンポーネントとの間を接続するデバイスである。システムコントローラ１０２には、主メモリ１０３をアクセス制御するメモリコントローラも内蔵されている。また、システムコントローラ１０２は、ＰＣＩ ＥＸＰＲＥＳＳ規格のシリアルバスなどを介してグラフィクスコントローラ１０４との通信を実行する機能も有している。

グラフィクスコントローラ１０４は、本タブレットコンピュータ１０のディスプレイモニタとして使用されるＬＣＤ１７Ａを制御する表示コントローラである。このグラフィクスコントローラ１０４によって生成される表示信号はＬＣＤ１７Ａに送られる。ＬＣＤ１７Ａは、表示信号に基づいて画面イメージを表示する。このＬＣＤ１７Ａ上にはタッチパネル１７Ｂおよびデジタイザ１７Ｃが配置されている。タッチパネル１７Ｂは、ＬＣＤ１７Ａの画面上で入力を行うための静電容量式のポインティングデバイスである。指が接触される画面上の接触位置および接触位置の動き等はタッチパネル１７Ｂによって検出される。デジタイザ１７ＣはＬＣＤ１７Ａの画面上で入力を行うための電磁誘導式のポインティングデバイスである。ペン１００が接触される画面上の接触位置および接触位置の動き等はデジタイザ１７Ｃによって検出される。

無線通信デバイス１０７は、無線ＬＡＮまたは３Ｇ移動通信などの無線通信を実行するように構成されたデバイスである。ＥＣ１０８は、電力管理のためのエンベデッドコントローラを含むワンチップマイクロコンピュータである。ＥＣ１０８は、ユーザによるパワーボタンの操作に応じて本タブレットコンピュータ１０を電源オンまたは電源オフする機能を有している。

次に、図５を参照して、手書きノートアプリケーションプログラム２０２の機能構成について説明する。

手書きノートアプリケーションプログラム２０２は、ペン軌跡表示処理部３０１、時系列情報生成部３０２、編集処理部３０３、ページ保存処理部３０４、ページ取得処理部３０５、手書き文書表示処理部３０６、ストローク検索処理部３０９、検索結果表示処理部３１０、アップロード処理部３２１、ダウンロード処理部３２２、および閲覧・検索処理部３２３等を備える。

手書きノートアプリケーションプログラム２０２は、タッチスクリーンディスプレイ１７を用いて入力されるストロークデータを使用することによって、手書きページデータの作成、表示、編集等を行う。タッチスクリーンディスプレイ１７は、「タッチ」、「移動（スライド）」、「リリース」等のイベントの発生を検出するように構成されている。「タッチ」は、画面上に外部オブジェクトが接触したことを示すイベントである。「移動（スライド）」は、画面上に外部オブジェクトが接触されている間に接触位置が移動されたことを示すイベントである。「リリース」は、画面から外部オブジェクトが離されたことを示すイベントである。

ペン軌跡表示処理部３０１および時系列情報生成部３０２は、タッチスクリーンディスプレイ１７によって発生される「タッチ」または「移動（スライド）」のイベントを受信し、これによって手書き入力操作を検出する。「タッチ」イベントには、接触位置の座標が含まれている。「移動（スライド）」イベントにも、移動先の接触位置の座標が含まれている。したがって、ペン軌跡表示処理部３０１および時系列情報生成部３０２は、タッチスクリーンディスプレイ１７から、接触位置の動きの軌跡に対応する座標列を受信することができる。

ペン軌跡表示処理部３０１は、タッチスクリーンディスプレイ１７から座標列を受信し、この座標列に基づいて、ペン１００等を使用した手書き入力操作によって手書きされる各ストロークの軌跡をタッチスクリーンディスプレイ１７内のＬＣＤ１７Ａの画面上に表示する。このペン軌跡表示処理部３０１により、画面にペン１００が接触している間のペン１００の軌跡、つまり各ストロークの軌跡がＬＣＤ１７Ａの画面上に描かれる。

時系列情報生成部３０２は、タッチスクリーンディスプレイ１７から出力される上述の座標列を受信し、この座標列に基づいて、図３で詳述したような構造を有する上述の時系列情報を生成する。この場合、時系列情報、つまりストロークの各点に対応する座標およびタイムスタンプ情報は作業メモリ４０１に一時保存してもよい。

ページ保存処理部３０４は、生成された時系列情報を手書きページデータとして記憶媒体４０２に保存する。記憶媒体４０２は手書きページデータを格納するためのローカルなデータベースである。

ページ取得処理部３０５は、記憶媒体４０２から既に格納されている任意の時系列情報（手書きページデータ）を読み出す。読み出された時系列情報は手書き文書表示処理部３０６に送られる。手書き文書表示処理部３０６は、時系列情報を解析し、この解析結果に基づいて、時系列情報内の各ストロークデータによって示される各ストロークの軌跡を画面上に手書きページとして表示する。

編集処理部３０３は現在表示中の手書きページを編集するための処理を実行する。すなわち、編集処理部３０３は、タッチスクリーンディスプレイ１７上でユーザによって行われる編集操作および手書き入力操作に応じて、現在表示中の手書きページに新たなストローク（新たな手書き文字、新たな手書きマーク等）を追加する処理、表示されている複数のストローク内の１以上のストロークを削除または移動いる処理等を含む編集処理を実行する。さらに、編集処理部３０３は、編集処理の結果を表示中の時系列情報に反映するためにこの時系列情報を更新する。

ストローク検索処理部３０９は、筆跡（ストローク）検索処理を実行する。このストローク検索処理部３０９は、入力文字列を示すコード群を検索キーとして使用するのではなく、タッチスクリーンディスプレイ１７上に手書きされる手書きオブジェクト（手書き文字、手書きマーク、手書き図形）を構成する１以上のストロークそのものを検索キーとして使用する。そして、ストローク検索処理部３０９は、検索キーである１以上のストロークの特徴と類似する特徴を有するストロークを含む手書きページを記憶媒体４０２から検索する。各ストロークの特徴としては、筆画方向、形状、傾斜、等を使用し得る。

このように、ストローク検索処理では、入力文字列を示すコード群ではなく、ストロークが検索キーとして使用される。したがって、言語に依存しない検索を行うことができる。

いま、ある手書き文字のストローク群を検索キーとして使用する場合を想定する。この場合、検索キーである手書き文字のストロークとの類似度が基準値以上である手書き文字を含む手書きページデータ（ヒット手書きページ）が記憶媒体４０２から検索される。手書き文字間の類似度の計算方法としては、様々な方法を使用することができる。例えば各ストロークの座標列をベクトルとして扱ってもよい。この場合、比較対象のベクトル同士の類似度を計算するために、それら比較対象のベクトル間の内積を比較対象のベクトル間の類似度として算出してもよい。また他の例としては、各ストロークの軌跡を画像として扱い、比較対象の軌跡間の画像の重なりがもっとも多くなる部分の面積の大きさを上述の類似度として計算してもよい。さらに計算処理量を減らすための任意の工夫をしてもよい。また、手書き文字間の類似度の計算方法として、ＤＰ（Dynamic Programming）マッチングを使用してもよい。

検索結果表示処理部３１０は、ヒット手書きページをＬＣＤ１７Ａに表示する。ヒット手書きページが複数存在する場合には、検索結果表示処理部３１０はそれらヒット手書きページのサムネイルを生成し、それらサムネイルをＬＣＤ１７Ａに表示し得る。

なお、ストローク検索処理は、記憶媒体４０２内の手書きページデータ群に対してのみならず、サーバシステム２の記憶媒体２Ａ（サーバデータベース）に格納されている手書きページデータ群に対しても行うことができる。この場合、ストローク検索処理部３０９は、検索キーとして使用すべき１以上のストロークに対応する１以上のストロークデータを含む検索要求をサーバシステム２に送信する。サーバシステム２は、１以上のストロークデータの特徴と類似する特徴を有する手書きページデータ（ヒット手書きページ）を記憶媒体２Ａから検索し、このヒット手書きページをタブレットコンピュータ１０に送信する。

アップロード処理部３２１、ダウンロード処理部３２２、および閲覧・検索処理部３２３は、サーバシステム２と連携するためのモジュール群である。アップロード処理部３２１は、手書きノートアプリケーションプログラム２０２によって作成された手書きページデータをサーバシステム２にアップロードする。この場合、ストロークデータを扱う能力を有さない通常の端末（例えばＷｅｂクライアント端末）からでも手書きページデータの閲覧・検索を容易に行えるようにするために、アップロード処理部３２１は、手書きページデータに基づいて検索用情報とＷｅｂ表示用画像データとを自動的に生成し、これら手書きページデータと検索用情報とＷｅｂ表示用画像データとを互い関連付けた状態でサーバシステム２にアップロードする。これら手書きページデータと検索用情報とＷｅｂ表示用画像データはサーバシステム２の記憶媒体（データベース）に格納される。

Ｗｅｂ表示用画像データは、手書きページデータに対応するイメージデータ、つまり複数のストロークに対応するイメージデータである。このイメージデータは、手書きページデータに対応する画面イメージを表現する。手書きページデータは複数のストロークデータのみならず、静止画のような画像をも含みうる。この場合には、Ｗｅｂ表示用画像データとしては、複数のストロークおよび画像に対応する画面イメージを表現するためのイメージデータが使用される。このイメージデータの形式としては、ビットマップ画像形式、または他の各種汎用画像形式を使用し得る。

Ｗｅｂ表示用画像データを生成するために、アップロード処理部３２１は、Ｗｅｂ表示用画像データ生成部３２１Ｂを備える。Ｗｅｂ表示用画像データ生成部３２１Ｂは、アップロード対象の手書きページデータに基づいて、この手書きページデータの画面イメージに相当するスナップショットなどをＷｅｂ表示用画像データとして自動生成する。

検索用情報は、手書きページデータを検索するための情報である。この検索用情報は、手書きページデータの内容を容易に検索できるようにするための一種の索引情報として使用される。この検索用情報は、たとえば、手書きページデータを検索するためのテキスト（文字列）を含み得る。手書きページデータ内の全ての手書き文字を文字認識することによって得られるテキストを検索用情報として使用しても良いし、手書きページデータ内の幾つかの手書き見出しに対応するテキスト部分、幾つかの手書きタイトルに対応するテキスト部分などを検索用情報として使用しても良い。また、手書きページデータ内に出現する単語と、その単語に対応する手書き文字列の位置を示す座標情報とを、検索用情報として使用しても良い。

検索用情報を生成するために、アップロード処理部３２１は、検索用情報生成部３２１Ａを備える。検索用情報生成部３２１Ａは、アップロード対象の手書きページデータに基づいて、この手書きページデータの内容を表すテキストを含む上述の検索用情報を自動生成する。

ダウンロード処理部３２２は、サーバシステム２によって管理されている任意の手書きページデータをダウンロードする。この場合、手書きページデータのみならず、この手書きページデータに関連付けられたＷｅｂ表示用画像データおよび検索用情報も同時にダウンロードすることができる。

閲覧検索処理部３０３は、サーバシステム２によって管理されている手書きページ群を閲覧および検索するための処理を実行する。この閲覧検索処理部３０３は、ユーザによって入力される文字列を検索キーとして含む検索要求をサーバシステム２に送信することができる。サーバシステム２は、各手書きページデータに対応する検索用情報を使用することにより、検索キーとして指定された文字列に対応する手書きページデータをサーバシステム２の記憶媒体から検索する。この検索はテキスト検索である。

図６は、サーバシステム２と各端末との間のデータの流れを示す。以下では、各端末をクライアント端末と称する。クライアント端末１０Ａ、１０Ｂは、本実施形態のタブレットコンピュータ１０と同様の機能を有する端末、つまり、ストロークデータを扱う能力を有する端末である。Ｗｅｂクライアント端末２０は、ストロークデータを扱う能力を有さない端末であり、通常のＷｅｂブラウザなどを使用してサーバシステム２のサービスを利用する。

クライアント端末１０Ａのローカルストレージ（手書きノート用データベース）には、手書きノートアプリケーションプログラム２０２によって作成された手書きページデータ（手書きノートデータ）が格納される。各手書きページデータは、クライアント情報、プロパティ、ページ内ストローク、画像情報、等を含む。ページ内ストロークは、複数のストロークに対応する複数のストロークデータである。画像情報は、手書きページデータに埋め込まれた静止画像のような画像データである。

クライアント端末１０Ａ、１０Ｂの各々は、手書きページデータ（ページ情報）をサーバシステム２にアップロードする時に、手書きページデータ（ページ情報）と一緒に、Ｗｅｂ表示用画像と検索用情報とをサーバシステム２にアップロードする。これら手書きページデータ、Ｗｅｂ表示用画像、および検索用情報は、一つのパッケージされたデータとしてサーバシステム２にアップロードしてもよい。

また、クライアント端末１０Ａ、１０Ｂの各々は、サーバシステム２にアップロードされた任意の手書きページデータをダウンロードして、その手書きページデータの閲覧、検索（ストローク検索）および編集を行うことができる。手書きページデータのダウンロード時においては、手書きページデータに対応するＷｅｂ表示用画像および検索用情報も一緒にダウンロードすることができる。

サーバシステム２は、手書きページデータに一緒にアップロードされたＷｅｂ表示用画像および検索用情報を使用して、手書きページデータの閲覧および検索のためのサービスをＷｅｂクライアント端末２０に対して提供することができる。サーバシステム２は、各手書きページデータに対応するＷｅｂ表示用画像を使用して、サーバシステム２の記憶媒体２Ａに保持されている手書きページデータのリストを示す画面データ（Ｗｅｂページ）を生成することができる。

また、サーバシステム２は、Ｗｅｂクライアント端末２０から検索要求を受信し、その検索要求にしたがって上述のテキスト検索を実行することができる。このテキスト検索処理は、サーバシステム２が文字列を含む検索要求を受信した場合に実行される。テキスト検索処理では、サーバシステム２は、まず、記憶媒体２Ａに格納されている複数の検索用情報の中から、検索要求内の文字列に対応する検索用情報（第１の検索用情報）を検索する。そして、サーバシステム２は、第１の検索用情報に関連付けられている手書きページデータそのものではなく、その手書きページデータに関連付けられているＷｅｂ表示用画像を検索要求に対する検索結果としてＷｅｂクライアント端末２０に提供する（返す）。

サーバシステム２は、Ｗｅｂクライアント端末２０に対してのみならず、クライアント端末１０Ａ、１０Ｂの各々に対しても手書きページデータの閲覧および検索のためのサービスを提供することができる。例えば、クライアント端末１０Ａからの検索要求に応答して上述のテキスト検索を実行する場合においては、サーバシステム２は、まず、検索要求内の文字列を含む検索用情報を記憶媒体２Ａから検索する。そして、サーバシステム２は、検索要求内の文字列を含む検索用情報に関連付けられている手書きページデータそのものを検索要求に対する検索結果としてＷｅｂクライアント端末２０に提供することができる。

図７は、サーバシステム２を介した手書き機能対応クライアント端末１０Ａ，１０Ｂ間の手書きページデータの流れを示す。
クライアント端末１０Ａは、手書きページデータをＷｅｂ表示用画像および検索用情報と一緒にサーバシステム２にアップロードする。クライアント端末１０Ｂは、サーバシステム２から各手書きページデータをダウンロードする。クライアント端末１０Ｂは、クライアント端末１０Ｂのローカルの記憶媒体に格納されている手書きページデータのリスト（ローカルノート）と、サーバシステム２の記憶媒体に格納されている手書きページデータのリスト（サーバノート）とを表示することができる。この場合、クライアント端末１０Ｂは、サーバシステム２の記憶媒体に格納されている各手書きページデータに対応するサムネイル画像を作成し、各手書きページデータに対応するサムネイル画像をローカルノートに対応する画面上の表示領域に表示する。同様に、クライアント端末１０Ｂは、サーバシステム２からダウンロードした各手書きページデータに対応するサムネイル画像を作成し、各手書きページデータに対応するサムネイル画像をサーバノートに対応する画面上の表示領域に表示する。もちろん、サーバシステム２からダウンロードした各手書きページデータに対応するＷｅｂ表示用画像を使用して、サーバシステム２の記憶媒体に格納されている手書きページデータのリストを表示しても良い。

サーバノート上のサムネイル画像がユーザによって選択されると、クライアント端末１０Ｂは、選択されたサムネイル画像に対応する手書きページデータに基づいて、その手書きページデータの内容を大きなサイズで表示する。これにより、手書きページデータに対する閲覧、検索（ストローク検索）、編集の操作が可能となる。

図８は、サーバシステム２を介した手書き機能対応クライアント端末１０ＡとＷｅｂクライアント端末２０との間の手書きページデータの流れを示す。
クライアント端末１０Ａは、手書きページデータをＷｅｂ表示用画像および検索用情報と一緒にサーバシステム２にアップロードする。Ｗｅｂクライアント端末２０は、サーバシステム２に対してコンテンツリスト要求を送信する。このコンテンツリスト要求の受信に応答して、サーバシステム２は、サーバシステム２の記憶媒体２Ａに保持されている各手書きページデータに対応するＷｅｂ表示用画像データを使用して、サーバシステム２の記憶媒体２Ａに保持されている手書きページデータそれぞれのサムネイル画像のリストを示す画面データ（Ｗｅｂページ）を生成する。そして、サーバシステム２は、この画面データ（Ｗｅｂページ）をＷｅｂクライアント端末２０に送信する。これにより、Ｗｅｂクライアント端末２０のユーザは、サーバシステム２に保持されている手書きページデータのリストを見ることができる。

さらに、ユーザは、これら手書きページデータのリストの中から目的の手書きページデータをキーワード検索によって検索したり、このリスト内の手書きページデータに対応するＷｅｂ表示用画像データを表示することができる。

図９は、サーバシステム２によって管理されるコンテンツ（手書きコンテンツ）のデータ構造を示す。

サーバシステム２の記憶媒体（データベース）２Ａは、多数の手書きコンテンツを保持することができる。ここでは、手書きコンテンツ＃１、＃２、…＃Ｎが記憶媒体（データベース）２Ａに存在する場合を想定する。手書きコンテンツ＃１は、手書きページデータ（ページ情報）＃１、手書きページデータ＃１に対応する検索用情報＃１、および手書きページデータ＃１に対応するＷｅｂ表示用画像データ＃１とを含む。同様に、手書きコンテンツ＃２は、手書きページデータ（ページ情報）＃２、手書きページデータ＃２に対応する検索用情報＃２、および手書きページデータ＃２に対応するＷｅｂ表示用画像データ＃２とを含む。

図１０は、サーバシステム２の構成を示す。
サーバシステム２は、データ管理部５０１、検索処理部５０２、検索結果提供部５０３、およびリスト送信部５０４等を備える。データ管理部５０１は、記憶媒体２Ａに格納される複数の手書きコンテンツを管理する。複数の手書きコンテンツの各々は、上述したように、手書きされる複数のストロークに対応する複数のストロークデータを含む手書きページデータと、手書きページデータに対応するイメージを表示するためのＷｅｂ表示用画像データと、手書きページデータを検索するためのテキストを含む検索用情報とを含む。

検索処理部５０２は、クライアント端末から検索要求を受信し、この検索要求によって指定される文字列を含む第１の検索用情報を記憶媒体２Ａから検索する。すなわち、検索処理部５０２による検索処理では、検索用情報＃１、＃２、…＃Ｎが検索対象となる。検索処理部５０２は、まず、検索用情報＃１内のテキストを検索して、検索用情報＃１のテキストから検索要求によって指定される文字列を見つけ出す。検索用情報＃１のテキストにこの文字列が出現すれば、検索用情報＃１がヒット検索用情報として選択される。次いで、検索処理部５０２は、検索用情報＃２のテキストを検索して、検索用情報＃２内のテキストから検索要求によって指定される文字列を見つけ出す。検索用情報＃２のテキストにこの文字列が出現すれば、検索用情報＃２がヒット検索用情報として選択される。

検索結果提供部５０３は、ヒット検索用情報に対応する手書きコンテンツ内の手書きページデータ（複数のストロークデータ）、またはヒット検索用情報に対応する手書きコンテンツ内のＷｅｂ表示用画像データのいずれか一方を、検索要求に対する検索結果としてクライアント端末に提供する。この場合、検索要求を送信したクライアント端末が手書き機能対応クライアント端末１０Ａまたは１０Ｂであれば、検索結果提供部５０３は、手書きページデータをクライアント端末に提供でき、検索要求を送信したクライアント端末が手書き機能に対応していないＷｅｂクライアント端末２０であれば、検索結果提供部５０３は、Ｗｅｂ表示用画像データをクライアント端末に提供できる。

すなわち、検索結果提供部５０３は、クライアントタイプ判定部５０３Ａを備えている。クライアントタイプ判定部５０３Ａは、検索要求を送信したクライアント端末の種別、つまり、検索要求を送信したクライアント端末がストロークデータを扱う能力を有する第１タイプのクライアント端末（手書き機能対応クライアント端末）であるか否かを、判定する。検索結果提供部５０３は、このクライアントタイプ判定部５０３Ａを使用することにより、クライアント端末の種別に応じて、手書きページデータ（複数のストロークデータ）またはＷｅｂ表示用画像データのいずれか一方をクライアント端末に提供することができる。

クライアント端末の種別を判定する方法としては、様々な方法を使用することができる。例えば、手書き機能対応クライアント端末は、クライアントタイプを示す第１の識別子、あるいは要求すべきデータタイプ（例えば手書きページデータ）を示す第２の識別子などを含む検索要求を送信しても良い。この場合、クライアントタイプ判定部５０３Ａは、検索要求に含まれる第１または第２の識別子に応じて、クライアント端末の種別を判定することができる。また、クライアント端末とサーバシステム２との間の通信に使用されるプロトコルを通じて、サーバシステム２は、サーバシステム２との通信のためにクライアント端末上で動作しているブラウザのようなプログラムの名前を取得することもできる。この場合、クライアントタイプ判定部５０３Ａは、このプログラム名に応じて、クライアント端末の種別を判定してもよい。

リスト送信部５０４は、例えば、クライアント端末からコンテンツリスト要求を受信した時、サーバシステム２の記憶媒体２Ａに保持されている各手書きページデータに対応するＷｅｂ表示用画像データを使用して、サーバシステム２の記憶媒体２Ａに保持されている手書きページデータそれぞれのサムネイル画像のリスト（Ｗｅｂページ）を生成する。そして、リスト送信部５０４は、このリスト（Ｗｅｂページ）をクライアント端末に送信する。

なお、検索処理部５０２は、タブレットコンピュータ１０のストローク検索処理部３０９と同様のストローク検索を実行することもできる。このストローク検索は、検索処理部５０２が１以上のストロークデータを検索キーとして含む検索要求をクライアント端末から受信した場合に実行される。すなわち、クライアント端末からの検索要求に１以上のストロークデータが含まれている場合、検索結果提供部５０３は、記憶媒体２Ａに保持されている複数の手書きページデータの中から、この１以上のストロークデータの特徴と類似する特徴を有する第１の手書きページデータを検索する。そして、検索結果提供部５０３は、第１の手書きページデータをクライアント端末に送信する。

図１１のフローチャートは、タブレットコンピュータ１０によって実行されるアップロード処理の手順を示す。

タブレットコンピュータ１０の時系列情報生成部３０２は、上述したように、手書きページデータ（ページ情報）を生成する。ユーザによってこの手書きページデータをサーバシステム２にアップロードすることが要求された時、アップロード処理部３２１は、手書きページデータからこの手書きページデータに対応する検索用情報を生成する（ステップＳ１１）。さらに、アップロード処理部３２１は、手書きページデータからこの手書きページデータに対応するＷｅｂ表示用画像データを生成する（ステップＳ１２）。そして、アップロード処理部３２１は、手書きページデータに検索用情報とＷｅｂ表示用画像データとを関連付け、手書きページデータを検索用情報およびＷｅｂ表示用画像データと共にサーバシステム２に送信する（アップロード）。

図１２のフローチャートは、サーバシステム２によって実行される検索処理の手順を示す。ここでは、検索要求に含まれる検索キーが文字列（検索語）である場合を想定する。

サーバシステム２の検索処理部５０２は、クライアント端末から検索要求を受信する（ステップＳ２１）。この場合、クライアント端末とサーバシステム２との間の通信にはＨＴＴＰを使用することができる。検索処理部５０２は、記憶媒体２Ａに格納されている複数の検索用情報の中から、検索要求に含まれる文字列に対応する第１の検索用情報を検索する（ステップＳ２２）。このステップＳ２２では、検索用情報毎に、検索要求に含まれる文字列を含むテキストを有するか否かが判定される。検索要求に含まれる文字列を含むテキストを有する検索用情報が上述の第１の検索用情報として特定される。

検索結果提供部５０３は、検索要求内の上述の識別子等に基づいて、検索要求を送信したクライアント端末の種別（タイプ）を判定する（ステップＳ２３）。
検索要求を送信したクライアント端末が手書き対応クライアント端末であるならば（ステップＳ２４のＹＥＳ）、検索結果提供部５０３は、第１の検索用情報に対応する手書きコンテンツ内の手書きページデータを選択し、この手書きページデータを検索要求に対する検索結果としてクライアント端末に送信する（ステップＳ２５）。

一方、検索要求を送信したクライアント端末が手書き対応クライアント端末でないならば（ステップＳ２４のＮＯ）、検索結果提供部５０３は、第１の検索用情報に対応する手書きコンテンツ内のＷｅｂ表示用画像データを選択し、このＷｅｂ表示用画像データを検索要求に対する検索結果としてクライアント端末に送信する（ステップＳ２６）。

以上説明したように、本実施形態においては、複数のストロークデータを含む手書きページデータのみならず、Ｗｅｂ表示用画像データと検索用情報もサーバシステム２の記憶媒体２Ａに格納される。したがって、サーバシステム２は、通常のテキスト検索と同様の簡易な処理で、検索要求にマッチする手書きページデータまたはその手書きページデータに対応するＷｅｂ表示用画像データを端末に提供することが可能となる。また、各端末はサーバシステム２に検索要求を送信するだけで、目的の手書きページデータまたはその手書きページデータに対応するＷｅｂ表示用画像データをサーバシステム２から容易に取得することができる。よって、手書き対応端末間で手書きページデータを共有するだけでなく、手書き対応端末によって作成された手書きページデータを手書き非対応端末から閲覧・検索することも可能となる。

なお、本実施形態のサーバシステム２の処理はコンピュータプログラムによって実現することができるので、このコンピュータプログラムを格納したコンピュータ読み取り可能な記憶媒体を通じてこのコンピュータプログラムをサーバコンピュータにインストールして実行するだけで、本実施形態と同様の効果を容易に実現することができる。

本実施形態のタブレットコンピュータ１０の処理もコンピュータプログラムによって実現することができるので、このコンピュータプログラムを格納したコンピュータ読み取り可能な記憶媒体を通じてこのコンピュータプログラムを通常のコンピュータにインストールして実行するだけで、本実施形態と同様の効果を容易に実現することができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

２…サーバシステム、１０…タブレットコンピュータ、２００…時系列情報、３０１…ペン軌跡表示処理部、３０２…時系列情報生成部、３０３…編集処理部、３２１…アップロード処理部、３２２…ダウンロード処理部、５０１…データ管理部、５０２…検索処理部、５０３…検索結果提供部。

Claims (6)

1. 記憶媒体に格納される複数のコンテンツを管理する管理手段であって、前記複数のコンテンツの各々は、手書きされる複数のストロークに対応する複数のストロークデータを含む手書きデータと、前記複数のストロークに対応するイメージデータと、前記手書きデータ検索するための検索用情報とを含む、管理手段と、
   端末から文字列および識別子を含む検索要求を受信した場合、前記複数のコンテンツの検索用情報の中から、前記文字列に対応する検索用情報を検索する検索手段と、
   前記検索要求に含まれる前記識別子に基づいて前記検索要求を送信した前記端末の種別を判定し、前記端末を手書き対応端末と判定した場合は前記検索用情報に対応するコンテンツ内の手書きデータを当該端末に送信し、前記端末を手書き対応でない端末であると判定した場合は前記検索用情報に対応するコンテンツ内のイメージデータを当該端末に提供する提供手段と
   を具備するシステム。
2. 前記提供手段は、前記端末のタイプを示す第１識別子または要求すべきデータタイプを示す第２識別子に基づいて、前記手書き対応端末または前記手書き対応でない端末のいずれかに判別する請求項１記載のシステム。
3. 前記検索手段は、１以上のストロークデータの文字列を含む検索要求を受信した場合、前記複数のコンテンツに含まれる前記検索用情報の中から、前記１以上のストロークデータの文字列の特徴と類似する特徴を有する前記手書きデータおよびその手書きデータに対応する前記イメージデータを検索し、
   前記提供手段は、前記判定した端末種別に応じて検索した前記手書きデータまたは前記イメージデータを前記検索要求を送信した前記端末に提供する請求項１記載のシステム。
4. 前記複数のコンテンツの各々は任意の前記端末から前記システムにアップロードされるものであり、
   アップロードする前記端末は、手書きデータとその手書きテータに対応する検索用情報およびイメージデータとを生成して、前記手書きデータと前記検索用情報および前記イメージデータとを関連付けて前記システムにアップロードする請求項１記載のシステム。
5. 記憶媒体に格納される複数のコンテンツであって、手書きされる複数のストロークに対応する複数のストロークデータを含む手書きデータと、前記複数のストロークに対応するイメージデータと、前記手書きデータを検索するための検索用情報とを各々が含む複数のコンテンツを管理し、
   端末から文字列および識別子を含む検索要求を受信した場合、前記複数のコンテンツの検索用情報の中から、前記文字列に対応する検索用情報を検索し、
   前記検索要求に含まれる前記識別子に基づいて前記検索要求を送信した前記端末の種別を判定し、前記端末を手書き対応端末と判定した場合は前記検索用情報に対応するコンテンツ内の手書きデータを当該端末に送信し、前記端末を手書き対応でない端末であると判定した場合は前記検索用情報に対応するコンテンツ内のイメージデータを当該端末に提供する、情報提供方法。
6. 記憶媒体に格納される複数のコンテンツであって、手書きされる複数のストロークに対応する複数のストロークデータを含む手書きデータと、前記複数のストロークに対応するイメージデータと、前記手書きデータを検索するための検索用情報とを各々が含む複数のコンテンツを管理する手順と、
   端末から文字列および識別子を含む検索要求を受信した場合、前記複数のコンテンツの検索用情報の中から、前記文字列に対応する検索用情報を検索する手順と、
   前記検索要求に含まれる前記識別子に基づいて前記検索要求を送信した前記端末の種別を判定する手順と、
   前記端末を手書き対応端末と判定した場合は前記検索用情報に対応するコンテンツ内の手書きデータを当該端末に送信し、前記端末を手書き対応でない端末であると判定した場合は前記検索用情報に対応するコンテンツ内のイメージデータを当該端末に提供する手順と
   をコンピュータに実行させるためのプログラム。

Images