JP7615034B2 - デジタルインク処理システム、方法、装置及びプログラム - Google Patents

Description

本発明は、デジタルインクを処理するデジタルインク処理システム、方法及びプログラムに関する。

特許文献１では、パーソナルコンピュータを含む情報処理装置の画面上に表示された情報の少なくとも一部を検索キーに設定した検索を行い、その検索結果を画面上にポップアップ表示させる技術が開示されている。

特開２０１５－１１４９５５号公報

ストロークの集合体を記述するデジタルインクにおいて、一群のストロークによって初めて意味が生じる場合が多い。しかしながら、デジタルインクの編集中に、検索キーに相当する箇所を指示して検索を試みると、意味をなさない検索キー又は意味が誤った検索キーが設定される場合があり、適切な検索結果が得られないという問題がある。

本発明の目的は、デジタルインクを用いた検索の際に、検索結果が有意義であって関連性の高い情報をユーザに提示可能なデジタルインク処理システム、方法及びプログラムを提供することである。

第１の本発明におけるデジタルインク処理システムは、電子ペンと、ディスプレイを介した前記電子ペンによる入力に応じて、ストロークを記述するデジタルインクを生成するタブレットと、を備え、前記タブレットはプロセッサを有し、前記プロセッサは、前記ストロークに対する前記電子ペンの指示操作を有効化し、前記電子ペンの指示操作を有効化した後に、指示されたストロークが有する意味属性に関連するコンテンツを検索し又は該検索を外部のサーバに要求し、検索により得られたコンテンツを前記ストロークと併せて前記ディスプレイに表示するように制御する。

また、前記プロセッサは、前記指示操作が有効化された前記ストロークを、有効化される前と比べて強調して前記ディスプレイに表示するように制御してもよい。

また、前記プロセッサは、前記意味属性が付与されたストロークに対して前記電子ペンの指示操作を有効化してもよい。

また、当該システムは、前記タブレットから送信された前記デジタルインクを解析することで、前記ストロークに対して前記意味属性を付与するデジタルインクサーバをさらに備え、前記プロセッサは、前記デジタルインクサーバから前記意味属性を示す意味データを取得したストロークに対して前記電子ペンの指示操作を有効化してもよい。

また、前記プロセッサは、マーク又はアノテーションを付与するユーザの操作がなされたストロークに対して前記電子ペンの指示操作を有効化してもよい。

また、当該システムは、コンテンツを利用ＩＤと対応付けて記憶するコンテンツサーバをさらに備え、前記プロセッサは、前記利用ＩＤ及び前記意味属性を含むデータを前記コンテンツサーバに送信して検索を要求することで、前記意味属性に関連しかつ利用が許可されたコンテンツを前記コンテンツサーバから取得してもよい。

また、前記プロセッサは、同一の利用ＩＤにおける前記意味属性の出現度合いに応じて異なるコンテンツを取得してもよい。

また、前記利用ＩＤは、前記電子ペンを識別するためのペンＩＤであってもよい。

また、第１ペンＩＤが付与された第１電子ペンを用いてデジタルインクが生成され、かつ前記第１ペンＩＤとは異なる第２ペンＩＤが付与された第２電子ペンを用いる場合、前記プロセッサは、前記デジタルインクの編集を禁止又は制限する一方、前記指示操作は受け付けてもよい。

また、前記コンテンツサーバは、コンテンツのユーザ及び提供事業者に対して、コンテンツの利用状況に応じた課金処理を行ってもよい。

第２の本発明におけるデジタルインク処理方法は、ディスプレイを介した電子ペンによる入力に応じて、ストロークを記述するデジタルインクを生成するプロセッサが、前記ストロークに対する前記電子ペンの指示操作を有効化するステップと、前記電子ペンの指示操作を有効化した後に、指示されたストロークが有する意味属性に関連するコンテンツを検索し又は該検索を外部のサーバに要求するステップと、検索により得られたコンテンツを前記ストロークと併せて前記ディスプレイに表示するように制御するステップと、を実行する。

第３の本発明におけるデジタルインク処理プログラムは、ディスプレイを介した電子ペンによる入力に応じて、ストロークを記述するデジタルインクを生成するプロセッサに、前記ストロークに対する前記電子ペンの指示操作を有効化するステップと、前記電子ペンの指示操作を有効化した後に、指示されたストロークが有する意味属性に関連するコンテンツを検索し又は該検索を外部のサーバに要求するステップと、検索により得られたコンテンツを前記ストロークと併せて前記ディスプレイに表示するように制御するステップと、を実行させる。

本発明によれば、デジタルインクを用いた検索の際に、検索結果が有意義であって関連性の高い情報をユーザに提示することができる。

本発明の一実施形態におけるデジタルインク処理システムの全体構成図である。 図１に示すデジタルインクサーバ、コンテンツサーバ、及びユーザ端末のブロック図である。 デジタルインク処理システムの意味解釈動作に関するシーケンス図である。 ストロークの集合体を可視化した模式図である。 デジタルインクのデータ構造の一例を示す図である。 ストロークの分類結果を示す図である。 図５Ａで分類されたグループに対する意味属性の付与結果を示す図である。 ユーザ端末の表示における第１の状態変化を示す遷移図である。 ユーザ端末の表示における第１の状態変化を示す遷移図である。 ユーザ端末の表示における第２の状態変化を示す遷移図である。 ユーザ端末の表示における第２の状態変化を示す遷移図である。 デジタルインク処理システムのコンテンツ引用動作に関するシーケンス図である。 電子ペン情報が有するデータ構造の一例を示す図である。 コンテンツ管理情報が有するデータ構造の一例を示す図である。 ユーザ端末の表示における第３の状態変化を示す遷移図である。 ユーザ端末の表示における第３の状態変化を示す遷移図である。 手書き入力を行ったユーザ端末とは異なるユーザ端末の動作の一例を示す図である。 手書き入力を行ったユーザ端末とは異なるユーザ端末の動作の一例を示す図である。 デジタルインク処理システムの動作の第１改良例を示す図である。 デジタルインク処理システムの動作の第１改良例を示す図である。 デジタルインク処理システムの動作の第２改良例を示す図である。 デジタルインク処理システムの動作の第２改良例を示す図である。 学習支援サービス時に発生する課金フローの第１例を示す模式図である。 学習支援サービス時に発生する課金フローの第２例を示す模式図である。

［デジタルインク処理システム１０の構成］
図１は、本発明の一実施形態におけるデジタルインク処理システム１０の全体構成図である。図２は、図１に示すデジタルインクサーバ２０、コンテンツサーバ３０、及びユーザ端末４０のブロック図である。デジタルインク処理システム１０は、学生などのユーザが電子ノートを用いて効率的に学習するための「学習支援サービス」を提供可能に構成される。このデジタルインク処理システム１０は、具体的には、デジタルインクサーバ２０と、コンテンツサーバ３０と、１台又は複数台のユーザ端末４０と、１本又は複数本の電子ペン５０と、を含んで構成される。

デジタルインク（あるいはインクデータ）のデータ形式、いわゆる「インク記述言語」として、例えば、ＷＩＬＬ（Wacom Ink Layer Language）、ＩｎｋＭＬ（Ink Markup Language）、ＩＳＦ（Ink Serialized Format）が挙げられる。このデジタルインクをＪＳＯＮ（JavaScript（登録商標）Object Notation）のデータ構造形式を用いて記述することで、様々なソフトウェアやプログラミング言語間でのデータのやり取りが容易になる。

デジタルインクサーバ２０は、デジタルインクＩｎｋの処理に関する統括的な制御を行うコンピュータであり、クラウド型あるいはオンプレミス型のいずれであってもよい。ここで、デジタルインクサーバ２０を単体のコンピュータとして図示しているが、これに代わって、デジタルインクサーバ２０は、分散システムを構築するコンピュータ群であってもよい。

デジタルインクサーバ２０は、具体的には、通信部２１と、制御部２２と、記憶部２３と、を含んで構成される。通信部２１は、外部装置に対して電気信号を送受信するインターフェースである。制御部２２は、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）を含む処理演算装置によって構成される。制御部２２は、記憶部２３に格納されたプログラムを読み出して実行することで、デジタルインクＩｎｋの「処理エンジン」として機能する。記憶部２３は、非一過性であり、かつコンピュータ読み取り可能な記憶媒体、例えば、ハードディスクドライブ（ＨＤＤ：Hard Disk Drive）又はソリッドステートドライブ（ＳＳＤ：Solid State Drive）から構成される。これにより、記憶部２３は、デジタルインクサーバ２０が取り扱う様々なデータを記憶する。

コンテンツサーバ３０は、教科書や辞書を含む教育用コンテンツの提供に関する統括的な制御を行うコンピュータであり、クラウド型あるいはオンプレミス型のいずれであってもよい。ここで、コンテンツサーバ３０を単体のコンピュータとして図示しているが、これに代わって、コンテンツサーバ３０は、分散システムを構築するコンピュータ群であってもよい。

コンテンツサーバ３０は、具体的には、通信部３１と、制御部３２と、記憶部３３と、を含んで構成される。通信部３１は、外部装置に対して電気信号を送受信するインターフェースである。制御部３２は、ＣＰＵやＧＰＵを含む処理演算装置によって構成される。制御部３２は、記憶部３３に格納されたプログラムを読み出して実行することで、ユーザに適したコンテンツを検索及び提供可能に構成される。

ユーザ端末４０は、電子ノートとして機能する端末であって、例えば、タブレット、スマートフォン、パーソナルコンピュータで構成される。ユーザ端末４０は、具体的には、タッチパネルディスプレイ４１と、タッチＩＣ（Integrated Circuit）４４と、表示駆動ＩＣ４５と、ホストプロセッサ４６と、メモリ４７と、通信モジュール４８と、を含んで構成される。

タッチパネルディスプレイ４１は、コンテンツを可視的に出力可能な表示パネル４２と、表示パネル４２の表示画面に重ねて配置されるセンサ電極４３と、を含んで構成される。表示パネル４２は、モノクロ画像又はカラー画像を表示可能であり、例えば、液晶パネル、有機ＥＬ（Electro-Luminescence）パネルであってもよい。センサ電極４３は、Ｘ－Ｙセンサ座標系におけるＸ軸の位置を検出するための複数のＸライン電極と、Ｙ軸の位置を検出するための複数のＹライン電極と、を面状に配置してなる。

タッチＩＣ４４は、センサ電極４３の駆動制御を行う集積回路である。タッチＩＣ４４は、ホストプロセッサ４６から供給された制御信号に基づいてセンサ電極４３を駆動させる。これにより、タッチＩＣ４４は、電子ペン５０の状態を検出する「ペン検出機能」や、ユーザの指などによるタッチを検出する「タッチ検出機能」を実行する。

表示駆動ＩＣ４５は、表示パネル４２の駆動制御を行う集積回路である。表示駆動ＩＣ４５は、ホストプロセッサ４６から供給されたフレーム単位の画像信号に基づいて表示パネル４２を駆動させる。これにより、表示パネル４２の表示領域内に画像が表示される。この画像には、ユーザが電子ペン５０を用いて書き込んだ筆記線の他にも、アプリケーションウィンドウ、アイコン、カーソルが含まれ得る。

ホストプロセッサ４６は、ＭＰＵ（Micro-Processing Unit）やＣＰＵを含む処理演算装置によって構成される。ホストプロセッサ４６は、メモリ４７に格納されたプログラムを読み出して実行することで、タッチＩＣ４４からのデータを用いてデジタルインクＩｎｋを生成する処理、当該デジタルインクＩｎｋが示す描画内容を表示させるためのインク再生処理などを行う。

メモリ４７は、非一過性であり、かつ、コンピュータ読み取り可能な記憶媒体で構成されている。ここで、コンピュータ読み取り可能な記憶媒体は、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ、フラッシュメモリ等の可搬媒体、コンピュータシステムに内蔵されるＨＤＤ、ＳＳＤなどの記憶装置である。

通信モジュール４８は、有線通信又は無線通信を用いて、外部装置に対して電気信号を送受信可能に構成される。これにより、例えば、ユーザ端末４０は、ネットワークＮＷを経由して、デジタルインクサーバ２０に向けてデジタルインクＩｎｋを送受信し、コンテンツサーバ３０から関連コンテンツＣ１，Ｃ２を受信することができる。

電子ペン５０は、ペン型のポインティングデバイスであり、ユーザ端末４０との間で形成される静電結合を介して一方向又は双方向に通信可能に構成されている。ユーザは、電子ペン５０を把持し、タッチパネルディスプレイ４１のタッチ面にペン先を押し当てながら移動させることで、ユーザ端末４０に絵や文字を書き込むことができる。この電子ペン５０は、例えば、アクティブ静電結合方式（ＡＥＳ）又は電磁誘導方式（ＥＭＲ）のスタイラスである。

［デジタルインク処理システム１０の動作］
この実施形態におけるデジタルインク処理システム１０は、以上のように構成される。続いて、このデジタルインク処理システム１０の第１，第２動作について、主に図３，図８のシーケンス図を参照しながら説明する。この「第１動作」は、ストロークの纏まりを解釈して意味属性（あるいは、セマンティクス属性）を自動的に付与する「意味解釈」に関わる動作を意味する。また、「第２動作」は、意味属性に関連するコンテンツを適時に引用して表示する「コンテンツ引用」に関わる動作を意味する。

＜第１動作：意味解釈動作＞
まず、デジタルインク処理システム１０の第１動作、すなわち意味解釈動作について説明する。この第１動作は、ユーザ端末４０（より詳しくは、ホストプロセッサ４６）及びデジタルインクサーバ２０（より詳しくは、制御部２２）の協働により実行される。

図３のステップＳ０１において、ユーザ端末４０は、電子ペン５０の識別情報（以下、ペンＩＤという）を用いた認証を行う。電子ペン５０から受信して得られたペンＩＤが既に登録されている場合、ユーザ端末４０は、当該電子ペン５０によるデジタルインクＩｎｋの編集を許可する。一方、ペンＩＤが登録されていない場合、ユーザ端末４０は、当該電子ペン５０によるデジタルインクＩｎｋの編集を許可しない。

ステップＳ０２において、ユーザ端末４０は、ステップＳ０１で編集が許可されている電子ペン５０を用いた入力、つまりユーザによる様々な筆記操作を受け付ける。この筆記操作には、例えば、ストロークの追加・削除・変更、アイコンの選択、マーク・アノテーションの付与などが含まれる。

ステップＳ０３において、ユーザ端末４０は、ステップＳ０２で受け付けた筆記操作を反映させるため、定期的又は不定期にデジタルインクＩｎｋを更新する。前者の例として、直近の更新時点から所定の時間が経過した場合が挙げられる。後者の例として、ユーザによる更新の指示操作を受け付けた場合が挙げられる。

ステップＳ０４において、ユーザ端末４０は、ステップＳ０２での筆記操作を通じて得られたデータを用いて、例えば、ＷＩＬＬ（Ｖｅｒ．３．０）形式のデジタルインクＩｎｋを生成する。

図４Ａは、ストロークの集合体Ｇ０を可視化した模式図である。ここで、集合体Ｇ０は、手書きによる買い物リストを示しており、上から順に、「ｍｉｌｋ」、「ｂｒｅａｄ」、「ｅｇｇｓ」及び「ａｐｐｌｅｓ」の品目から構成される。図４Ｂは、デジタルインクＩｎｋのデータ構造の一例を示す図である。デジタルインクＩｎｋは、[１]文書メタデータ（document metadata）、［２］意味データ（ink semantics）、［３］装置データ（devices）、［４］ストロークデータ（strokes）、［５］分類データ（groups）、及び［６］文脈データ（contexts）を順次配列してなるデータ構造を有する。

デジタルインクＩｎｋの生成時には、文書メタデータ、装置データ、ストロークデータ、及び文脈データが既に決定されているが、意味データ及び分類データがまだ決定されていない。つまり、このデジタルインクＩｎｋは、後述する（１）ストロークの分類、及び（２）意味属性の付与、が行われていない。以下、分類データ及び意味データが空白状態であるデジタルインクＩｎｋを「付与前インク」と称する場合がある。

ステップＳ０５において、ユーザ端末４０は、ステップＳ０４で生成された付与前インクをペンＩＤに紐付けた状態で、デジタルインクサーバ２０に向けて送信する。

ステップＳ０６において、デジタルインクサーバ２０は、ステップＳ０５でユーザ端末４０から送信されたデータを受信することで、付与前インク及びペンＩＤをそれぞれ取得する。

ステップＳ０７において、デジタルインクサーバ２０は、ステップＳ０６で取得された付与前インクに含まれるストロークデータを解析し、ストロークの分類を行う。具体的には、デジタルインクサーバ２０は、ストロークデータにより特定されるストロークの順番・位置・形状、又は電子ペン５０の筆圧などの関係から、ストロークの集合体Ｇ０を１つ又は複数のグループ（例えば、Ｇ１～Ｇ５の５つのグループ）に分類する。この分類により、グループとストローク要素の間の包含関係、又は、グループ同士の間の包含関係を記述する分類データが得られる。

ステップＳ０８において、デジタルインクサーバ２０は、ステップＳ０７で分類されたストロークのグループＧ１～Ｇ５に対して意味属性を付与する処理を行う。具体的には、デジタルインクサーバ２０は、機械学習がなされた識別器（例えば、階層型ニューラルネットワーク）を用いて、グループＧ１～Ｇ５の意味属性をそれぞれ推定して付与する。この処理により、分類されたグループ毎に、種類及び値のペアからなる意味属性を記述する分類データが得られる。

例えば、上記した識別器は、ストロークの特徴量（例えば、始点・経由点・終点の座標、曲率など）を入力し、意味属性のラベルを出力するように構成される。「種類」の一例として、テキスト（言語の種類も含む）、図（図形の種類も含む）、数式、化学式、リスト、表などが挙げられる。「値」の一例として、手書きされた文字又は文字列（例えば、「ｍｉｌｋ」）、手書きされた物体の名称（例えば、鉛筆のイラストに対する「鉛筆」）などが挙げられる。

図５Ａは、ストロークの分類結果を示す図である。本図から理解されるように、集合体Ｇ０はグループＧ１を包含するとともに、グループＧ１は４つのグループＧ２～Ｇ５から構成される。図５Ｂは、図５Ａで分類されたグループに対する意味属性の付与結果を示す図である。グループＧ１の種類は「ＬＩＳＴ」であり、値は「ＮＵＬＬ」である。グループＧ２の種類は「ＬＩＳＴ＿ＩＴＥＭ」であり、値は「ｍｉｌｋ」である。グループＧ３の種類は「ＬＩＳＴ＿ＩＴＥＭ」であり、値は「ｂｒｅａｄ」である。グループＧ４の種類は「ＬＩＳＴ＿ＩＴＥＭ」であり、値は「ｅｇｇｓ」である。グループＧ５の種類は「ＬＩＳＴ＿ＩＴＥＭ」であり、値は「ａｐｐｌｅｓ」である。

図３のステップＳ０９において、デジタルインクサーバ２０は、ステップＳ０７で得られた分類データ及びステップＳ０８で得られた意味データを追加するように、付与前インクを更新する。以下、分類データ及び意味データが追記されたデジタルインクＩｎｋを「付与後インク」と称する場合がある。

ステップＳ１０において、デジタルインクサーバ２０は、ステップＳ０９で更新された付与後インクをユーザ端末４０に向けて送信する。

ステップＳ１１において、ユーザ端末４０は、ステップＳ１０でデジタルインクサーバ２０から送信されたデータを受信することで、分類データ及び意味データを含む付与後インクを取得する。

ステップＳ１２において、ユーザ端末４０は、ステップＳ１１で取得された付与後インクをメモリ４７に格納する。

ステップＳ１３において、ユーザ端末４０は、ストロークの分類に関する判定条件を満たすことを確認し、少なくとも１つのグループに対する指示操作を有効化する。この「判定条件」は、例えば、デジタルインクサーバ２０から意味データを取得したことである。この場合、意味属性の値が有効（ＮＵＬＬ以外）であるグループＧ２～Ｇ５が有効化の対象として選択される。なお、意味属性の値が無効（ＮＵＬＬ）であり意味が特定されていないグループＧ１や、筆記の途中のため意味をなしていない１本又は複数本のストロークは、指示操作の有効化が保留される点に留意する。

ステップＳ１４において、ユーザ端末４０は、ステップＳ１３で有効化されたストロークのグループＧ２～Ｇ５を、有効化される前と比べて強調して表示する。この「強調表示」とは、ユーザにより視認されやすい態様で表示することを意味し、例えば、表示色の変更、ストローク幅の拡大、指示マークの付加などが挙げられる。

図６Ａ及び図６Ｂは、ユーザ端末４０の表示における第１の状態変化を示す遷移図である。より詳しくは、図６Ａは有効化される前の表示状態を示すとともに、図６Ｂは有効化された後の表示状態を示している。図６Ｂの例では、ストロークの集合体Ｇ０のうち、グループＧ２～Ｇ５に対応する４箇所にそれぞれアンダーラインが追加されている。これにより、ユーザは、「ｍｉｌｋ」、「ｂｒｅａｄ」、「ｅｇｇｓ」及び「ａｐｐｌｅｓ」の４つの単語に対する指示操作が有効化されたことを一目で把握することができる。

以上のようにして、デジタルインク処理システム１０の第１動作が終了する。デジタルインク処理システム１０は、この第１動作の終了を契機として、第２動作を開始することができる。

なお、上記した例では、ユーザ端末４０がデジタルインクサーバ２０から意味データを取得したことを契機として指示操作が有効化されるが、判定条件はこの例に限られない。例えば、判定条件は、ユーザ端末４０自身がデジタルインクＩｎｋを解析することで分類データ又は意味データを取得したことでもよいし、自動又は手動によりデジタルインクＩｎｋの保存を行うタイミングが到来したことでもよい。また、判定条件は、ユーザ端末４０がストロークの集合体Ｇ０の少なくとも一部に対してマーク又はアノテーションを付与する操作を受け付けたことでもよい。

図７Ａ及び図７Ｂは、ユーザ端末４０の表示における第２の状態変化を示す遷移図である。図７Ａに示すように、ストロークの集合体Ｇ０のうちいずれの箇所も有効化されていない状態で、ユーザが、電子ペン５０を用いて「ｅｇｇｓ」の箇所を投げ輪（いわゆるラッソ）で囲む筆記操作を行う。そうすると、ストロークの集合体Ｇ０と併せて、「ｅｇｇｓ」の有効化の要否を確認するウィンドウ６０が新たに表示される。ここで、ウィンドウ６０内の［ＯＮ］ボタンをタッチすることで、ユーザ端末４０の表示状態が図７Ａから図７Ｂに遷移する。

図７Ｂに示すように、ストロークの集合体Ｇ０のうち、グループＧ４に対応する１つの単語（ｅｇｇｓ）に蛍光マーカが追加されている。これにより、ユーザは、「ｅｇｇｓ」の単語に対する指示操作のみが有効化されたことを一目で把握することができる。

＜第２動作：コンテンツ引用動作＞
続いて、デジタルインク処理システム１０の第２動作、すなわちコンテンツ引用動作について説明する。この第２動作は、ユーザ端末４０（より詳しくは、ホストプロセッサ４６）及びコンテンツサーバ３０（より詳しくは、制御部３２）の協働により実行される。

図８のステップＳ２１において、ユーザ端末４０は、電子ペン５０を用いて、タッチパネルディスプレイ４１上に表示されているストロークの集合体Ｇ０のうち、有効化されているグループＧ２～Ｇ５のいずれかを指示する操作（つまり、指示操作）を受け付ける。この指示操作は、例えば、図６Ｂ又は図７Ｂにおいて、「ｅｇｇｓ」（グループＧ４）の箇所を長押しする操作であってもよい。

ステップＳ２２において、ユーザ端末４０は、メモリ４７に記憶された付与後インクを読み出して、ステップＳ２１で指示されたグループＧ４の意味属性を取得する。具体的には、ユーザ端末４０は、付与後インクの分類データを解析することで、電子ペン５０の指示位置に対応するグループＩＤを特定する。そして、ユーザ端末４０は、付与後インクの意味データを解析することで、グループＩＤに対応する意味属性を特定する。

ステップＳ２３において、ユーザ端末４０は、電子ペン５０から送信されたデータ信号をセンサ電極４３により受信することで、電子ペン５０のペンＩＤを取得する。

ステップＳ２４において、ユーザ端末４０は、ステップＳ２２で取得された意味データを、ステップＳ２３で取得されたペンＩＤに紐付けた状態で、コンテンツサーバ３０に向けて送信する。つまり、ユーザ端末４０は、コンテンツサーバ３０に対してコンテンツの検索を要求する。

ステップＳ２５において、コンテンツサーバ３０は、ステップＳ２４でユーザ端末４０から送信されたデータを受信することで、ペンＩＤ及び意味属性をそれぞれ取得する。

ステップＳ２６において、コンテンツサーバ３０は、ステップＳ２５で取得された意味属性及びペンＩＤを用いてコンテンツの検索を行う。具体的には、コンテンツサーバ３０は、［１］ペンＩＤを用いたコンテンツの検索と、［２］意味属性を用いたコンテンツ内の検索、を順次行う。ここでは、ペンＩＤが、コンテンツの利用許否を判定するための識別情報（以下、利用ＩＤ）として機能する。この利用ＩＤは、ペンＩＤの他に、ユーザ端末４０の識別情報（以下、端末ＩＤ）、ユーザの識別情報（以下、ユーザＩＤ）、又はこれらの組み合わせであってもよい。

図９Ａは、電子ペン情報６２が有するデータ構造の一例を示す図である。電子ペン情報６２は、電子ペン５０の識別情報である「ペンＩＤ」と、ユーザが所属する「学校」と、ユーザに該当する「学年／学級」との間の対応関係を示している。このペンＩＤは、コンテンツの利用状況を管理するための利用ＩＤに相当する。「学校」の例として、小学校、中学校、高校、大学、予備校などが挙げられる。「学年／学級」は、学校の種類に応じて、様々な学年又は学級が選択され得る。

図９Ｂは、コンテンツ管理情報６４が有するデータ構造の一例を示す図である。コンテンツ管理情報６４は、ユーザが所属する「学校」と、ユーザに該当する「学年／学級」と、利用可能な「コンテンツ種類」の間の対応関係を示している。「学校」及び「学年／学級」はそれぞれ、基本的には電子ペン情報６２と同様に定義される。また、コンテンツの種類の一例として、教科書・参考書・問題集を含む書籍名、科目名、出版社名などが挙げられる。

コンテンツサーバ３０は、電子ペン情報６２及びコンテンツ管理情報６４を読み出し、「学校」及び「学年／学級」を検索キーとして照合することで、ペンＩＤに対応する少なくとも１種類のコンテンツを取得する。そして、コンテンツサーバ３０は、様々な検索手法を用いて、検索対象のコンテンツの中から、検索キーとしての「意味属性（の値）」と一致又は近似する情報（以下、「関連コンテンツＣ１」という）を取得する。

図８のステップＳ２７において、コンテンツサーバ３０は、ステップ２６の検索結果としての関連コンテンツＣ１をペンＩＤに紐付けた状態で、ユーザ端末４０に向けて送信する。

ステップＳ２８において、ユーザ端末４０は、ステップＳ２７でコンテンツサーバ３０から送信されたデータを受信することで、関連コンテンツＣ１及びペンＩＤをそれぞれ取得する。

ステップＳ２９において、ユーザ端末４０は、ステップＳ２８で取得された関連コンテンツＣ１をメモリ４７に一時的に格納する。

ステップＳ３０において、ユーザ端末４０は、検索により得られた関連コンテンツＣ１をストロークの集合体Ｇ０と併せてタッチパネルディスプレイ４１上に同時に表示する。

図１０Ａ及び図１０Ｂは、ユーザ端末４０の表示における第３の状態変化を示す遷移図である。より詳しくは、図１０Ａは関連コンテンツＣ１が出現する前の表示状態を示すとともに、図１０Ｂは関連コンテンツＣ１が出現した後の表示状態を示している。両方の図から理解されるように、「ｅｇｇｓ」の箇所に対する指示操作を行うことで、「ｅｇｇｓ」の周辺（ここでは、右下方）に関連コンテンツＣ１が併せて表示される。この関連コンテンツＣ１は、英語で表記された「ｅｇｇｓ」と、日本語で表記された「意味：卵」からなる。

ユーザは、電子ペン５０を用いて指示した英単語「ｅｇｇｓ」の日本語訳が「卵（複数形）」であることを簡単に確認することができる。このように、デジタルインク処理システム１０が提供する学習支援サービスを通じて、学習の効率がより高められる。

ところで、電子ノートの管理者は、学校内にいるユーザに電子ノートを貸し出す一方、電子ノートを学校外に持ち出すことを禁止する管理を行う場合がある。そこで、コンテンツの利用ＩＤをペンＩＤと対応付けておくことで、ユーザは、家の中であっても上記の学習支援サービスを受けることができる。

図１１Ａは、ユーザ端末４０Ｂが、電子ペン５０を用いて手書き入力を行ったユーザ端末４０Ａと異なっている場合を示している。例えば、ユーザは、学校から持ち帰った同一の電子ペン５０を用いて、デジタルインクＩｎｋの編集を行うことができる。あるいは、デジタルインク処理システム１０は、デジタルインクＩｎｋの「装置データ」の中に含まれる端末ＩＤを参照し、値が一致しないユーザ端末４０Ｂを用いたデジタルインクＩｎｋの編集を制限又は禁止するように構成されてもよい。

一方、図１１Ｂに示すように、ユーザが電子ペン５０を用いて該当領域を指示すると、ユーザ端末４０Ｂは、ユーザ端末４０Ａの場合と同様に、関連コンテンツＣ１をタッチパネルディスプレイ４１上に表示することができる。これにより、ユーザ端末４０Ａを自由に移動させることが難しい状況であっても、ユーザは、自身の電子ペン５０を携帯することで、様々な場所で学習支援サービスを受けることができる。

［動作の改良例］
以下、デジタルインク処理システム１０の動作の改良例について、図１２Ａ～図１３Ｂを参照しながら説明する。

＜第１改良例＞
ユーザの学習が進んで習熟度が増すにつれて、そのユーザが知りたい情報が次第に変わっていくことが想定される。そこで、ユーザ端末４０が、ユーザの習熟度に応じて異なる関連コンテンツＣ１，Ｃ２を表示するように構成されてもよい。例えば、図８のシーケンス図において、ステップＳ２３，Ｓ２４の間に、追加のステップＳ３１が設けられてもよい。

図８のステップＳ３１において、ユーザ端末４０は、ステップＳ２２で取得された意味属性の「値」（例えば、ｅｇｇｓ）をキーワードとする意味データ内の検索を行う。この検索の対象は、編集中のデジタルインクＩｎｋに限られず、自身のメモリ４７又はデジタルインクサーバ２０に格納されているデジタルインクＩｎｋが含まれてもよい。例えば、ユーザ端末４０は、キーワードに一致又は近似する「値」の個数をカウントし、その回数を「出現度合い」として算出する。その後、ステップＳ２４，Ｓ２５において、ユーザ端末４０とコンテンツサーバ３０との間で、出現度合いを含むデータの送受信が行われる。

ステップＳ２６において、コンテンツサーバ３０は、ステップＳ２５で取得されたペンＩＤ、意味属性、及び出現度合いを用いてコンテンツの検索を行う。具体的には、コンテンツサーバ３０は、［１］ペンＩＤを用いたコンテンツの検索と、［２］出現度合いを用いたコンテンツの選定と、［３］意味属性を用いたコンテンツ内の検索、を順次行う。

図１２Ａは、判定テーブル６６が有するデータ構造の一例を示す図である。判定テーブル６６は、出現度合いを示す「出現回数」と、典型的なユーザの「習熟度」の間の対応関係を示している。本図の例では、この判定テーブル６６は、［１］出現回数が９回未満である場合に習熟度が低く、［２］出現回数が１０回以上であって２０回未満である場合に習熟度が中程度であり、［３］出現回数が２０回以上である場合に習熟度が高い、という判定基準を記述する。なお、本図では、出現度合いの一例として出現回数が挙げられているが、これと併せて又はこれとは別に、出現の頻度が用いられてもよい。

コンテンツサーバ３０は、この判定テーブル６６を用いて出現度合いからユーザの習熟度を特定した後、ペンＩＤに対応する複数種類のコンテンツの中から、その習熟度に応じたコンテンツを選定する。例えば、習熟度がより高いユーザの場合、図１０Ｂに示す関連コンテンツＣ１とは異なる関連コンテンツＣ２が取得されたとする。その後、上記と同様にして、ステップＳ２７～Ｓ２９が実行される。

ステップＳ３０において、ユーザ端末４０は、検索により得られた関連コンテンツＣ２を、ストロークの集合体Ｇ０と併せてタッチパネルディスプレイ４１上に表示する。図１２Ｂに示すように、指示操作が行われた「ｅｇｇｓ」の周辺の位置に、関連コンテンツＣ２が併せて表示される。この関連コンテンツＣ２は、英単語「ｅｇｇｓ」を用いた例文「Ｂｉｒｄｓ ｌａｙ ｅｇｇｓ．」の文字列からなる。

このように、同一の利用ＩＤ（ここでは、ペンＩＤ）における意味属性の出現度合いに応じて異なる関連コンテンツＣ１，Ｃ２を表示させることで、習熟度が異なる個々のユーザに適した情報を提示することができる。なお、出現度合いとユーザの関心度との間にも高い相関性があるので、上記した習熟度の場合と同様の表示を行うことは有効である。

＜第２改良例＞
電子ノートは個人で使用する物であるため、他人が自分の電子ノートを勝手に編集できる状況は好ましくない場合がある。そこで、ユーザ端末４０が、電子ペン５０Ａ，５０ＢのペンＩＤに応じて編集権限を変更可能に構成されてもよい。

図１３Ａに示すように、ユーザ端末４０により認識された電子ペン５０ＢのペンＩＤ（例えば、ＩＤ＝００２）が、手書き入力に用いられた電子ペン５０ＡのペンＩＤ（例えば、ＩＤ＝００１）と異なっている。この場合、ユーザ端末４０は、デジタルインクＩｎｋの編集が制限される旨のメッセージ７０を、タッチパネルディスプレイ４１上に表示する。ユーザ端末４０は、メッセージ７０が表示された状態において、電子ペン５０Ｂを用いたデジタルインクＩｎｋの編集を禁止又は制限する。ここで、「禁止」とは、編集に関する操作を受け付けない動作を意味する。また、「制限」とは、編集に関する機能の一部を実行できないようにする動作を意味する。

一方、図１３Ｂに示すように、ユーザが電子ペン５０Ｂを用いて該当領域を指示すると、ユーザ端末４０は、電子ペン５０Ａの場合と同様に、関連コンテンツＣ１をタッチパネルディスプレイ４１上に表示する。これにより、自分の電子ノートが勝手に編集されることが防止されるとともに、自分以外の者であってもコンテンツ引用サービスを受けることができる。

［学習支援サービスの課金フロー］
ところで、上記した学習支援サービスの提供に伴って、［１］意味解釈サービスの利用料、［２］コンテンツ引用サービスの利用料のやり取りがそれぞれ発生する。以下、デジタルインクサーバ２０、コンテンツサーバ３０、ユーザ端末４０、及び事業者側サーバ８０の間で行われる課金フローについて説明する。

ここで、事業者側サーバ８０は、コンテンツの提供事業者（例えば、出版社）が管理するサーバである。なお、説明の便宜上、ユーザ端末４０が課金フローに関与しているが、これと併せて又はこれとは別に、個々のユーザ端末４０を管理する学校側サーバ（不図示）がこの課金フローに関与してもよい。

＜第１例＞
図１４は、学習支援サービス時に発生する課金フローの第１例を示す模式図である。
［Ｔ１１］ユーザ端末４０は、意味解釈サービスを利用する度に、デジタルインクサーバ２０にアクセスする。
［Ｔ１２］デジタルインクサーバ２０は、利用料の締め日毎／ユーザ毎に、意味解釈サービスの利用状況を集計し、所定の課金規則に従って当該サービスの利用料を課金する課金処理を行う。
［Ｔ１３］デジタルインクサーバ２０は、各々のユーザ端末４０に対して、課金処理により決定された利用料を請求する旨を通知する。この通知を受けたユーザが支払期間内に入金することで、ユーザによる利用料の支払いが完了する。

［Ｔ１４］一方、ユーザ端末４０は、コンテンツ引用サービスを利用する度に、コンテンツサーバ３０にアクセスする。
［Ｔ１５］コンテンツサーバ３０は、利用料の締め日毎／ユーザ毎に、コンテンツ引用サービスに伴うコンテンツの利用状況を集計する。
［Ｔ１６］コンテンツサーバ３０は、事業者側サーバ８０に対して、ユーザ毎のコンテンツの利用状況を通知する。
［Ｔ１７］事業者側サーバ８０は、利用状況の集計結果に基づき、所定の課金規則に従ってコンテンツの利用料を課金する課金処理を行う。
［Ｔ１８］事業者側サーバ８０は、各々のユーザ端末４０に対して、課金処理により決定された利用料を請求する旨を通知する。この通知を受けたユーザが支払期間内に入金することで、ユーザによる利用料の支払いが完了する。
［Ｔ１９］事業者側サーバ８０は、コンテンツサーバ３０に対して、所定の契約規則（例えば、コンテンツの利用料に比例する従量制）に従って、サービスプラットフォームの提供料金を支払う旨を通知する。

＜第２例＞
図１５は、学習支援サービス時に発生する課金フローの第２例を示す模式図である。
［Ｔ２１］ユーザ端末４０は、意味解釈サービスを利用する度に、デジタルインクサーバ２０にアクセスする。
［Ｔ２２］デジタルインクサーバ２０は、利用料の締め日毎／ユーザ毎に、意味解釈サービスの利用状況を集計し、所定の課金規則に従ってサービスの利用料を課金する課金処理を行う。
［Ｔ２３］デジタルインクサーバ２０は、各々のユーザ端末４０に対して、課金処理により決定された利用料を請求する旨を通知する。この通知を受けたユーザが支払期間内に入金することで、ユーザによる利用料の支払いが完了する。

［Ｔ２４］一方、ユーザ端末４０は、コンテンツ引用サービスを利用する度に、コンテンツサーバ３０にアクセスする。
［Ｔ２５］コンテンツサーバ３０は、利用料の締め日毎／ユーザ毎に、コンテンツ引用サービスに伴うコンテンツの利用状況を集計し、所定の課金規則に従って当該コンテンツの利用料を課金する課金処理を行う。
［Ｔ２６］コンテンツサーバ３０は、各々のユーザ端末４０に対して、課金処理により決定された利用料を請求する旨を通知する。この通知を受けたユーザが支払期間内に入金することで、ユーザによる利用料の支払いが完了する。
［Ｔ２７］コンテンツサーバ３０は、事業者側サーバ８０に対して、コンテンツの利用料からサービスプラットフォームの提供料金を差し引いた額を支払う旨を通知する。

［変形例］
なお、本発明は、上記した実施形態に限定されるものではなく、この発明の主旨を逸脱しない範囲で自由に変更できることは勿論である。あるいは、技術的に矛盾が生じない範囲で各々の構成を任意に組み合わせてもよい。

上記した実施形態では、デジタルインク処理システム１０は、学生向けの教育を支援する学習支援サービスを提供するように構成されているが、サービスの種類又は対象ユーザは上記した例に限られない。

上記した実施形態では、デジタルインクサーバ２０がストロークの分類及び意味属性の付与を行っているが、ユーザ端末４０は、デジタルインクサーバ２０の代わりに、分類、あるいは分類と付与の両方を実行可能に構成されてもよい。例えば、ユーザ端末４０は、自身がデジタルインクＩｎｋを解析して意味属性を取得してもよいし、ユーザによる手動の入力操作によって意味属性を取得してもよい。

上記した実施形態では、意味データが定義されているデジタルインクＩｎｋを例に挙げて説明したが、意味データが定義されていないデジタルインクＩｎｋを用いてもよい。この場合、デジタルインクＩｎｋ及び意味データを互いに紐付けて管理することで、上記した実施形態と同様の動作を実現することができる。

[実施形態のまとめ]
以上のように、デジタルインク処理システム１０は、電子ペン５０と、タッチパネルディスプレイ４１を介して電子ペン５０による筆記操作を受け付け、ストロークの集合体Ｇ０を記述するデジタルインクＩｎｋを生成可能に構成されるユーザ端末４０と、を含んで構成される。ユーザ端末４０は、タッチパネルディスプレイ４１上に表示されている集合体Ｇ０の中から、ストロークの分類に関する判定条件を満たすストロークのグループＧ２～Ｇ５に対する電子ペン５０の指示操作を有効化する一方、判定条件を満たさないストロークのグループＧ１に対する指示操作の有効化を保留し、有効化された指示操作を受け付けると、指定されたグループＧ２～Ｇ５が有する意味属性に関連するコンテンツを検索し又は該検索を外部に要求し、検索により得られた関連コンテンツＣ１，Ｃ２を集合体Ｇ０と併せてタッチパネルディスプレイ４１上に表示する。

また、デジタルインク処理方法及びプログラムによれば、ユーザ端末４０が、タッチパネルディスプレイ４１上に表示されているストロークの集合体Ｇ０の中から、ストロークの分類に関する判定条件を満たすストロークのグループＧ２～Ｇ５を指示する電子ペン５０の指示操作を有効化する一方、判定条件を満たさないストロークのグループＧ１に対する指示操作の有効化を保留するステップ（Ｓ１３）と、有効化された指示操作を受け付けると（Ｓ２１）、グループＧ２～Ｇ５に付与された意味属性に関連するコンテンツを検索し又は該検索を外部に要求し（Ｓ２４）、検索により得られた関連コンテンツＣ１，Ｃ２を集合体Ｇ０と併せてタッチパネルディスプレイ４１上に表示するステップ（Ｓ３０）と、を実行する。

このように、ストロークの分類に関する判定条件を満たすストロークのグループＧ２～Ｇ５を指示する電子ペン５０の指示操作のみを有効化するので、判定条件を適切に設けることで、纏まりとして意味をなす確度が高くなるように分類されたグループＧ２～Ｇ５に限ってコンテンツの検索が許可される。これにより、デジタルインクＩｎｋを用いた検索の際に、検索結果が有意義であって関連性の高い情報をユーザに提示することができる。

また、ユーザ端末４０は、指示操作が有効化されたグループＧ２～Ｇ５を、有効化される前と比べて強調して表示してもよい。これにより、ユーザは、視覚を通じて、指示操作が有効化された旨及びその位置を認識しやすくなる。

また、判定条件は、ストロークのグループＧ２～Ｇ５に対して意味属性が付与されたことであってもよい。これにより、付与された意味属性を検索キーとして検索可能となり、ユーザにとってより意味のある検索結果が得られる。

また、デジタルインクサーバ２０は、ユーザ端末４０から送信されたデジタルインクＩｎｋを解析することで、グループＧ２～Ｇ５に対して意味属性を付与し、判定条件は、デジタルインクサーバ２０から意味属性を示す意味データを取得したことであってもよい。ユーザ端末４０に代わってデジタルインクサーバ２０が意味属性を付与することで、ユーザ端末４０による解析の負荷が軽減される。

また、判定条件は、グループＧ２～Ｇ５に対してマーク又はアノテーションを付与するユーザの操作を受け付けたことであってもよい。これにより、マーク又はアノテーションを通じて、操作を行ったユーザにとって意味を見出したストロークの纏まりを指定可能となり、より正確な意味属性が得られやすくなる。

また、コンテンツサーバ３０は、コンテンツを利用ＩＤと対応付けて記憶し、ユーザ端末４０は、利用ＩＤ及び意味属性を含むデータをコンテンツサーバ３０に送信して検索を要求することで、意味属性に関連しかつ利用が許可された関連コンテンツＣ１，Ｃ２をコンテンツサーバ３０から取得してもよい。

また、ユーザ端末４０は、同一の利用ＩＤにおける意味属性の出現度合いに応じて異なる関連コンテンツＣ１，Ｃ２を取得してもよい。ユーザの習熟度又は関心度との相関性が高い出現度合いを考慮することで、習熟度又は関心度が異なるユーザに適した情報を選択して提示することができる。

また、利用ＩＤは、電子ペン５０を識別するためのペンＩＤであってもよい。これにより、利用可能なコンテンツと電子ペン５０を対応付けることが可能となり、同一の電子ペン５０を用いることで、ユーザ端末４０Ａ，４０Ｂに依存することなく同一の関連コンテンツＣ１，Ｃ２が提示される。

また、第１ペンＩＤが付与された電子ペン５０Ａを用いてデジタルインクＩｎｋが生成され、かつ第１ペンＩＤとは異なる第２ペンＩＤが付与された電子ペン５０Ｂを用いる場合、ユーザ端末４０は、デジタルインクＩｎｋの編集を禁止又は制限する一方、電子ペン５０Ｂによる指示操作は受け付けてもよい。ユーザが生成したデジタルインクＩｎｋが勝手に編集されることが防止されるとともに、ユーザ以外の者に対しても当該ユーザの場合と同一の関連コンテンツＣ１，Ｃ２が提示される。

また、コンテンツサーバ３０は、コンテンツのユーザ及び提供事業者に対して、コンテンツの利用状況に応じた課金処理を行ってもよい。これにより、１つの装置によって、コンテンツの管理及び利用料の管理を一元的に行うことができる。

［符号の説明］
１０ デジタルインク処理システム、２０ デジタルインクサーバ、３０ コンテンツサーバ、４０，４０Ａ，４０Ｂ ユーザ端末、４１ タッチパネルディスプレイ、５０，５０Ａ，５０Ｂ 電子ペン、８０ 事業者側サーバ、Ｃ１，Ｃ２ 関連コンテンツ、Ｇ０ 集合体、Ｇ１～Ｇ５ グループ、Ｉｎｋ デジタルインク

Claims (13)

1. 電子ペンと、
   ディスプレイを介した前記電子ペンによる入力に応じて、ストロークを記述するデジタルインクを生成するコンピュータと、
   を備え、
   前記コンピュータはプロセッサを有し、
   前記プロセッサは、
   指示されたストロークの纏まりを機械学習がなされた識別器を用いて解釈することで付与される意味属性に関連するコンテンツを検索し又は該検索を外部のサーバに要求し、
   検索により得られたコンテンツを前記ストロークと併せて前記ディスプレイに表示するように制御する、デジタルインク処理システム。
2. 前記プロセッサは、前記ストロークに対する前記電子ペンの指示操作が有効化された前記ストロークを、有効化される前と比べて強調して前記ディスプレイに表示するように制御する、
   請求項１に記載のデジタルインク処理システム。
3. 前記プロセッサは、前記意味属性が付与されたストロークに対して前記電子ペンの指示操作を有効化する、
   請求項１に記載のデジタルインク処理システム。
4. 前記コンピュータから送信された前記デジタルインクを解析することで、前記ストロークに対して前記意味属性を付与するデジタルインクサーバをさらに備え、
   前記プロセッサは、前記デジタルインクサーバから前記意味属性を示す意味データを取得したストロークに対して前記電子ペンの指示操作を有効化する、
   請求項３に記載のデジタルインク処理システム。
5. 前記プロセッサは、マーク又はアノテーションを付与するユーザの操作がなされたストロークに対して前記電子ペンの指示操作を有効化する、
   請求項１に記載のデジタルインク処理システム。
6. コンテンツを利用ＩＤと対応付けて記憶するコンテンツサーバをさらに備え、
   前記プロセッサは、前記利用ＩＤ及び前記意味属性を含むデータを前記コンテンツサーバに送信して検索を要求することで、前記意味属性に関連しかつ利用が許可されたコンテンツを前記コンテンツサーバから取得する、
   請求項１に記載のデジタルインク処理システム。
7. 前記プロセッサは、同一の利用ＩＤにおける前記意味属性の出現度合いに応じて異なるコンテンツを取得する、
   請求項６に記載のデジタルインク処理システム。
8. 前記利用ＩＤは、前記電子ペンを識別するためのペンＩＤである、
   請求項６又は７に記載のデジタルインク処理システム。
9. 第１ペンＩＤが付与された第１電子ペンを用いてデジタルインクが生成され、かつ前記第１ペンＩＤとは異なる第２ペンＩＤが付与された第２電子ペンを用いる場合、
   前記プロセッサは、前記デジタルインクの編集を禁止又は制限する一方、前記ストロークに対する前記電子ペンの指示操作は受け付ける、
   請求項８に記載のデジタルインク処理システム。
10. 前記コンテンツサーバは、コンテンツのユーザ及び提供事業者に対して、コンテンツの利用状況に応じた課金処理を行う、
    請求項６に記載のデジタルインク処理システム。
11. ディスプレイを介した電子ペンによる入力に応じて、ストロークを記述するデジタルインクを生成するプロセッサが、
    指示されたストロークの纏まりを機械学習がなされた識別器を用いて解釈することで付与される意味属性に関連するコンテンツを検索し又は該検索を外部のサーバに要求するステップと、
    検索により得られたコンテンツを前記ストロークと併せて前記ディスプレイに表示するように制御するステップと、
    を実行する、デジタルインク処理方法。
12. ディスプレイを介した電子ペンによる入力に応じて、ストロークを生成する処理装置であり、
    プロセッサを有し、
    前記プロセッサは、
    指示されたストロークの纏まりを機械学習がなされた識別器を用いて解釈することで付与される意味属性に関連するコンテンツを検索し又は該検索を外部のサーバに要求し、
    検索により得られたコンテンツを前記ストロークと併せて前記ディスプレイに表示するように制御する、処理装置。
13. ディスプレイを介した電子ペンによる入力に応じて、ストロークを記述するデジタルインクを生成するプロセッサに、
    指示されたストロークの纏まりを機械学習がなされた識別器を用いて解釈することで付与される意味属性に関連するコンテンツを検索し又は該検索を外部のサーバに要求するステップと、
    検索により得られたコンテンツを前記ストロークと併せて前記ディスプレイに表示するように制御するステップと、
    を実行させる、デジタルインク処理プログラム。

Images