JP2016200860A - 情報処理装置、情報処理装置の制御方法、およびプログラム - Google Patents

Abstract

【課題】画像データにユーザが手書きアノテーションを入力した場合、手書きアノテーションに基づいて画像の表示を動的に変更して表示する情報処理装置を提供する。【解決手段】複数のオブジェクトを含む画像を画面に表示する表示手段と、オブジェクトを属性ごとに分割したブロックの情報を示すブロック情報を生成する生成手段と、画像上に手書きしたアノテーションの筆跡を認識する入力手段と、筆跡に基づいて、アノテーションの種別を検出する検出手段と、ブロック情報と筆跡との関係に基づいて着目する部分領域を推定し、アノテーションの種別に応じて、部分領域の表現を動的に変更して表示する表示変更手段とを有する。【選択図】図３

Description

本発明は、情報処理装置、情報処理装置の制御方法、およびプログラムに関する。

近年、文書をデジタル化して画像データにしたものを画像表示装置（例えば、スマートフォンやタブレット型ＰＣ）で閲覧する機会が増加している。また、画像表示装置で閲覧中の画像データを、プロジェクタでスクリーンに投影（又は、大型ディスプレイなどに表示）し、複数人で閲覧共有する機会が増加している。そして、特許文献１では、文書の画像データを表示する際に、画像データに含まれるオブジェクトを認識した上で、各オブジェクトの大きさに応じて個別に拡大して表示する方法が開示されている。これにより、ユーザは、デジタル化された文書に含まれる各オブジェクトの内容を、手動による倍率操作などを必要とせず、自動的に見やすく拡大して閲覧することができる。

また、特許文献２では、文書データを画面に表示し、スタイラス等のデジタイザを用いて手書き情報（電子インク）を書き込み可能な装置において、文書データの削除・移動などの変更に合わせて、手書き情報の位置を動的に変更する方法が開示されている。これにより、文書データを変更しても手書き情報の位置がずれないので、効率よく文書データを変更することができる。さらに、特許文献３では、文書データに手書き入力された注釈のそれぞれの価値を判断し、該文書データの各ページの縮小画像を表示する際に、高価値の注釈が記載されているページの縮小画像にアイコン等を付加して表示する技術が開示されている。なお、以下の説明では、手書き情報（電子インク、デジタルインク）のことを、手書きアノテーションと呼ぶ。

特開２０１０−６１６２３号公報 特開２０１０−２０５２９０号公報 特開２００４−１１０８２５号公報

しかしながら、特許文献１では画像データにユーザが手書きアノテーションを入力することを想定しておらず、手書きアノテーションに基づいて画像の表示を動的に変更して表示する方法について言及されていない。また、特許文献２では、画像の表示中に、その画像上に加えられる手書きアノテーションから説明者の意図をくみ取り、その意図に合わせた表現によって画像の部分領域の表現を動的に変更して表示することはできない。また、特許文献３では、画像の縮小表示時に手書き入力された注釈を強調して表示することはできるが、画像の表示中に、画像の部分領域の表現を動的に変更して表示することはできない。

本発明は、上記課題を鑑みてなされたものであり、画像データにユーザが手書きアノテーションを入力した場合、手書きアノテーションに基づいて画像の表示を動的に変更して表示する情報処理装置を提供することを目的とする。

複数のオブジェクトを含む画像を画面に表示する表示手段と、前記オブジェクトを属性ごとに分割したブロックの情報を示すブロック情報を生成する生成手段と、前記画像上に手書きしたアノテーションの筆跡を認識する入力手段と、前記筆跡に基づいて、前記アノテーションの種別を検出する検出手段と、前記ブロック情報と前記筆跡との関係に基づいて着目する部分領域を推定し、前記アノテーションの種別に応じて、前記部分領域の表現を動的に変更して表示する表示変更手段とを有することを特徴とする。

本発明の情報処理装置によれば、説明者により画像上に手書きアノテーションが加えられた場合、手書きアノテーションに基づいて説明者の意図をくみ取り、その意図に合わせた表現によって画像の部分領域の表現を動的に変更して表示することができる。

画像表示装置を使用してプレゼンテーションを行う場合の概略図である。 画像表示装置のハードウェアブロック図である。 画像表示装置のソフトウェアブロック図である。 画像表示装置のタッチＵＩの画面表示例を示す図である。 オブジェクト分割した結果の一例を示す図である。 各属性のブロック情報および入力ファイル情報を示す表である。 手書きアノテーションの一例を示す図である。 アプリケーション画像データを再生する際のフローチャートである。 手書きアノテーションを書き込む際のフローチャートである。 生成された手書きアノテーションの属性情報の一例を示す表である。 手書きアノテーション表現変更処理のフローチャートである。 手書きアノテーションを書き込んだときの表示例を示す図である。 手書きアノテーションを書き込んだときの表示例を示す図である。 囲み線のアノテーション表現変更処理のフローチャートである。 囲み線のアノテーションを書き込んだときの表示例を示す図である。 リアルタイムに表示を変更する処理のフローチャートである。 リアルタイムに表示を変更する場合の表示例を示す図である。

以下、本発明を実施するための形態について図面などを参照して説明する。

（第１実施形態）
図１は、本実施形態に係る画像表示装置１００を用いてプレゼンテーションを行う際のイメージ図である。本実施形態では、オフィス内の会議室でプレゼンテーションを行うことを想定する。画像表示装置１００は、スマートフォンやタブレット型ＰＣなどの携帯情報端末などの情報処理装置であってよい。説明者は、画像表示装置１００のアプリケーションを操作することによって、所定のフォーマットのデータ（以下ではアプリケーション画像データと呼ぶ）を表示する。アプリケーションの操作方法については後述するため、ここでの詳細な説明を割愛する。画像表示装置１００で表示しているアプリケーション画像データは、ＲＧＢ（（赤（ＲＥＤ）、緑（ＧＲＥＥＮ）、青（ＢＬＵＥ））信号としてプロジェクタに出力される。具体的には、プロジェクタと画像表示装置１００はＲＧＢケーブルによって接続され、画像表示装置１００から出力されたＲＧＢ信号は、ＲＧＢケーブルを介してプロジェクタに入力される。プロジェクタは、入力されたＲＧＢ信号をスクリーンに投影する。

本実施形態では、画像表示装置１００で表示しているアプリケーション画像データと同じアプリケーション画像データがスクリーンに映し出される。従って、視聴者はスクリーンを見ることで、画像表示装置１００に表示されているアプリケーション画像データを複数人で共有して閲覧することができる。ただし、説明者用および視聴者用の２つのアプリケーション画像データを表示するように、画像表示装置１００およびプロジェクタからスクリーンに投影するアプリケーション画像データをそれぞれ別に生成出力するようにしてもよい。

なお、本実施形態では、視聴者はスクリーンを通してアプリケーション画像データを閲覧するとしているが、画像表示装置１００に内包されるディスプレイを通して閲覧してもよい。また、本実施形態では入力手段としてタッチパネルを内包する画像表示装置１００を想定している。しかしながら、画像表示装置１００の操作およびアプリケーション画像データへアノテーション書き込みとアノテーションの認識が可能であれば、タッチパネルに限定せず他の入力手段であってもよい。

図２は、本実施形態に係る画像表示装置１００のハードウェア構成を示すブロック図である。画像表示装置１００は、メインボード２００、ＬＣＤ２０１、タッチパネル２０２、ボタンデバイス２０３から構成される。また、本実施形態では、ＬＣＤ２０１とタッチパネル２０２をまとめてタッチＵＩ２０４とする。メインボード２００の構成要素は、ＣＰＵ２０５、無線ＬＡＮモジュール２０６、電源コントローラ２０７、ディスプレイコントローラ（ＤＩＳＰＣ）２０８を含む。また、パネルコントローラ（ＰＡＮＥＬＣ）２０９、ＲＯＭ２１０、ＲＡＭ２１１、二次電池２１２、タイマ２１３、ＲＧＢ出力コントローラ２１４を含む。なお、それぞれの構成要素は、バス（不図示）によって接続されている。

ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０５は、バスに接続される各デバイスを制御し、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２１０に記憶されたソフトウェアモジュール３００を、ＲＡＭ２１１に展開して実行する。ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２１１は、ＣＰＵ２０５のメインメモリ、ワークエリア、ＬＣＤ２０１に表示するビデオイメージ用エリア、およびアプリケーション画像データの保存領域として機能する。

ディスプレイコントローラ（ＤＩＳＰＣ）２０８は、ＣＰＵ２０５の要求に応じて、ＲＡＭ２１１に展開されたビデオイメージ出力を高速に切り替えるとともに、ＬＣＤ２０１に同期信号を出力する。その結果として、ＲＡＭ２１１のビデオイメージが、ＤＩＳＰＣ２０８の同期信号に同期してＬＣＤ２０１に出力され、ＬＣＤ２０１上にイメージが表示される。

パネルコントローラ（ＰＡＮＥＬＣ）２０９は、ＣＰＵ２０５の要求に応じて、タッチパネル２０２およびボタンデバイス２０３を制御する。これにより、タッチパネル２０２上の指又はスタイラスペンなどの指示物の押下位置や、ボタンデバイス２０３上の押下されたキーコードなどが、ＣＰＵ２０５に通知される。押下位置情報は、タッチパネル２０２の横方向の絶対位置を示す座標値（以下ｘ座標）と、縦方向の絶対位置を示す座標値（以下ｙ座標）から成る。タッチパネル２０２は、ユーザの操作を認識し、複数ポイントの押下を検知することが可能で、その場合ＣＰＵ２０５には押下点数分の押下位置情報が通知される。

電源コントローラ２０７は、外部電源（不図示）と接続され、電力の供給を受ける。これにより、電源コントローラ２０７に接続された二次電池２１２を充電しながら、画像表示装置１００全体に電力を供給する。外部電源から電力が供給されないときは、二次電池２１２からの電力を画像表示装置１００全体に供給する。

無線ＬＡＮモジュール２０６は、ＣＰＵ２０５の制御に基づいて、オフィス（施設など）内に構築されたＬＡＮ（不図示）に接続された無線アクセスポイント（不図示）上の無線ＬＡＮモジュールとの無線通信を確立し、画像表示装置１００との通信を仲介する。無線ＬＡＮモジュール２０６は、例えばＩＥＥＥ８０２．１１ｂなどであってよい。

タイマ２１３は、ＣＰＵ２０５の制御に基づいて、ジェスチャイベント発生部３０１へのタイマ割込を発生させる。また、画像表示装置１００には地磁気センサ（不図示）や加速度センサ（不図示）を備え、それぞれバスに接続されている。タイマ２１３は、ＣＰＵ２０５の制御に基づいて、画像表示装置１００の傾きを検知し、画像表示装置１００が所定以上の傾きを得ると、画像表示装置１００の向きを変更し、描画部３０３にＬＣＤ２０１への描画の指示を送る。ＣＰＵ２０５は、前記画像表示装置１００の向きが変更されると、ＬＣＤ２０１の幅および高さを入れ替えて、以降の処理を行う。

すなわち、ＲＧＢ出力コントローラ２１４は、ＲＡＭ２１１に展開されたビデオイメージ出力を高速に切り替えるとともに、プロジェクタなどの外部表示装置へＲＧＢビデオイメージ信号を転送する。結果として、ＲＡＭ２１１のビデオイメージが、プロジェクタなどの外部表示装置に出力され、プロジェクタの投影しているスクリーン上にＬＣＤ２０１と同じイメージが表示される。

次に、図３、図４および図６を用いて、本実施形態に係る画像表示装置１００のアプリケーション画像データの操作制御に関わるソフトウェアモジュールについて説明する。図３は、画像表示装置１００のＣＰＵ２０５で実行処理されるソフトウェアモジュール３００の構成を示すブロック図である。また、図４は、本実施形態に係る画像表示装置１００のタッチＵＩ２０４の画面表示例である。そして、図６は、手書きアノテーション種別の一例を示す表である。

まず、ソフトウェアモジュール３００を構成する各モジュールについて説明する。ジェスチャイベント発生部３０１は、ユーザのタッチ入力を受けて、各種ジェスチャイベントを発生させ、発生したジェスチャイベントを、ジェスチャイベント処理部３０２へ送信する。なお、各種ジェスチャイベントとは、タッチ押下イベント、タッチ解除イベント、シングルタップイベント、ダブルタップイベント、スワイプイベント、ピンチインイベント、ピンチアウトイベントなどのジェスチャイベントのことである。ここで、各種ジェスチャイベントについて説明する。

タッチ押下イベントは、最新のタッチ座標の座標値とタッチ座標数がジェスチャイベント処理部３０２へ送信される。なお、タッチ座標とは、タッチパネル２０２にユーザの指が触れている１点の座標のことで、ｘ座標とｙ座標で表される１組の座標値を有する。また、タッチ座標数とは、タッチパネル２０２にユーザの指が接触したタッチ座標の数を示している。なお、タッチ座標は、タッチパネル２０２へユーザの指が触れたとき、指が移動したとき、指が離れたとき、タイマ２１３からの割り込みが発生したときに更新される。

タッチ解除イベントは、タッチパネル２０２からユーザの指が離れたときの最新のタッチ座標の座標値、及び、座標数がジェスチャイベント処理部３０２へ送信される。シングルタップイベントは、最新のタッチ座標の座標値がジェスチャイベント処理部３０２へ送信される。シングルタップとは、前述のタッチ押下イベントの後、所定の時間内にタッチ解除イベントが発生したことを言う。ダブルタップイベントは、最新のタッチ座標の座標値がジェスチャイベント処理部３０２へ送信される。ダブルタップとは、所定の時間内に前述のシングルタップイベントが２回発生したことを示す。

次に、スワイプイベントは、最新のタッチ座標の座標値と、最新と直前の座標値の差分から計算した移動距離が送信される。スワイプとは、指先をタッチパネル２０２に接触させたまま、１方向への移動（滑らすような）動作である。ピンチインイベントは、最新の２点のタッチ座標の中心座標値および２点のタッチ座標を結ぶ直線の縮小距離から計算したピンチインの縮小率が送信される。ピンチインとは、２つの指先をタッチパネル２０２に接触させたまま、互いに近づける（つまむような）動作である。ピンチアウトイベントは、最新の２点のタッチ座標の中心座標値および２点のタッチ座標を結ぶ直線の拡大距離から計算したピンチアウトの拡大率が送信される。ピンチアウトとは、２つの指先をタッチパネル２０２に接触させたまま、互いに遠ざける（指を広げるような）動作である。なお、前述のジェスチャイベント発生の仕組みは公知の技術であるため、これ以上の詳細な説明は割愛する。

ジェスチャイベント処理部３０２は、ジェスチャイベント発生部３０１で発生したジェスチャイベントを受信して、各ジェスチャイベントと、前記アプリケーション画像データに記述された文書構造に応じた操作制御を実行する。描画部３０３は、ジェスチャイベント処理部３０２の実行結果に応じて、前記アプリケーション画像データをＬＣＤ２０１へ描画する。アプリケーション画像データの表示の方法については後述する。

シングルタップイベント処理部３０４は、シングルタップイベントを受信すると、シングルタップイベントのタッチ座標の座標値が、図４に示すモード切替ボタン４０１、描くボタン４０２の何れかの上にあるかを判定する。そして、シングルタップイベントのタッチ座標がモード切替ボタン４０１上である場合は、後述するモード切替処理を行う。また、前記タッチ座標が描くボタン４０２上である場合は、後述するアノテーション処理を行う。アノテーション処理は、アノテーション処理部３０５において行われる。

アノテーション処理部３０５は、シングルタップイベント処理部３０４で描くボタン４０２がシングルタップされた場合に、図４に示すページ４００上のタッチ押下イベント及びタッチ解除イベントを受信する。そして、各イベントの座標データ（すなわち説明者の筆跡）に基づいて、手書きアノテーションに関わる処理を行う。

アノテーション検出部３０６は、タッチ押下イベント及びタッチ解除イベントの各座標データ（説明者の筆跡）に基づいて、手書きアノテーションの種別を検出する。具体的には、手書きアノテーションの種別には、文字列、下線、取り消し線、及び囲み線がある。ただし、手書きアノテーションの種別はこれらに限られるものではなく、矢印や引き出し線なども検出できる。

そして、手書きアノテーション種別の検出は、手書きアノテーションの座標データに基づいて、その形状を判定することにより行われる。具体的には、囲み線であれば手書きアノテーションが一画であるか否かを判定する。そして、一画であればその手書きアノテーションの座標値の始点と終点の距離を計算し、その距離が手書きアノテーションのストローク全長と比較して小さい場合、閉ループ（囲み線）であると判定される。また、閉ループと判定されなかった場合には、認識された筆跡が直線であるかを公知の直線回帰問題を解くことにより判定することができる。さらに直線の傾きの絶対値が一定値以下であるか否かを求めることにより、直線が横線であるか否かを判定することができる。

そして、横線と判定された場合には、横線の近傍上部あるいは近傍中部に文字列オブジェクト（着目する部分領域）があるか否かを判定する。横線の近傍上部に文字列オブジェクトがある場合、手書きアノテーションは前記文字列オブジェクトに対する下線であると判定される。そして、横線の近傍中部文字列オブジェクトがある場合は、手書きアノテーションは前記文字列オブジェクトに対する取り消し線であると判定される。横線の近傍上部あるいは近傍中部に文字列オブジェクトがあるか否かは、後述するアプリケーション画像データ生成の際に検出される文字列オブジェクトの位置情報から求めることができる。

すなわち、文字列オブジェクトの座標データ及び大きさと、横線の座標データを比較し、横線の座標データが文字列オブジェクトの下部よりすべて下にある場合、下線であると判定する。また、横線の座標データが文字列オブジェクトの中部座標データの上下所定値以内に収まっている場合、取り消し線であると判定する。なお、手書きアノテーションの種別を検出する方法は、公知の技術（特開２０１４−１０２６６９）であるため、これ以上の詳細な説明を割愛する。

ここで、図7について説明する。図７は手書きアノテーション種別の一例を示す図である。図７は、ＴＥＸＴというアプリケーション画像データ上の文字列オブジェクトに対して各手書きアノテーションが付けられており、図７（Ａ）は下線、図７（Ｂ）は取り消し線、図７（Ｃ）は囲み線を示している。これらは、前述の手書きアノテーション種別の検出によって分類される。

ここで、図３の説明に戻る。アノテーション表示制御部３０７は、タッチ押下イベント及びタッチ解除イベントの各座標値（説明者の筆跡）に基づいた手書きアノテーションの描画処理およびアノテーション検出部３０６で検出された手書きアノテーションの種別に応じた表示変更処理を行う。詳細は後述するため、ここでの説明は割愛する。アノテーション生成部３０８は、タッチ押下イベント及びタッチ解除イベントの各イベントの座標値（説明者の筆跡）およびアノテーション検出部３０６で検出された手書きアノテーションの種別に基づいてアノテーションオブジェクトを生成する。

スワイプイベント処理部３０９は、スワイプイベントに対する処理を行う。ジェスチャイベント処理部３０２がスワイプイベントを受信すると、スワイプイベントの移動距離に応じて、タッチＵＩ２０４上の座標において、ページ４００の始点を移動させる。そして、その上でタッチＵＩ２０４の表示状態を更新する。拡大・縮小イベント処理部３１０は、ピンチインイベントと、ピンチアウトイベントに対する処理を行う。ジェスチャイベント処理部３０２は、ピンチインイベントやピンチアウトイベントを受信すると、前述の二つのイベントの縮小率もしくは拡大率に応じてページ４００のページ始点および表示倍率を制御した後、タッチＵＩ２０４の表示状態を更新する。

次に、画像表示装置１００で表示するための所定のフォーマットのデータであるアプリケーション画像データの生成方法について説明する。アプリケーション画像データは、複数種類の機能（複写機能、印刷機能、送信機能等）を実現する複合機であるＭＦＰ（不図示）の画像読み取り部により取得される。または、クライントＰＣ（不図示）上においてアプリケーションソフトで作成されたドキュメントをＭＦＰ内部でレンダリングして生成される。ＭＦＰおよびクライアントＰＣは、オフィス（施設など）内に構築されたＬＡＮ（不図示）に接続され、互いにデータを送受信することができる。

まず、ＭＦＰの画像読み取り部で取得された、または、クライアントＰＣ上のアプリケーションで作成されたビットマップ画像データを属性毎のオブジェクトに分割するオブジェクト分割処理を行う。オブジェクト分割後のオブジェクトの属性種類は、文字、写真、グラフィック（図面、線画、表、ライン）を指す。分割された各々のオブジェクトに対して、オブジェクトの種類（文字、写真、グラフィック）を判定する。

次に、該オブジェクトが文字であるか判定し、文字の場合には、更にＯＣＲ処理を施し、文字コード化されたデータ（ＯＣＲ結果の文字コードデータ）を取得する。なお、ＯＣＲは公知の技術であるため、詳細な説明は割愛する。分割した各々のオブジェクトに対して、オブジェクトの位置情報を用いてビットマップ画像データから該オブジェクトの領域を切り出し、オブジェクト画像を生成する。オブジェクト画像は、データ量を抑えつつ好適な画質を維持するよう、オブジェクトの属性種類に応じた解像度変換が行われる。

次に、ビットマップ画像データを解像度変換して、ビットマップ画像データよりも解像度の低い背景画像を生成する。本実施形態では、ニアレストネイバー法を用いて１／４の解像度、すなわち、ビットマップ画像データが６００ｄｐｉである場合に、１５０ｄｐｉの背景画像を生成する。

なお、解像度変換の方法は、ニアレストネイバー法に限るものではなく、例えば、バイリニア法やバイキュービック法といった高精度な補間方法を用いてもよい。そして、生成されたビットマップ画像データよりも解像度の低い背景画像を用いて、ＪＰＥＧ圧縮した背景画像を生成する。後述する文書構造ツリーを元に各オブジェクトのデータと、背景画像のデータと、文字コードデータを取得し、画像表示装置１００が表示可能なアプリケーション画像データを生成する。なお、アプリケーション画像データの生成方法は公知の技術（特開２０１３−１９０８７０）であるため、これ以上の詳細な説明を割愛する。

図５と図６を用いて、オブジェクト分割について、詳細に説明する。図５は、オブジェクト分割処理によって、ビットマップ画像データを複数のオブジェクトに分割した結果の一例を示す図である。図６は、オブジェクト分割したときの各オブジェクトのブロック情報および入力ファイル情報を示す表である。

まず、入力画像（図５の左側）に対してオブジェクト分割処理を行うことにより、属性ごとに矩形ブロックに分割する（図５の右側）。前述のように、矩形ブロックの属性としては、文字、写真、グラフィック（図面、線画、表、ライン）等がある。オブジェクト分割処理の一手法としては、例えば、以下のような手法がある。

まず、ＭＦＰ内のＲＡＭ（不図示）に格納されたイメージデータを白黒に２値化し、黒画素輪郭で囲まれる画素塊を抽出する。そして、黒画素塊の大きさを評価し、大きさが所定値以上の黒画素塊の内部にある白画素塊に対する輪郭追跡を行う。白画素塊に対する大きさ評価、内部黒画素塊の追跡というように、内部の画素塊が所定値以上である限り、再帰的に内部画素塊の抽出、輪郭追跡を行う。画素塊の大きさは、例えば、画素塊の面積によって評価される。このようにして得られた画素塊に外接する矩形ブロックを生成し、矩形ブロックの大きさ、形状に基づき属性を判定する。

例えば、縦横比が１に近く、大きさが一定の範囲の矩形ブロックは文字領域矩形ブロックの可能性がある文字相当ブロックとする。また、近接する文字相当ブロックが規則正しく整列しているときに、これら文字相当ブロックを纏めた新たな矩形ブロックを生成し、新たな矩形ブロックを文字領域矩形ブロックとする。また扁平な画素塊、もしくは、一定大きさ以上でかつ四角形の白画素塊を整列よく内包する黒画素塊をグラフィック領域矩形ブロック、それ以外の不定形の画素塊を写真領域矩形ブロックとする。

以上のように生成された矩形ブロックのそれぞれについて、図６に示す、属性等のブロック情報および入力ファイル情報を生成する。図６において、ブロック情報には、各ブロックの属性、位置の座標Ｘ、座標Ｙ、幅Ｗ、高さＨ、ＯＣＲ情報が含まれる。属性は１〜３の数値で与えられる。本実施形態では、１は文字領域矩形ブロック、２は写真領域矩形ブロック、３はグラフィック領域矩形ブロックを示す。

座標Ｘ、座標Ｙは入力画像における各矩形ブロックの始点のＸ、Ｙ座標（左上角の座標）である。幅Ｗ、高さＨは矩形ブロックのＸ座標方向の幅、Ｙ座標方向の高さである。ＯＣＲ情報は、ＯＣＲ処理で文字コード化されたデータへのポインタ情報の有無を示す。さらに、入力ファイル情報として矩形ブロックの個数を示すブロック総数Ｎも保存される。

これらの矩形ブロックごとのブロック情報は、アプリケーション画像データ生成に利用される。またブロック情報によって、特定領域とその他の領域を重ねる際の相対位置関係を特定でき、入力画像のレイアウトを損なわずに各領域を重ねることが可能となる。なお、オブジェクト分割の方法は公知の技術（特開２０１３−１９０８７０）であるため、これ以上の詳細な説明を割愛する。

次に、図４および図８を用いて、本実施形態における画像表示装置１００の前記アプリケーション画像データ再生時の処理について説明する。図８は、画像表示装置１００がアプリケーション画像データを再生する際のフローチャートである。まず、ステップＳ８０１において、画像表示装置１００は、無線ＬＡＮモジュール２０６を介してＭＦＰから前記アプリケーション画像データを受信すると、ＲＡＭ２１１に受信したアプリケーション画像データを保存する。

次に、ステップＳ８０２において、ＲＡＭ２１１に保存したアプリケーション画像データの構文を解析し、先頭ページを読み込む。次に、ステップＳ８０３において、描画部３０３は読み込んだ先頭ページに含まれる背景を、領域情報の始点の座標と幅、高さに応じてレンダリングしてタッチＵＩ２０４の表示状態を更新する。このとき、先頭ページは、図４のページ４００に示すように、ページ４００の高さがタッチＵＩ２０４の高さに、または、ページ４００の幅がタッチＵＩ２０４の幅に合うように表示倍率が制御される。また、前記表示倍率に縮小したときのページの幅、もしくは高さがタッチＵＩ２０４よりも小さい場合は、タッチＵＩ２０４の中央に表示されるように、タッチＵＩ２０４上の座標において、ページ４００の始点が制御される。

次に、図９、図１０、図１２および図１３を用いて、アノテーション書き込み時の動作について説明する。図９は、アノテーションを書き込む時のフローチャートである。図１０は、本実施形態における手書きアノテーション属性情報の一例を示す表である。図１２、図１３は、本実施形態においてアプリケーション画像データの表示中に、手書きアノテーションを書き込んだときに画像中の部分領域の表現を動的に変更表示する例を示す図である。なお、図９のステップＳ９０１〜ステップＳ９１４はソフトウェアモジュール３００により実行処理される。

まず、ステップＳ９０１において、タッチＵＩ２０４上の描くボタン４０２がシングルタップされたか否かを判定する。描くボタン４０２がタップされた場合は（ＹＥＳ）、ステップＳ９０２へ進む。一方、描くボタン４０２がタップされていない場合は（ＮＯ）、処理を終了する。次に、ステップＳ９０２において、アノテーション書き込みモードへ移行する。アノテーション書き込みモード時には、ページ４００上へのジェスチャ操作を全て手書きアノテーションの書き込みと判定する。

また、アノテーション書き込みモードでないときは、ページ４００上への手書きアノテーション書き込みを行うことはできず、スワイプイベントやピンチアウトイベントなどを受信する。アノテーション書き込みモードへの移行およびアノテーション書き込みモードの終了は、描くボタン４０２のシングルタップにより行うことができる。

次に、ステップＳ９０３は、モード分岐である。通常モードのときはステップＳ９０４へ、アノテーション表現変更モードのときはステップＳ９０８へ処理を進める。ここで、通常モードとは、アノテーションにより画像の部分領域の表現を動的に変更しないモードのことを示す。すなわち、ユーザがページ４００上に指で触れた際の軌跡が、ページ４００上に筆跡として、そのまま変更せずに残るモードである。具体的には、図１２及び図１３に示すアノテーション１２０６、１２０７、１３０１、１３０２が、ページ４００上に指で触れた際の筆跡として残された手書きアノテーションの一例である。

筆跡の太さや色は、予めユーザが設定しておくことにより自由に選ぶことができる。一方、アノテーション表現変更モードとは、画像上に加えられる手書きアノテーション及びオブジェクトの属性から説明者の意図を汲み取り、その意図に合わせた表現になるよう画像の部分領域の表現を動的に変更するモードのことである。アノテーション表現変更モードの詳細は後述するため、ここでの説明は割愛する。なお、通常モードとアノテーション表現変更モードは、タッチＵＩ２０４上のモード切替ボタン４０１をシングルタップすることにより、任意のタイミングで交互に切り替えることができる。

次に、ステップＳ９０４において、ページ４００上へのユーザのタッチを検出する。タッチを検出した場合は（ＹＥＳ）、ステップＳ９０５へ処理を進める。一方、タッチを検出していない場合は（ＮＯ）、ステップＳ９０６へ処理を進める。そして、ステップＳ９０５において、アノテーション表示制御部３０７によりタッチＵＩ２０４のタッチされた箇所に対し、描画処理を行う。尚、タッチＵＩ２０４上へのタッチを検出し、タッチ箇所に対してＬＣＤ２０１へ描画処理を行う技術は公知の技術であるため詳細な説明は割愛する。

次に、ステップＳ９０６において、タッチＵＩ２０４上の描くボタン４０２が再度シングルタップされたか否かを検出する。描くボタン４０２がシングルタップされた場合は（ＹＥＳ）、ステップＳ９０７へ処理を進める。一方、描くボタン４０２がタップされていない場合は（ＮＯ）、ステップＳ９０３へ戻る。そして、ステップＳ９０７において、アノテーション生成部３０８によってアノテーションオブジェクトを生成する。例えば、図１２（Ｂ）の１２０６がアノテーションオブジェクトの一例を示す。また、アノテーションオブジェクトは図１０に示すような属性情報を有する。

ここで、図１０に示すアノテーション属性情報について説明する。アノテーションオブジェクトの領域は、書き込まれたアノテーションの座標データの上下両端と左右両端に接する矩形で表され、図１０に示す座標Ｘ、座標Ｙは、該矩形の左上端の位置を示す。また、幅Ｗ、高さＨは、それぞれアノテーションオブジェクトを表す矩形のＸ軸方向の長さと、Ｙ軸方向の長さを表す。図１０に示すアノテーション種別は、アノテーション表現変更モード時において、ステップＳ９１０で検出された手書きアノテーション種別を表す。なお、ステップＳ９０７においては、アノテーション検出処理を行っていないため、アノテーション種別は空となる。

また、図１０に示すアノテーションＩＤ０１、０２、０３、０４は、それぞれ図１２，図１３に示すアノテーション１２０６、１２０７、１３０１、１３０２に対応する。なお、アノテーションオブジェクトは、図５、図６で説明したアプリケーション画像データに含まれるオブジェクトとは異なり、アプリケーション画像データのレイヤに重なる別のレイヤに表示している手書きアノテーションのことを言う。以後、簡単のため、単に手書きアノテーション又はアノテーションと呼ぶ場合はアノテーションオブジェクトのことを指し、オブジェクトと呼ぶ場合はアプリケーション画像データに含まれるオブジェクトのことを指すこととする。

ここで、図９の説明に戻る。ステップＳ９０８において、アノテーション表現変更モード時のページ４００上へのユーザのタッチを検出する。タッチを検出した場合は（ＹＥＳ）、ステップＳ９０９へ処理を進める。一方、タッチを検出していない場合は（ＮＯ）、ステップＳ９１１へ処理を進める。そして、ステップＳ９０９では、ステップＳ９０５と同様にしてタッチＵＩ２０４上のタッチされた箇所に対し、描画処理を行う。ステップＳ９１０において、アノテーション検出部３０５によって手書きアノテーションの検出処理を行う。具体的な検出処理については、前述のアノテーション検出部３０５で説明したため、ここでの説明を割愛する。なお、検出された結果は後述のステップＳ９１２のアノテーションオブジェクト生成時に利用される。

次に、ステップＳ９１１において、タッチＵＩ２０４上の描くボタン４０２が再度シングルタップされたか否かを検出する。描くボタン４０２がシングルタップされた場合は（ＹＥＳ）、ステップＳ９１２へ処理を進める。一方、描くボタン４０２がシングルタップされていない場合は、ステップＳ９０３へ戻る。そして、ステップＳ９１２では、ステップＳ９０７と同様にしてアノテーション生成部３０８によりアノテーションオブジェクトを生成する。また、ステップＳ９１２においては、ステップＳ９０７の処理に加えて、ステップＳ９１０のアノテーション検出処理の結果を加えてアノテーション属性情報を生成する。

次に、ステップＳ９１３において、アノテーション表現変更処理を行う。アノテーション表現変更処理は、ページ４００上のオブジェクトの属性情報（図６の属性）及びアノテーションの属性情報（図１０の属性）に応じて行われる。詳細は図１１のフローチャートで説明するため、ここでの説明を割愛する。そして、ステップＳ９１４において、アノテーション書き込みモードを終了し、本処理を終了する。

次に、図１０、図１１、図１２および図１３を用いて、アノテーション表現変更処理について説明する。図１１は、図９に示すステップＳ９１３のアノテーション表現変更処理の詳細を説明するフローチャートである。図１１に示すステップＳ１１０１〜Ｓ１１０７はアノテーション表示制御部３０７によって実行処理される。

まず、図１１に示すステップＳ１１０１において、図１０に示される手書きアノテーションの属性情報に基づいて、手書きアノテーションの種別が表現変更対象か否かを判定する。具体的には、手書きアノテーションの種別が下線、取り消し線、囲み線のいずれかであれば表現変更対象であり、それ以外は表現変更対象外となる。そして、手書きアノテーションの種別が表現変更対象である場合（ＹＥＳ）、ステップＳ１１０２へ処理を進める。一方、手書きアノテーションの種別が表現変更対象でない場合は（ＮＯ）、本処理を終了する。

次に、ステップＳ１１０２は、手書きアノテーション種別による分岐である。図１０に示す手書きアノテーションの種別が下線であればステップＳ１１０３へ、取り消し線であればステップＳ１１０４へ、囲み線であればステップＳ１１０５へ処理を進める。そして、ステップＳ１１０３においては、ステップＳ９１０で検出した下線に対応する文字をハイライト表示する。

具体的には、元々の手書き入力のアノテーションを消去し、対応する文字領域の背景色を有彩色に変えることにより、文字領域をより目立たせるように表示する。例えば、図１２（Ｄ）に示す部分領域１２０８は、図１２（Ｂ）に示す手書き入力である下線の手書きアノテーション１２０６をハイライト表示した例を示す。つまり、図１２（Ｂ）に示す手書きアノテーション１２０６の下線は、アノテーション検出処理によって“Ｐｏｉｎｔ３”と書かれた文字列に対する下線であると判定されるため、“Ｐｏｉｎｔ３”をハイライトして表示する。

ここで、下線に対応する文字列をハイライト表示する理由について説明する。一般的に、資料上のある文字列に対する下線のような手書きのアノテーションが加えられた場合、その文字列を強調したい、目立たせたいというのが説明者の意図である。従って、その文字列の領域と加えられた手書きアノテーションとの位置関係に基づいて、その文字列を強調して見せるようにその文字列の表現に動的な調整・変更を施す。この表現効果として施される調整・変更の一例として、その文字列に対して美しい直線の下線を付す場合がある。

また、本実施形態のように、その文字列の背景色を変えて目立たせる場合もある。また、前景色（つまり文字色）を変更して目立たせる場合もある。さらに別の例として、その文字列以外の領域の彩度または明度を下げることにより、その文字列を相対的に目立たせる場合もある。以上のように、下線が付された文字列をハイライトする表現方法は、文字列を目立たせるあらゆる方法を適用できるものであり、本実施形態の方法に限られない。

次に、ステップＳ１１０４においては、ステップＳ９１０で検出した取り消し線に対応する文字列の背景色を暗くして表示する。具体的には、元々の手書き入力のアノテーションを直線に置き換え、さらに対応する文字領域の背景色をグレーなどの無彩色に変えることにより、取り消し線の表現を変更する。例えば、図１２（Ｅ）に示す１２０９は、図１２（Ｃ）に示す手書き入力である取り消し線のアノテーション１２０７を暗くして表示した例を示す。

また、図１２（Ｃ）に示す手書きアノテーション１２０７の取り消し線は、アノテーション検出処理によって“Ｐｏｉｎｔ５”と書かれた文字列に対する取り消し線であると判定されるため、“Ｐｏｉｎｔ５”の背景色を暗くして表示する。ここで、一般的に、資料上のある文字列に対する取り消し線のような手書きのアノテーションが加えられた場合、その文字列を訂正・消去したい、あるいは目立たないようにしたいというのが説明者の意図である。従って、その文字列の領域と加えられた手書きアノテーションとの位置関係に基づいて、その文字列を目立たなく見せるようにその文字列の表現に動的な調整・変更を施す。

次に、ステップＳ１１０５において、オブジェクト領域に対する囲み線領域の占める面積が所定以上であるか否かを判定する。具体的には、囲み線の手書きアノテーション領域と、オブジェクトの領域の重なりを算出し、オブジェクト領域全体に対して囲み線の手書きアノテーション領域が７０%以上を占めていれば所定以上であると判定する。また、囲み線の領域にオブジェクトが存在しない場合は、各領域の重なりが０％であると判定される。

例えば、図１３（Ｂ）に示す手書きアノテーション１３０２は、オブジェクト１２０３の領域（破線の領域）の所定面積（７０％）以上を占めると判定される。また、図１３（Ａ）に示す手書きアノテーション１３０１は、オブジェクト１２０３の領域の所定面積以上を占めると判定されない。なお、所定の面積はユーザによって自由に変更できるものであり、７０％に限るものではない。囲み線アノテーションがオブジェクトの所定面積以上を占める場合は（ＹＥＳ）、ステップＳ１１０６へ処理を進める。一方、囲み線アノテーションがオブジェクトの所定面積以上を占めていない場合は（所定面積未満の場合）（ＮＯ）、ステップＳ１１０７へ処理を進める。

次に、ステップＳ１１０６において、囲み線の手書きアノテーションが所定面積以上占めると判定されたオブジェクトの領域外をグレーアウトして表示する。具体的には、図１３（Ｄ）に示すようにオブジェクト１３０４の領域以外をグレーアウトして表示することにより、オブジェクト１３０４をより目立たせて表示する。また、ステップＳ１１０７においては、囲み線の手書きアノテーション領域以外をグレーアウトして表示する。具体的には、図１３（Ｃ）に示すように手書きアノテーション１３０３の領域以外をグレーアウトして表示することにより、手書きアノテーションで囲まれた領域をより目立たせて表示する。

前述のステップＳ１１０５〜ステップＳ１１０７の処理は、オブジェクト全体が囲み線によって指定されていると判定された場合は、オブジェクト全体を強調表示する。そして、オブジェクトの中の部分領域が指定されていると判定された場合はオブジェクトの部分領域を強調表示するものである。なお、一般的に、資料上のある領域に対する囲み線のような手書きのアノテーションが加えられた場合、その領域を強調したい、あるいは目立たせるようにしたいというのが説明者の意図である。従って、その領域と手書きアノテーションとの位置関係に基づいて、その領域を強調して見せるようにその領域の表現に動的な調整・変更を施す。

以上のように、本実施形態によれば、画像上に加えられるアノテーションとオブジェクトの属性に基づいて、説明者の意図に合わせた表現になるように画像の部分領域の表示を動的に変更可能であり、プレゼンテーションに適した効果的な表示ができる。

（第２実施形態）
第１実施形態では、アノテーション処理部３０５において、オブジェクトの属性及びアノテーションの種別に応じて画像の部分領域の表現を動的に変更する例を説明した。これにより、説明者の意図に合わせた表現ができるので、プレゼンテーションに適した効果的な表示ができる。本実施形態では、囲み線が文字領域又は写真領域、グラフィック領域にある場合において、画像の部分領域の表現を動的に変更する例を説明する。

以下、第１実施形態との差分を中心に、図１４と図１５を用いて説明する。図１４は、本実施形態において図９のステップＳ９１３のアノテーション表現変更処理の詳細を説明するフローチャートである。図１４のステップＳ１４０１〜ステップＳ１４１０は、アノテーション表示制御部３０７によって実行処理される。また、図１５は、本実施形態においてアプリケーション画像データの表示中に、手書きの囲み線アノテーションを書き込んだときに画像中の部分領域の表現を動的に変更表示する例を示している。

図１４に示すステップＳ１４０１〜ステップＳ１４０４およびステップＳ１４１０は、それぞれ図９に示すステップＳ１１０１〜ステップＳ１１０４およびステップＳ１１０７と同様の処理であるため、詳細な説明を割愛する。まず、ステップＳ１４０５において、囲み線の領域が文字領域矩形ブロックにあるか否かを判定する。例えば、図１５（Ａ）、図１５（Ｂ）に示すページ４００上のオブジェクト１２０４は文字領域矩形ブロックであり、手書きの囲み線アノテーション１５０１および１５０２の領域は、文字領域矩形ブロックにあると判定される。

具体的には、手書きの囲み線アノテーションの領域の８０％以上が文字領域矩形ブロックに含まれれば、文字領域矩形ブロックにあると判定される。ただし、前記閾値は任意に変更できる値であり８０％に限定するものではない。文字領域矩形ブロックにあると判定された場合（ＹＥＳ）、ステップＳ１４０６へ処理を進める。一方、文字領域矩形ブロックにないと判定された場合（ＮＯ）ステップＳ１４０７へ処理を進める。

次に、ステップＳ１４０６においては、ステップＳ９１０で検出した手書きの囲み線アノテーションに対応する文字領域をハイライト表示する。具体的には、元の手書きアノテーションを消去し、対応する文字領域の背景色を有彩色に変えることにより、文字領域をより目立たせるように表示する。

例えば、図１５（Ｄ）に示す文字領域１５０７は、図１５（Ａ）に示す手書きの囲み線アノテーション１５０１をハイライト表示した例である。また、図１５（Ｅ）に示す文字領域１５０８は、図１５（Ｂ）に示す手書きの囲み線アノテーション１５０２をハイライト表示した例である。図１５（Ｅ）に示す例においては、手書きアノテーション１５０２に対応する文字領域が複数行にわたるため、説明者の強調したい領域が囲み線に含まれる複数行全体であると推定される。従って、図１５（Ｅ）のように、アノテーション１５０２が含む文字領域の行全体を強調して表示する。

次に、ステップＳ１４０７においては、囲み線の領域が写真領域矩形ブロック（図画領域）またはグラフィック領域矩形ブロック（図画領域）にあるか否かを判定する。例えば、図１５（Ｃ）、図１５（Ｆ）に示すページ４０１上のオブジェクト１５０３は、写真領域矩形ブロックであり、手書きの囲み線アノテーション１５０６の領域は写真領域矩形ブロックにあると判定される。

具体的には、手書きの囲み線アノテーションの領域の８０％以上が写真またはグラフィック矩形領域ブロックに含まれれば、囲み線アノテーションが写真またはグラフィック領域矩形ブロックにあると判定される。ただし、前記閾値は任意に変更できる値であり８０％に限定するものではない。囲み線アノテーションが写真またはグラフィック領域矩形ブロックにあると判定される場合（ＹＥＳ）、ステップＳ１４０８へ処理を進める。一方、囲み線アノテーションが写真またはグラフィック領域矩形ブロックにないと判定された場合（ＮＯ）、ステップＳ１４１０へ処理を進める。

次に、ステップＳ１４０８においては、写真またはグラフィック領域矩形ブロックに含まれるオブジェクト（図画オブジェクト）を抽出する。例えば、図１５（Ｃ）に示すページ４０１上の囲み線アノテーション１５０６の領域から、コピー機であるオブジェクト１５０５を抽出する。オブジェクトの抽出手法は、公知の特徴量を用いたパターンマッチングによる。

本実施形態では、手書きアノテーションの領域１５０６より一回り大きい領域を抜き出し、抜き出した領域に対して予め保存してある画像データベースとのパターンマッチングを行うことで、オブジェクト抽出を行う。なお、特徴量によるオブジェクト抽出手法は公知の技術であるため、これ以上の詳細な説明は割愛する。また、オブジェクトの抽出方法は、輝度値ヒストグラムや画像のエッジに基づいて行ってもよく、特徴量のパターンマッチングに限定されない。

次に、ステップＳ１４０９においては、元の手書きアノテーションを消去し、ステップＳ１４０８で抽出されたオブジェクト領域以外をグレーアウトして表示する。具体的には、図１５（Ｆ）に示すようにオブジェクト１５０５の領域以外をグレーアウトして表示することにより、手書きアノテーション１５０６で囲まれたオブジェクトの領域をより目立たせて表示する。

以上のように、本実施形態では、第１実施形態の表現方法に加え、囲み線の囲う領域の画像データの属性情報を用いることで、説明者の意図に合った効果的な表現によって画像の部分領域の表現を変更して表示することができる。

（第３実施形態）
第１実施形態では、アノテーション処理部３０５において、オブジェクトの属性及びアノテーションの種別に応じて画像の部分領域の表現を動的に変更する例を説明した。また、第２実施形態では、手書きの囲み線アノテーションの領域が、文字またはグラフィック領域矩形ブロックの場合の例を説明した。これらにより、説明者の意図に合わせた表現ができるので、プレゼンテーションに適した効果的な表示ができる。

本実施形態では、説明者がアノテーションを書き込み中に、リアルタイムに画像の部分領域の表現を変更する例を説明する。以下、第１及び第２実施形態との差分を中心に、図１６と図１７を用いて説明する。まず、図１６は、本実施形態におけるアノテーションを書き込む時のフローチャートである。図１７は、本実施形態におけるアプリケーション画像データの表示中にアノテーションを書き込んだときに、画像中の部分領域をリアルタイムに変更表示する例を示している。

図１６に示すステップＳ１６０１〜ステップＳ１６１５はソフトウェアモジュール３００によって実行処理される。ステップＳ１６０１〜ステップＳ１６１０およびステップＳ１６１７は、それぞれ図９に示すステップＳ９０１〜ステップＳ９１０およびステップＳ９１４と同様の処理であるため、詳細な説明を割愛する。まず、ステップＳ１６１１において、アノテーション検出部３０５によって検出された手書きアノテーションの検出結果を一時保存する。

次に、ステップＳ１６１２では、前述の図１１または図１４で示したアノテーション表現変更処理を行う。アノテーション表現変更処理は、手書きアノテーションの属性情報に応じて行われるが、本実施形態ではステップＳ１６１１で検出された直後に検出結果を用いて、リアルタイムに画像の部分領域の表現を変更する。

例えば、図１７（Ａ）に示す手書きの下線アノテーションの表現変更処理は、図１７（Ｂ）に示す部分領域１７０２のように、説明者がアノテーションを書き込んでいる最中にもステップＳ１６１１の検出結果にもとづいて随時行われる。なお、本実施形態での表現変更処理は、説明者が使っている画像表示装置１００上のＬＣＤ２０１に対してのみ行われ、視聴者が閲覧しているスクリーンには出力しないこととする。これは、視聴者に編集途中の結果を見せないためであるが、説明者が見ている表示と同じものを出力することも可能である。

次に、ステップＳ１６１３では、ステップＳ１６１１の最新の検出結果に基づいたアノテーションの変更表現を表示し、それ以前の変更表現を元に戻す。例えば、図１７（Ｃ）に示すアノテーション１７０３は、図１７（Ｂ）に示す部分領域１７０２の表現変更表示後に、説明者が指を離さずに連続して書き込んだ手書きアノテーションである。しかしながら、このとき部分領域１７０２の変更表現は元の手書きアノテーションに戻されている。

つまり、図１７（Ｃ）示す時点では、ステップＳ１６１１の最新のアノテーション検出結果が、下線、取り消し線又は囲み線ではないため、何も変更表示されていない通常の手書きアノテーションの表示となる。本実施形態では、図１７（Ｃ）の後、続けて図１７（Ｄ）の指の位置まで説明者がアノテーション１７０４の手書き入力を行ったこととする。このとき、ステップＳ１６１４で描くボタン４０２のタップを検出する前の画像表示装置１００の表示は、図１７（Ｅ）となる。これは、手書きアノテーション１７０４のアノテーション検出結果が、オブジェクト１５０３に対する囲み線となるためであり、オブジェクト１５０３以外の領域がグレーアウト表示される。

次に、ステップＳ１６１４において、ＵＩ２０４上の描くボタン４０２がシングルタップされたか否かを検出する。描くボタン４０２がシングルタップされた場合は（ＹＥＳ）、ステップＳ１６１５へ処理を進める。一方、描くボタン４０２がシングルタップされていない場合（ＮＯ）、ステップＳ１６０３へ戻る。次に、ステップＳ１６１５において、ステップＳ９１２と同様にしてアノテーション生成部３０８によってアノテーションオブジェクトを生成する。ステップＳ１６１５においては、ステップＳ１６１１で一時保存された検出結果にもとづいてアノテーション属性情報を生成する。

次に、ステップＳ１６１６において、確定した手書きアノテーションの変更表現結果を、ＲＧＢ出力コントローラ２１４を介して外部出力する。本実施形態では、図１７（Ｅ）に示す表示結果が出力される。

以上のように、本実施形態では、手書きアノテーションの書き込み中に、リアルタイムにアノテーションの表現変更を画像表示装置１００に反映するので、説明者は反映結果を確認しながら、アノテーションを書き込むことができる。これにより、説明者は、より簡単に説明者の意図に沿ったアノテーションの書き込みを行うことができる。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

また、本発明の好ましい実施形態について説明したが、本発明は、これらの実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。

Claims (11)

1. 複数のオブジェクトを含む画像を画面に表示する表示手段と、
   前記オブジェクトを属性ごとに分割したブロックの情報を示すブロック情報を生成する生成手段と、
   前記画像上に手書きしたアノテーションの筆跡を認識する入力手段と、
   前記筆跡に基づいて、前記アノテーションの種別を検出する検出手段と、
   前記ブロック情報と前記筆跡との関係に基づいて着目する部分領域を推定し、前記アノテーションの種別に応じて、前記部分領域の表現を動的に変更して表示する表示変更手段とを有する
   ことを特徴とする情報処理装置。
2. 前記検出手段が、前記アノテーションが前記部分領域の文字領域に対する下線であることを検出した場合、前記表示変更手段は前記文字領域を強調して表示する
   ことを特徴とする請求項１に記載の情報処理装置。
3. 前記検出手段が、前記アノテーションが前記部分領域の文字領域に対する取り消し線であることを検出した場合、前記表示変更手段は前記文字領域を目立たないように表示する
   ことを特徴とする請求項１または２に記載の情報処理装置。
4. 前記検出手段が、前記アノテーションが前記部分領域に対する囲み線であることを検出した場合、前記表示変更手段は前記部分領域を強調して表示する
   ことを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。
5. 前記表示変更手段は、前記囲み線が囲う領域の面積が、前記部分領域の所定の面積以上を占める場合、前記部分領域の全体を強調して表示する
   ことを特徴とする請求項４に記載の情報処理装置。
6. 前記表示変更手段は、前記囲み線が囲う領域の面積が、前記部分領域の所定の面積未満である場合、前記囲み線が囲う領域のみを強調して表示する
   ことを特徴とする請求項４または５に記載の情報処理装置。
7. 前記表示変更手段は、前記囲み線が囲う領域が、前記部分領域の文字領域に存在する場合、前記囲み線が囲う前記文字領域を強調して表示する
   ことを特徴とする請求項４乃至６のいずれか１項に記載の情報処理装置。
8. 前記表示変更手段は、前記囲み線が囲う領域が、前記部分領域の図画領域に存在する場合、前記囲み線が囲う図画オブジェクトを抽出し、強調して表示する
   ことを特徴とする請求項４乃至７のいずれか１項に記載の情報処理装置。
9. 前記表示変更手段は、前記検出手段が前記アノテーションの種別を検出した直後に、前記種別に応じて変更した表現を前記画面に表示し、変更が確定した表現を外部出力する
   ことを特徴とする請求項１乃至８のいずれか１項に記載の情報処理装置。
10. 複数のオブジェクトを含む画像を画面に表示する表示工程と、
    前記オブジェクトを属性ごとに分割したブロックの情報を示すブロック情報を生成する生成工程と、
    前記画像上に手書きしたアノテーションの筆跡を認識する入力工程と、
    前記筆跡に基づいて、前記アノテーションの種別を検出する検出工程と、
    前記ブロック情報と前記筆跡との関係に基づいて着目する部分領域を推定し、前記アノテーションの種別に応じて、前記部分領域の表現を動的に変更して表示する表示変更工程とを有する
    ことを特徴とする情報処理装置の制御方法。
11. 請求項１乃至９のいずれか１項に記載の情報処理装置の各手段としてコンピュータを機能させるためのプログラム。