JP2017102461A - 表示装置、及び、表示制御方法 - Google Patents

Abstract

【課題】表示されている画像に対する指示位置を特定する機能を備え、未知の解像度の画像にも対応可能な表示装置、及び表示制御方法を提供する。【解決手段】プロジェクター１１は、ＰＣ１３により供給される画像を投射ユニット３によりスクリーンＳＣに表示し、スクリーンＳＣにおける指示位置を位置検出ユニット１５０により検出し、スクリーンＳＣの表示可能領域における指示位置の座標である第１の座標を座標算出部１５９により算出し、算出した第１の座標を、スクリーンＳＣにおける供給画像の位置を示す画像位置情報に基づいて、座標変換部１６０によって供給画像における座標である第２の座標に変換し、変換により得られた第２の座標を出力部１０１から出力し、制御部１０３により、補正用画像に基づく画像を表示する処理によって画像位置情報を補正する。【選択図】図２

Description

本発明は、位置を指示する操作に応じて指示位置の情報を出力する表示装置、及び、表示制御方法に関する。

従来、プロジェクター等の表示装置が表示する画像の特定の位置が指示された場合に、指示位置を検出し、検出した位置に対応するようにポインター等を表示する装置が知られている（例えば、特許文献１参照）。この種の装置は、指示された位置とポインター等の表示位置とを一致させるためにキャリブレーションを行う必要がある。一般的には、表示する画像の表示位置が変わるなど、表示の条件が変化する毎にキャリブレーションをやり直す必要があり、手間がかかっていた。そこで、特許文献１記載の装置は、表示位置が変化した場合に、変化の前後の位置関係を示す位置変更データを利用することで、キャリブレーションを省略している。

特許第４２７２９０４号公報

上記のように指示位置を検出して出力する表示装置は、表示する画像の解像度に関する情報を必要とする。例えば、特許文献１記載の装置は、表示の条件が変化した場合に変化の前後の関係を示すデータが必要なため、入力された水平および垂直同期信号の周波数を計測することで画像の解像度を判別している。
しかしながら、例えば未知の解像度の画像が入力された場合や解像度に関する情報を誤判別した場合など、入力された信号に関して正しい解像度に関する情報が得られないことがある。近年は、デジタル放送の普及、映像コンテンツの高画質化、携帯型の機器を含む表示装置の多様化等によって、画面解像度の種類は増加する一方であり、表示装置が対応していない解像度の画像が入力されることも少なくない。このような場合、従来の表示装置では解像度に関する情報が得られないことから、指示位置と表示中の画像との位置関係を正確に求めることができないという問題があった。
本発明は、上述した事情に鑑みてなされたものであり、表示されている画像に対する指示位置を特定する機能を備え、未知の解像度の画像にも対応可能な表示装置、及び表示制御方法を提供することを目的とする。

上記課題を解決するため、本発明は、画像ソースにより供給される供給画像を表示面に表示する表示手段と、前記表示面における指示位置を検出する位置検出手段と、前記表示面の表示可能領域における前記指示位置の座標である第１の座標を算出する座標算出手段と、前記座標算出手段により算出された前記第１の座標を、前記表示面における前記供給画像の位置を示す画像位置情報に基づいて、前記供給画像における座標である第２の座標に変換する座標変換手段と、前記座標変換手段により得られた前記第２の座標を出力する出力手段と、補正用の画像を表示する処理によって前記画像位置情報を補正する補正手段と、を備えることを特徴とする。
本発明によれば、画像が表示された表示面に対する指示操作に対応して、指示された位置を検出し、検出した指示位置の座標を供給画像における座標に変換して出力することができる。そして、表示面における供給画像の位置を示す画像位置情報を、補正用の画像を用いて補正できるので、未知の解像度の供給画像を表示する場合や解像度に関する情報を誤判別した場合など、解像度に関する正確な情報を得られない場合であっても、正確に座標を変換して出力できる。これにより、供給される画像の解像度に関わらず、画像が表示された表示面に対する操作によって指示された位置の座標を正確に出力できる。

また、本発明は、上記表示装置において、前記座標変換手段は、前記座標算出手段により算出された前記第１の座標を、前記供給画像の解像度、および、前記画像位置情報に基づいて、前記第２の座標に変換し、前記補正手段は前記画像位置情報を補正することを特徴とする。
本発明によれば、表示面に対する指示位置を検出し、検出した指示位置を供給画像における座標に正確に変換して出力できる。

また、本発明は、上記表示装置において、前記表示手段が表示する前記補正用の画像は、単色の背景と、前記表示可能領域内に表示される可能性が高い所定の位置に配置されたマーカーとを含むことを特徴とする。
本発明によれば、表示可能領域に位置するマーカーを用いて、画像位置情報を正確かつ速やかに補正でき、正確な座標を出力できる。

また、本発明は、上記表示装置において、前記補正手段は、前記表示手段が前記補正用の画像を前記表示面に表示した状態で、前記位置検出手段によって検出された指示位置と、前記補正用の画像における前記マーカーの位置とに基づいて、前記画像位置情報を補正することを特徴とする。
本発明によれば、補正用の画像を表示して、表示面に対する操作により指示された位置とマーカーの位置とに基づいて、画像位置情報を正確に補正でき、正確な座標を出力できる。

また、本発明は、上記表示装置において、前記補正手段は、前記表示手段によって前記表示面に表示された前記補正用の画像におけるマーカーを検出し、実際に検出したマーカーの検出位置に基づいて前記画像位置情報を補正することを特徴とする。
本発明によれば、マーカーを検出することによって、指示操作に依存することなく、画像位置情報を補正でき、正確な座標を出力できる。

また、本発明は、上記表示装置において、前記表示手段は、前記供給画像に基づいて前記表示面に表示する画像を、前記表示可能領域に対応するメモリーに展開する画像展開手段を備え、前記メモリーに展開された画像を前記表示面に表示するよう構成され、前記補正手段は、前記メモリーに展開された画像における前記マーカーの位置を検出し、検出した位置に基づいて前記画像位置情報を補正することを特徴とする。
本発明によれば、メモリーに展開された画像のマーカーを検出することによって、指示操作に依存することなく、画像位置情報を補正でき、正確な座標を出力できる。また、メモリーの画像からマーカーを検出することで、速やかに、かつ正確にマーカーの位置を特定できる。

また、本発明は、上記表示装置において、前記表示手段として、光源が発した光を変調する光変調手段と、前記供給画像に基づいて前記光変調手段に表示画像を形成する画像形成手段と、前記画像形成手段により形成された表示画像を、前記表示面としての投射面に投射する投射手段と、を備えたプロジェクターであることを特徴とする。
本発明によれば、画像を投射するプロジェクターにおいて、投射面に対する指示操作により指示された位置を、供給画像における座標に正確に変換して出力できる。

また、上記課題を解決するため、本発明は、画像ソースにより供給される供給画像を表示面に表示し、前記表示面における指示位置を検出し、前記表示面の表示可能領域における前記指示位置の座標である第１の座標を算出し、算出した前記第１の座標を、前記表示面における前記供給画像の位置を示す画像位置情報に基づいて、前記供給画像における座標である第２の座標に変換し、変換により得られた前記第２の座標を出力し、前記補正用の画像を表示する処理によって前記画像位置情報を補正すること、を特徴とする。
本発明によれば、画像が表示された表示面に対する指示操作に対応して、指示された位置を検出し、検出した指示位置の座標を供給画像における座標に変換して出力することができる。そして、表示面における前記供給画像の位置を示す画像位置情報を、補正用の画像を用いて補正できるので、未知の解像度の供給画像を表示する場合や解像度に関する情報を誤判別した場合など、解像度に関する正確な情報を得られない場合であっても、正確に座標を変換して出力できる。これにより、供給される画像の解像度に関わらず、画像が表示された表示面に対する操作によって指示された位置の座標を正確に出力できる。

また、本発明は、表示面に画像を表示する表示装置を制御するコンピューターが実行可能なプログラムであって、前記コンピューターを、画像ソースにより供給される供給画像を表示面に表示する表示手段と、前記表示面における指示位置を検出する位置検出手段と、前記表示面の表示可能領域における前記指示位置の座標である第１の座標を算出する座標算出手段と、前記座標算出手段により算出された前記第１の座標を、前記表示面における前記供給画像の位置を示す画像位置情報に基づいて、前記供給画像における座標である第２の座標に変換する座標変換手段と、前記座標変換手段により得られた前記第２の座標を出力する出力手段と、補正用の画像を表示する処理によって前記画像位置情報を補正する補正手段と、として機能させるプログラムとして実現できる。
また、上記プログラムを、コンピューターが読み取り可能に記録した記録媒体として実現することも可能である。

本発明によれば、供給される画像を表示する表示装置により、供給される画像の解像度に関わらず、画像が表示された表示面に対する操作によって指示された位置の座標を正確に出力できる。

本発明の実施形態に係る表示システムの構成を示す図である。 プロジェクターの機能的構成を示すブロック図である。 ＰＣの機能的構成を示すブロック図である。 スクリーンに画像を投射した例を示す図であり、（Ａ）は指示位置に従ってポインターを投射した状態を示し、（Ｂ）は指示位置に従って描画を行った例を示す。 座標を検出及び変換する処理の様子を示す説明図である。 プロジェクターの動作を示すフローチャートである。 プロジェクターが対応する解像度を定義した解像度テーブルの構成例を模式的に示す図である。 スクリーンへの投射状態の例を示す図であり、（Ａ）は適切な画面モードで投射された例を示し、（Ｂ）は適切でない画面モードで投射された例を示す。 補正用画像の構成例を示す図であり、（Ａ）はマーカーとして四角形が含まれた例を示し、（Ｂ）はマーカーとしてポインターを用いた例を示す。 補正用画像を用いた補正処理の例を示す図であり、（Ａ）は補正前の状態を示し、（Ｂ）は補正後の状態を示す。 プロジェクターの動作を示すフローチャートである。

以下、図面を参照して本発明を適用した実施形態について説明する。
図１は、実施形態に係るプロジェクター１１を用いた表示システム１０の構成を示す図である。
表示装置としてのプロジェクター１１は、画像供給装置としてのＰＣ（Personal Computer）１３に画像信号ケーブル等により有線接続されている。プロジェクター１１には、例えば、ＶＧＡ端子を介してＰＣ１３からアナログ画像信号（アナログＲＧＢコンポーネント映像信号等）が入力され、プロジェクター１１は入力された画像信号に基づいて、投射面（表示面）としてのスクリーンＳＣに表示画像を投射する。また、プロジェクター１１は通信ケーブル等によりＰＣ１３に接続され、ＰＣ１３との間で制御データ等を送受信する。プロジェクター１１は、ＰＣ１３から入力された画像が静止画像であっても動画像であっても投射できる。スクリーンＳＣは、壁面に固定された平板に限らず、壁面自体をスクリーンＳＣとして使用することも可能である。ここで、プロジェクター１１上で画像が投射される範囲を実投射領域１１Ｂ（表示可能領域）とする。

表示システム１０では、プロジェクター１１による画像の投射中、ユーザーが指示体１２を手に持って、スクリーンＳＣの実投射領域１１Ｂにおける任意の位置を指示する操作（位置指示操作）を実行できる。指示体１２は、ペン型や棒形状の操作デバイスであって、スクリーンＳＣの上の任意の位置を指し示すために用いられる。プロジェクター１１は、後述するように指示体１２の先端位置を検出する機能を有し、検出した指示位置の座標を示す制御データをＰＣ１３に出力する。

図２は、プロジェクター１１の機能的構成を示すブロック図である。
プロジェクター１１は、大別して、ＰＣ１３から入力される画像に基づいて表示用の画像処理を実行する画像処理ユニット１１０と、画像処理ユニット１１０の制御に従ってスクリーンＳＣに画像を投射する投射ユニット３（表示手段）と、スクリーンＳＣ上の指示体１２の指示位置を検出する位置検出ユニット１５０と、位置検出ユニット１５０が検出した指示位置の座標を、画像データにおける座標に変換する座標変換部１６０と、座標変換部１６０が変換した変換後の座標をＰＣ１３に出力する出力部１０１（出力手段）と、これらの各部を制御する制御部１０３と、を備えている。
制御部１０３は、図示しないＣＰＵ、不揮発性メモリー、ＲＡＭ等により構成され、制御部１０３に接続された記憶部１０５に記憶されている制御プログラム１０５Ａを読み出して実行し、プロジェクター１１の各部を制御する。また、記憶部１０５に記憶された制御プログラム１０５Ａを実行することで、制御部１０３はキャリブレーション実行部１０３Ａとして機能する。

キャリブレーション実行部１０３Ａは、後述するキャリブレーションを実行して、撮影画像データにおける座標と、キャリブレーションの対象となるスクリーンＳＣ上の領域（例えば、実投射領域１１Ｂ）における座標との対応関係を表すパラメーター（座標変換パラメーター）を求める。記憶部１０５は、磁気的、光学的記録装置または半導体記憶素子により構成され、制御プログラム１０５Ａを含む各種プログラム、及び、各種設定値等のデータを記憶する。

制御部１０３には操作パネル４１及びリモコン受光部４５が接続されている。
操作パネル４１は、各種スイッチ及びインジケーターランプを備え、プロジェクター１１の外装筐体（図示略）に配置されている。制御部１０３は、プロジェクター１１の動作状態や設定状態に応じて操作パネル４１のインジケーターランプを適宜点灯或いは点滅させる。また、操作パネル４１のスイッチが操作されると、操作されたスイッチに対応する操作信号が制御部１０３に出力される。
また、プロジェクター１１は、プロジェクター１１を操作する操作者としてのユーザーが使用するリモコン（図示略）がボタン操作に対応して送信した赤外線信号を、リモコン受光部４５によって受光する。リモコン受光部４５は、上記リモコンから受光した赤外線信号を受光素子により受光し、この信号に対応する操作信号を制御部１０３に出力する。操作パネル４１やリモコン等は、プロジェクター１１に対する操作をユーザーが入力するための操作部である。なお、プロジェクター１１に対する操作を表す操作信号をＰＣ１３からプロジェクター１１に送信し、この操作信号に基づいてプロジェクター１１を制御することもできる。この場合は、ＰＣ１３も、プロジェクター１１に対する操作をユーザーが入力するための操作部として機能する。
制御部１０３は、操作パネル４１またはリモコン受光部４５から入力される操作信号に基づいて、ユーザーの操作を検出し、この操作に従ってプロジェクター１１を制御する。

プロジェクター１１は、大きく分けて光学的な画像の形成を行う光学系と画像信号を電気的に処理する画像処理系とからなる。光学系は、照明光学系３１、光変調装置３２（光変調手段）、及び投射光学系３３から構成される投射部３０（投射手段）である。照明光学系３１は、キセノンランプ、超高圧水銀ランプ、ＬＥＤ（Light Emitting Diode）、レーザー等からなる光源を備えている。また、照明光学系３１は、光源が発した光を光変調装置３２に導くリフレクター及び補助リフレクターを備えていてもよく、投射光の光学特性を高めるためのレンズ群（図示略）、偏光板、或いは光源が発した光の光量を光変調装置３２に至る経路上で低減させる調光素子等を備えたものであってもよい。
光変調装置３２は、入射する光を変調する変調領域を備えており、後述する画像処理系からの信号を受けて、照明光学系３１からの光を変調する。本実施形態では、透過型液晶パネルを用いて光変調装置３２を構成した場合を例に挙げて説明する。この構成では、光変調装置３２は、カラーの投影を行うため、ＲＧＢの三原色に対応した３枚の液晶パネルからなる。照明光学系３１からの光はＲＧＢの３色の色光に分離され、各色光は対応する各液晶パネルに入射する。各液晶パネルを通過して変調された色光はクロスダイクロイックプリズム等の合成光学系によって合成され、投射光学系３３に射出される。

投射光学系３３は、投射する画像の拡大・縮小および焦点の調整を行うズームレンズ、ズームの度合いを調整するズーム調整用モーター、フォーカスの調整を行うフォーカス調整用モーター等を備えている。
投射ユニット３は、投射部３０とともに、表示制御部１０７の制御に従って投射光学系３３が備える各モーターを駆動する投射光学系駆動部１２１、表示制御部１０７から出力される画像信号に基づいて入射する光を変調するように光変調装置３２を駆動する光変調装置駆動部１１９、及び、制御部１０３の制御に従って照明光学系３１が備える光源を駆動する光源駆動部１１７を備えている。

一方、画像処理系は、プロジェクター１１全体を統合的に制御する制御部１０３の制御に従って画像データを処理する画像処理ユニット１１０により構成される。画像処理ユニット１１０は、ＰＣ１３に接続される画像入力部１０４を備えている。画像入力部１０４は、画像データが入力されるインターフェイスであり、例えば、デジタル映像信号が入力されるＤＶＩ（Digital Visual Interface）インターフェイス、ＵＳＢインターフェイス及びＬＡＮインターフェイスや、ＮＴＳＣ、ＰＡＬ及びＳＥＣＡＭ等のコンポジット映像信号が入力されるＳ映像端子、コンポジット映像信号が入力されるＲＣＡ端子、コンポーネント映像信号が入力されるＤ端子やＶＧＡ端子、ＨＤＭＩ（登録商標）規格に準拠したＨＤＭＩコネクター等の汎用インターフェイスを用いることができる。なお、画像入力部１０４は有線通信によって画像信号の送受信を行っても良く、無線通信によって画像信号の送受信を行っても良い。また、画像入力部１０４に、ＶＥＳＡ（Video Electronics Standards Association）が策定したDisplayPortを備えた構成としてもよく、具体的にはDisplayPortコネクター或いはMini Displayportコネクターと、Displayport規格に準拠したインターフェイス回路とを備えた構成としてもよい。この場合、プロジェクター１１は、ＰＣ１３や、ＰＣ１３と同等の機能を有する携帯型デバイスが備えるDisplayPortに接続することができる。

本実施形態では、画像入力部１０４が有するＶＧＡ端子にＰＣ１３からアナログ画像信号が入力される構成について説明する。画像入力部１０４は、ＰＣ１３から入力されたアナログ画像信号をデジタル画像データに変換するＡ／Ｄ変換回路を有し、変換後のデジタル画像データを表示制御部１０７に出力する。
画像処理ユニット１１０は、画像入力部１０４に入力された画像を処理する表示制御部１０７、表示制御部１０７の制御に従って画像をフレームメモリー１１５に展開し、投射部３０が投射する画像を生成する画像処理部１１３を備えている。

表示制御部１０７は、ＰＣ１３から画像入力部１０４に入力されるアナログ画像信号のリフレッシュレート、水平解像度及び垂直解像度を判別して、この入力信号に対応する画面モードを、プロジェクター１１が表示可能な画面モードとして予め設定された複数の画面モードのいずれかに決定する。表示制御部１０７は、画像入力部１０４が決定した画面モードに合わせて、表示するために必要な処理を決定し、画像処理部１１３を制御して当該処理を実行する。画像処理部１１３は、表示制御部１０７の制御に従って、画像入力部１０４に入力された画像データをフレームメモリー１１５に展開し、インターレース／プログレッシブ変換、解像度変換等の各種変換処理を適宜実行し、フレームメモリー１１５に描画した表示画像を表示するための所定フォーマットの画像信号を生成して、表示制御部１０７に出力する。なお、プロジェクター１は、入力された画像データの解像度やアスペクト比を変更して表示することもでき、入力された画像データの解像度やアスペクト比を維持したままドットバイドットで表示することも可能である。また、画像処理部１１３は、表示制御部１０７の制御に従って、キーストーン補正、カラーモードに対応した色調補正、画像の拡大／縮小処理等の各種の画像処理を実行可能である。表示制御部１０７は、画像処理部１１３により処理された画像信号を光変調装置駆動部１１９に出力し、光変調装置３２に表示させる。また、画像処理部１１３は、表示中の画像データの解像度、アスペクト比、光変調装置３２の液晶表示パネルにおける表示サイズ等の情報から、画像位置情報（画像位置データ）を導出し、求めた画像位置情報を座標変換部１６０に出力する。画像位置情報は、実投射領域１１Ｂ内のどの位置に表示画像が投射される（表示される）のかを示す情報である。換言すれば、画像位置情報は、実投射領域１１Ｂにおける表示画像の配置に関する情報であって、実投射領域１１Ｂにおける表示画像の位置（配置）を示している。この画像位置情報は、ＰＣ１３の表示解像度が変化することによってＰＣ１３がプロジェクター１１に出力する画像データの解像度が変化した場合（例えば、ＰＣ１３において解像度に関する設定が変更された場合）等に変化する。なお画像位置情報は、光変調装置３２の変調領域における画像の配置に関する情報であると考えることもできる。

制御部１０３は、制御プログラム１０５Ａを実行して表示制御部１０７を制御し、スクリーンＳＣ上に結像した表示画像のキーストーン補正を実行させる。また、制御部１０３は、操作パネル４１またはリモコン受光部４５から入力された操作信号に基づいて、表示制御部１０７を制御して表示画像の拡大／縮小処理を実行させる。

プロジェクター１１は、スクリーンＳＣ上で指示体１２により指示された指示位置の座標を検出する位置検出ユニット１５０（位置検出手段）を有する。位置検出ユニット１５０は、スクリーンＳＣを撮影する撮像部１５３、撮像部１５３を制御する撮影制御部１５５、及び、撮像部１５３の撮影画像に基づいて指示体１２の指示位置を検出する位置検出処理部１５７を有する位置検出部１５１と、この位置検出部１５１が検出した指示位置の座標を算出する座標算出部１５９（座標算出手段）とを備えている。

撮像部１５３は、スクリーンＳＣ上で投射部３０が画像を投射可能な最大範囲（後述する最大投射領域１１Ａに相当）を含む画角を撮影するデジタルカメラであり、撮影制御部１５５の制御に従って撮影を実行し、撮影画像データを出力する。換言すれば、撮像部１５３は最大投射領域１１Ａ全体を含む範囲を撮影可能に設定されている。撮影制御部１５５は、制御部１０３の制御にしたがって、撮像部１５３を制御して撮影を実行させる。撮像部１５３が撮影時のズーム倍率、フォーカス、絞りの調整を行う機構を有する場合、撮影制御部１５５は、これらの機構を制御して予め設定された条件で撮影を実行させる。撮影後、撮影制御部１５５は撮像部１５３が出力する撮影画像データを取得して、位置検出処理部１５７に出力する。撮像部１５３から出力される撮影画像データは、ＲＧＢやＹＵＶ等の形式で表されるものであっても良く、輝度成分のみを表すものであっても良い。また撮影制御部１５５は、撮像部１５３から出力される撮影画像データをそのまま位置検出処理部１５７へ出力してもよく、解像度の調整や所定のファイルフォーマット（ＪＰＥＧ、ＢＭＰなど）への変換等を行った上で位置検出処理部１５７へ出力しても良い。
なお、撮像部１５３は、可視光を撮像可能な構成であっても良く、非可視光（赤外光など）を撮像可能な構成であっても良い。撮像部１５３が非可視光を撮像可能な場合には、指示体１２が非可視光を射出して、撮像部１５３が指示体１２から射出された非可視光を撮像する構成や、指示体１２が非可視光を反射可能な反射部を備えており、制御部１０３の制御によってプロジェクター１１からスクリーンＳＣに対して非可視光を投射し、指示体１２の反射部によって反射された非可視光を撮像部１５３によって撮像する構成等を採用することができる。

位置検出処理部１５７は、撮影制御部１５５から入力される撮影画像データを解析して、この撮影画像データから、実投射領域１１Ｂの外部と実投射領域１１Ｂとの境界、及び、指示体１２の画像を抽出し、指示体１２による指示位置を特定する。指示体１２の指示位置は、例えば、棒状あるいはペン型の指示体１２の先端の位置である。

座標算出部１５９は、位置検出処理部１５７によって検出された指示体１２の指示位置、及びキャリブレーション実行部１０３Ａによって求められた座標変換パラメーターに基づいて座標の算出を行う。具体的に、座標算出部１５９は、位置検出処理部１５７が検出した指示位置の、実投射領域１１Ｂにおける座標を求め、算出した座標を表す座標データ（座標情報）を座標変換部１６０に出力する。以下の説明では、座標算出部１５９が算出し、位置検出ユニット１５０から出力される座標データを「第１の座標データ」とも称する。また以下の説明では、座標データを単に「座標」と称する場合もある。本実施形態では、第１の座標データは、スクリーンＳＣ上でキャリブレーションの対象となった領域内で正規化された座標を表す。例えば、実投射領域１１Ｂ全体がキャリブレーションの対象であれば、実投射領域１１Ｂの左上の頂点を原点（０，０）として、実投射領域１１Ｂの右上の頂点、左下の頂点、及び右下の頂点の座標を、それぞれ（１，０）、（０，１）、（１，１）と表すことができる。この場合、実投射領域１１Ｂの中心の座標は（０．５、０．５）と表される。

座標変換部１６０は、位置検出ユニット１５０が出力した第１の座標データ（第１の座標情報）を、ＰＣ１３がプロジェクター１１へ入力する画像データにおける座標を表す第２の座標データ（第２の座標情報）に変換する。具体的に、座標変換部１６０は、画像処理部１１３が出力した画像位置情報に基づいて、スクリーンＳＣ上の座標を表す第１の座標データを、入力画像データにおける座標を表す第２の座標データに変換する。第２の座標データは、画像データにおいて正規化された座標を表している。例えば、画像データの左上の頂点を原点（０，０）として、画像データの右上の頂点、左下の頂点、及び右下の頂点の座標を、それぞれ（１，０）、（０，１）、（１，１）と表すことができる。この場合、画像データの中心の座標は（０．５、０．５）と表される。

位置検出ユニット１５０が出力する第１の座標データは、撮像部１５３の撮影画像データに基づいて検出された座標を表しており、この座標はスクリーンＳＣ上に仮想的に設けられた座標軸における座標で表すことができる。しかし、スクリーンＳＣ上の座標と撮影画像データ上の座標との対応関係は、プロジェクター１１とスクリーンＳＣとの距離、投射光学系３３におけるズーム率、プロジェクター１１の設置角度、撮像装置５とスクリーンＳＣとの距離等の様々な要素の影響を受ける。従って、スクリーンＳＣ上のある位置に対応する撮影画像データ上の座標は、これらの要素に応じて変化する。そこで、本発明に係るプロジェクター１１においては、最初にキャリブレーション実行部１０３Ａがキャリブレーションを実行して、撮影画像データにおける座標と、キャリブレーションの対象となるスクリーンＳＣ上の領域における座標との対応関係を表す座標変換パラメーターを求める。キャリブレーション実行部１０３Ａによって座標変換パラメーターが求められると、この座標変換パラメーターに基づいて、座標算出部１５９が座標の変換を行い、第１の座標データを求める。さらに、座標変換部１６０は、座標算出部１５９から出力された第１の座標データを画像位置情報に基づいて変換し、変換後の座標データ（第２の座標データ）を出力部１０１に出力する。

出力部１０１は、ＰＣ１３に接続され、座標変換部１６０の変換処理後の座標データをＰＣ１３に出力するインターフェイスであり、例えば、ＵＳＢインターフェイス、有線ＬＡＮインターフェイス、無線ＬＡＮインターフェイス、ＩＥＥＥ１３９４等の汎用インターフェイスで構成することができる。ここで、画像入力部１０４と出力部１０１とは別の機能ブロックとして説明するが、物理的に一つのインターフェイスに統合することも勿論可能である。例えば一つのＵＳＢインターフェイスで出力部１０１と画像入力部１０４との両方の機能を実現してもよい。また、出力部１０１は、画像処理ユニット１１０が備える画像処理部１１３に接続され、座標変換部１６０の変換処理後の座標を画像処理ユニット１１０に出力することも可能である。出力部１０１の主力先は、制御部１０３により制御される。この出力部１０１が出力する座標データは、マウス、トラックボール、デジタイザー、或いはペンタブレット等のポインティングデバイスが出力する座標データと同様のデータとして、ＰＣ１３に出力される。

また、ＰＣ１３において、出力部１０１から出力される座標データを、汎用的なポインティングデバイスが出力する座標データと同等に扱う場合は、これらの汎用的なポインティングデバイスに対応した、汎用のデバイスドライバープログラムを利用することができる。一般的に、これらの汎用のデバイスドライバープログラムは、ＰＣ１３のＯＳ（オペレーティングシステム）の一部として予めインストールされているため、汎用のデバイスドライバープログラムを利用する場合はデバイスドライバープログラムのインストールを行う必要がない。また、汎用のデバイスドライバープログラムを利用することから、専用のデバイスドライバープログラムを用意する必要がない一方で、プロジェクター１１とＰＣ１３との間でやり取りできる情報は、汎用のデバイスドライバープログラムの仕様によって定められた範囲に限定される。
また、プロジェクター１１に対応した専用のデバイスドライバープログラムを用意して、このデバイスドライバープログラムをＰＣ１３にインストールして使用しても良い。この場合は専用のデバイスドライバープログラムが必要になる一方で、プロジェクター１１とＰＣとの間でやり取りできる情報は、専用のデバイスドライバープログラムの仕様に応じて任意に設定することができる。

図３は、ＰＣ１３の機能的構成を示すブロック図である。
この図３に示すように、ＰＣ１３は、制御プログラムを実行してＰＣ１３の各部を中枢的に制御するＣＰＵ１３１、ＣＰＵ１３１により実行される基本制御プログラムや当該プログラムに係るデータを記憶したＲＯＭ１３２、ＣＰＵ１３１が実行するプログラムやデータを一時的に記憶するＲＡＭ１３３、プログラムやデータを不揮発的に記憶する記憶部１３４、入力操作を検出して入力内容を示すデータや操作信号をＣＰＵ１３１に出力する入力部１３５、ＣＰＵ１３１による処理結果等を表示するための表示データを出力する表示部１３６、及び、外部の装置との間でデータ等を送受信する外部Ｉ／Ｆ１３７を備えており、これらの各部はバスにより相互に接続されている。

入力部１３５は、コネクターや電源供給回路を有する入力Ｉ／Ｆ１４１を有し、この入力Ｉ／Ｆ１４１に入力デバイス１４２が接続される。入力Ｉ／Ｆ１４１は、例えばＵＳＢインターフェイス等の入力デバイス用の汎用インターフェイスで構成され、入力デバイス１４２は、例えば、キーボード、或いは、マウスやデジタイザー等のポインティングデバイスである。
入力Ｉ／Ｆ１４１には、プロジェクター１１に繋がる通信ケーブルが接続され、プロジェクター１１から、指示体１２による指示位置の座標が入力される。ここで、入力Ｉ／Ｆ１４１には、プロジェクター１１の出力部１０１が出力する座標データが、マウス、トラックボール、デジタイザー、或いはペンタブレット等のポインティングデバイスが出力する座標データと同様のデータとして入力される。従って、ＰＣ１３は、プロジェクター１１から入力される座標データを入力デバイスからの入力信号として処理することができ、例えば、この座標データに基づいてマウスカーソルやポインターの移動を行う等の動作を行える。

表示部１３６は、画像信号出力用のコネクター等を備えた画像出力Ｉ／Ｆ１４３を有し、画像出力Ｉ／Ｆ１４３には、モニター１４４、及び、プロジェクター１１に繋がる画像信号ケーブル（図示略）が接続される。画像出力Ｉ／Ｆ１４３は、例えば、アナログ映像信号を出力するＶＧＡ端子、デジタル映像信号を出力するＤＶＩインターフェイス、ＵＳＢインターフェイス、ＬＡＮインターフェイス、ＮＴＳＣ、ＰＡＬ及び、ＳＥＣＡＭ等のコンポジット映像信号を出力するＳ映像端子、コンポジット映像信号を出力するＲＣＡ端子、コンポーネント映像信号を出力するＤ端子、ＨＤＭＩ（登録商標）規格に準拠したＨＤＭＩコネクター等を複数備え、これら複数のコネクターにモニター１４４及びプロジェクター１１がそれぞれ接続される。また、画像出力Ｉ／Ｆ１４３は、ＶＥＳＡが策定したDisplayPortを備えた構成としてもよく、具体的にはDisplayPortコネクター或いはMini Displayportコネクターと、Displayport規格に準拠したインターフェイス回路とを備えた構成としてもよい。この場合、ＰＣ１３は、プロジェクター１１やモニター１４４或いは他の機器に対し、Displayportを介してデジタル映像信号を出力できる。なお、画像出力Ｉ／Ｆ１４３は有線通信によって画像信号の送受信を行っても良く、無線通信によって画像信号の送受信を行っても良い。
本実施形態では、画像出力Ｉ／Ｆ１４３が備えるＶＧＡ端子を介して、表示部１３６がプロジェクター１１にアナログ画像信号を出力する場合について説明する。

記憶部１３４は、ＣＰＵ１３１により実行される表示制御プログラム１３Ａ、及び、表示制御プログラム１３Ａの実行時に出力される画像データ１３Ｂを記憶している。ＣＰＵ１３１は、表示制御プログラム１３Ａを実行すると、プロジェクター１１に対して画像データ１３Ｂを送信する処理を実行する。この処理において、ＣＰＵ１３１は画像データ１３Ｂを再生するとともに、表示部１３６によって所定の解像度及びリフレッシュレートのアナログ画像信号を生成させ、画像出力Ｉ／Ｆ１４３から出力させる。また、記憶部１３４は、後述する補正処理においてプロジェクター１１に出力される補正用画像データ１３Ｃを記憶している。

また、ＣＰＵ１３１は、表示制御プログラム１３Ａの実行中、入力部１３５から、ポインティングデバイスの操作に対応する座標が入力された場合に、この座標に対応する位置に、ポインター１２Ａ（図１）を表示するための画像を生成する。そして、ＣＰＵ１３１は、再生中の画像データ１３Ｂにポインター１２Ａを重ねた画像データを生成し、この画像データを画像出力Ｉ／Ｆ１４３からプロジェクター１１に出力する。

このように、表示システム１０においては、ＰＣ１３がプロジェクター１１に出力する画像データにポインター１２Ａを重畳して描画する機能を、ＰＣ１３が実行する。

図４は、プロジェクター１１によりスクリーンＳＣに画像を投射した例を示す図であり、（Ａ）は指示体１２の指示位置に従ってポインター１２Ａを投射した状態を示し、（Ｂ）は指示位置に従って描画図形１２Ｃを描画した状態を示す。
光変調装置３２の変調領域全体を使用して表示画像を投射した場合には、図４（Ａ）に２点鎖線で示す最大投射領域１１Ａに画像が結像する。プロジェクター１１がスクリーンＳＣの真正面に位置している場合を除き、最大投射領域１１Ａには図４（Ａ）に示すように台形歪みが発生するので、プロジェクター１１は、表示制御部１０７の機能によりキーストーン補正を行う。キーストーン補正の実行後には、最大投射領域１１Ａの一部である実投射領域１１Ｂに表示画像が投射される。実投射領域１１Ｂは、通常、スクリーンＳＣ上で長方形となり、かつ最大投射領域１１Ａ内で最大のサイズとなるよう設定される。具体的には、光変調装置３２の変調領域の解像度（液晶表示パネルの解像度）と台形歪みの程度により決定されるが、最大サイズでなくてもよい。なお、プロジェクター１１から投射した画像に台形歪みが発生していなければ、このキーストーン補正は実行しなくても良い。この場合は、実投射領域１１Ｂは最大投射領域１１Ａと一致する。

プロジェクター１１のキャリブレーション実行部１０３Ａは、キーストーン補正後の実投射領域１１Ｂにおいてキャリブレーションを実行する。このキャリブレーションでは、キャリブレーション実行部１０３Ａが画像処理部１１３を制御して所定のキャリブレーション用の画像を描画させる。このキャリブレーション用の画像がスクリーンＳＣに投射された状態で、キャリブレーション実行部１０３Ａの制御により位置検出ユニット１５０がスクリーンＳＣを撮影する。図４（Ａ）及び図４（Ｂ）に、撮像部１５３の撮影範囲（画角）１５Ａを破線で示す。撮影範囲１５Ａは、実投射領域１１Ｂよりも大きいことが好ましく、最大投射領域１１Ａよりも大きいと、さらに好ましい。キャリブレーション用の画像は、例えば白色の背景にドットが配置された画像であり、予め記憶部１０５等に記憶されている。なお、キャリブレーション用の画像は必ずしも記憶部１０５等に記憶されている必要はなく、キャリブレーションの実行が必要になり、キャリブレーションを実行する毎に、キャリブレーション実行部１０３Ａがキャリブレーション用の画像をその都度生成する構成であっても良い。

キャリブレーションの対象となるスクリーンＳＣの領域は、実投射領域１１Ｂ全体であっても良く、実投射領域１１Ｂの一部であっても良い。実投射領域１１Ｂの一部をキャリブレーションの対象とする場合としては、プロジェクター１１の表示画像のアスペクト比とスクリーンＳＣのアスペクト比が異なる場合（例えば、プロジェクター１１の表示解像度がＷＸＧＡで、スクリーンＳＣのアスペクト比が４：３である場合）に、プロジェクター１１の表示画像の垂直方向の幅が、スクリーンＳＣの垂直方向の幅と一致するように表示する場合が考えられる。この場合は、プロジェクター１１の実投射領域１１Ｂのうち、スクリーンＳＣに含まれる領域をキャリブレーションの対象とし、それ以外の領域をキャリブレーションの対象外とすることが考えられる。

キャリブレーション実行部１０３Ａは、撮影画像データ中の表示画像の輪郭、すなわち実投射領域１１Ｂの外部と実投射領域１１Ｂとの境界と、撮影画像データ中のドットを検出し、撮影範囲１５Ａにおける位置、すなわち撮影画像データにおける位置と、実投射領域１１Ｂ上の位置との対応関係を特定する。キャリブレーション実行部１０３Ａは、キャリブレーションにより特定された撮影画像上の位置と実投射領域１１Ｂ上の位置との対応関係に基づいて、座標算出部１５９が用いる座標変換パラメーターを求める。座標変換パラメーターには、キャリブレーションの対象となるスクリーンＳＣ上の領域（実投射領域１１Ｂ）における座標と、撮影画像データ上で求められた座標とを対応づけるデータ等が含まれる。座標算出部１５９は、この座標変換パラメーターに基づいて、撮影画像データ上で求められた座標を、実投射領域１１Ｂにおける座標に変換することができる。この座標変換パラメーターに基づいて座標算出処理が行われる。
このキャリブレーションは、制御部１０３が記憶部１０５に記憶されたキャリブレーション用プログラム（図示略）を実行することで行われるので、ＰＣ１３においてキャリブレーション用のプログラムをインストールして実行する必要がない。またキャリブレーションは、撮影画像データに基づいてキャリブレーション実行部１０３Ａが自動で行う処理であっても良く、キャリブレーション用の画像に対するユーザーの操作が必要な処理であっても良い。さらに、プロジェクター１１がこれらの処理を併用しても良い。キャリブレーション用の画像に対するユーザーの操作としては、キャリブレーション用の画像に含まれるドットをユーザーが指示体１２で指示する操作等が考えられる。

位置検出ユニット１５０は、実投射領域１１Ｂに画像が投射された状態で撮影を実行し、図中に破線の矢印で示すように、実投射領域１１Ｂの隅（左上の頂点）を原点とする直交座標を仮想的に設定して、この座標系における指示体１２の先端位置（指示位置）の座標を求める。この直交座標は、上記のキャリブレーションにより得られた座標変換パラメーターに基づいて設定される。その後、座標変換部１６０により、実投射領域１１Ｂに表示された画像データにおける指示体１２の先端の座標が求められると、この座標に従って、例えば図４（Ａ）に示すポインター１２Ａや、メニューバー１２Ｂが表示される。ポインター１２Ａは指示体１２の先端位置を示す記号として描画される。また、メニューバー１２Ｂは、指示体１２により操作可能なＧＵＩであり、メニューバー１２Ｂに配置されたボタンを指示体１２により指示することで、線等の図形の描画、描画した図形のデータの保存、消去、コピー、描画した手書き画像の移動、直前の操作を取り消す操作（アンドゥ）、アンドゥによって取り消した操作を再び実行する操作（リドゥ）等を行うことができる。具体的な例としては、指示体１２を図４（Ａ）に示す位置から図４（Ｂ）の位置まで移動させることで、指示体１２の先端の軌跡に沿って描画図形１２Ｃが描画される。この描画図形１２Ｃは、例えば、ポインター１２Ａやメニューバー１２Ｂと同様に、指示体１２の指示位置を示す座標データに従ってＰＣ１３が描画する。

図５（Ａ）、（Ｂ）は、プロジェクター１１が指示位置の座標を検出し、画像データにおける座標に変換する処理の様子を示す説明図であり、図５（Ａ）は一連の動作の初期状態を示し、図５（Ｂ）は、図５（Ａ）の状態から表示画像の解像度を変更した状態を示す。なお、以下の説明では、プロジェクター１１が投射した画像に台形歪みが発生しておらず、かつ光変調装置３２の変調領域全体に表示された画像が実投射領域１１Ｂに表示される場合について説明する。このとき、実投射領域１１Ｂは最大投射領域１１Ａと一致しており、実投射領域１１Ｂに表示される画像の解像度は、光変調装置３２の液晶表示パネルの解像度と等しい。

図５（Ａ）に示す例は、光変調装置３２の液晶表示パネルの解像度、及び実投射領域１１Ｂに表示された画像の解像度がいずれも1280×800ドットに設定され、ＰＣ１３から入力される画像信号が解像度1280×800ドットのディスプレイモード（ＷＸＧＡ）で投射された例であり、実投射領域１１Ｂには1280×800ドットの表示画像２０１が表示されている。位置検出ユニット１５０は、実投射領域１１Ｂの左上隅を原点とし、右方向をＸ軸方向、下方向をＹ軸方向とするＸ−Ｙ直交座標系を設定し、実投射領域１１Ｂにおける指示体１２の指示位置の座標を（X1n，Y1n）とする。座標算出部１５９が出力する第１の座標データは、指示位置の座標（X1n，Y1n）を表している。

指示位置の座標（X1n，Y1n）は、実投射領域１１Ｂ内で正規化された座標（正規化座標）である。具体的に、指示位置のＸ軸方向の座標Ｘ１ｎは、実投射領域１１Ｂの横幅Ｗ１に対する、投射可能領域１１Ｂの左辺から指示位置までの長さＷＰ１の比率を表している。また、指示位置のＹ軸方向の座標Ｙ１ｎは、実投射領域１１Ｂの縦幅Ｈ１に対する、投射可能領域１１Ｂの上辺から指示位置までの長さＨＰ１の比率を表している。なおここでは、Ｗ１，ＷＰ１，Ｈ１，及びＨＰ１を画素数で表すものとする。
この場合、座標（X1n，Y1n）は、下記式（１）、（２）により算出される。
X1n＝WP1÷W1 …（１）
Y1n＝HP1÷H1 …（２）
例えば図５（Ａ）に示す例で、ＷＰ１＝400，ＨＰ１＝300と仮定する。表示画像２０１の解像度は1280×800ドットなので、Ｗ１＝1280、Ｈ１＝800である。従って、Ｘ１ｎ＝400÷1280≒0.313、Ｙ１ｎ＝300÷800＝0.375と表すことができる。またこのとき、実投射領域１１Ｂの左上の頂点、実投射領域１１Ｂの右上の頂点、左下の頂点、及び右下の頂点の座標は、それぞれ（０，０）、（１，０）、（０，１）、（１，１）と表される。なお図５（Ａ）の状態では実投射領域１１Ｂと、表示画像２０１が表示された領域とは一致しているので、座標（X1n，Y1n）は表示画像２０１内で正規化された座標と考えることもできる。

ここで、ディスプレイモードがＸＧＡ（解像度1024×768ドット）に変更されると、プロジェクター１１は、画像データの縦方向の解像度（768ドット）が、液晶表示パネルの縦方向の解像度（800ドット）まで拡大されるように、画像データをスケーリングする。このスケーリングは縦方向及び横方向のいずれについても同様に行われるので、画像データの横方向の解像度（1024ドット）は、1024×（800÷768）≒1066ドットにスケーリングされる。この結果、スクリーンＳＣには図５（Ｂ）に示すように1066×800ドットの表示画像２０２が投射される。この表示画像２０２のアスペクト比及び解像度は表示画像２０１のアスペクト比及び解像度とは異なっている（表示画像２０２が表示画像２０１より低解像度である）ため、表示画像２０２が投射される領域は実投射領域１１Ｂとは一致しない。図５（Ｂ）に示す例では、実投射領域１１Ｂにおいて表示画像２０２が投射される領域は表示画像２０１よりも小さくなっている。また、プロジェクター１１はスケーリング後の画像ができるだけ中央に表示されるようにその位置を変更している。そのため、実投射領域１１Ｂにおいて、表示画像２０１の左上の頂点の位置と、表示画像２０２の左上の頂点の位置は一致していない。

ディスプレイモードの変更により解像度が変化すると、図５（Ａ）及び（Ｂ）に示すように、スクリーンＳＣ上の指示体１２が動かず、指示位置そのものが動いていなくても、指示位置と表示されている画像との相対位置は変化する。そのため、表示画像２０１の左上の頂点を原点として正規化された指示位置の座標（X1n，Y1n）と、表示画像２０２の左上の頂点を原点として正規化された指示位置の座標（X2n，Y2n）は異なる。例えば、図５（Ｂ）に示す表示画像２０２の左上隅を原点とする座標系では指示体１２の指示位置の座標は（X2n，Y2n）であり、（X1n，Y1n）とは異なる。この場合、位置検出ユニット１５０が撮像部１５３の撮影画像データに基づいて算出した実投射領域１１Ｂにおける指示位置の座標（X1n，Y1n）に合わせてポインター１２Ａを表示すると、ポインター１２Ａが実際の指示位置からずれてしまう。

例えば図５（Ｂ）の例では、表示画像２０２の左上の頂点が、表示画像２０１の左上の頂点よりも１０７画素だけ右側にある（107＝（1280−1066）÷2）。従って、表示画像２０２の左辺から指示位置までの長さをＷＰ２、表示画像２０２の上辺から指示位置までの長さをＨＰ２とすると、ＷＰ２＝ＷＰ１−107＝400−107＝293、ＨＰ２＝ＨＰ１＝300である。また、表示画像２０２の解像度は1066×800ドットなので、表示画像２０２の横幅Ｗ２及び縦幅Ｈ２は、Ｗ２＝1066、Ｈ２＝800である。従って、表示画像２０２の左上の頂点を原点として正規化された指示位置の座標（Ｘ２ｎ，Ｙ２ｎ）は、Ｘ２ｎ＝（400−107）÷1066≒0.275、Ｙ２ｎ＝300÷800=0.375と表される。このようにＸ１ｎ≠Ｘ２ｎとなり、表示画像の解像度が変化すると、指示位置の正規化座標も変化する。

そのため、変更後の表示画像２０２の左上隅を原点とする座標系において座標（X1n，Y1n）＝（0.313，0.375）にポインターを表示すると、指示体１２の先端から離れた位置にポインター１２Ａ´が表示されてしまう。これは、ＰＣ１３がポインター１２Ａを描画する際に、位置検出ユニット１５０から出力された正規化座標に基づいて、画像の左上を原点として描画を行うためである。このように、実投射領域１１Ｂを基準として求めた座標に合わせて、ＰＣ１３がポインター１２Ａを表示することはできない。そこで、プロジェクター１１は、表示画像の解像度が変わった場合にも対応できるように、位置検出ユニット１５０の座標算出部１５９が算出した指示位置の座標（X1n，Y1n）を、座標変換部１６０によって、表示中の表示画像における指示位置の座標（X2n，Y2n）、すなわち表示中の画像上の原点を基準とした座標に変換する。

座標変換部１６０は、画像処理部１１３から入力された画像位置情報に基づいて、座標（X1n，Y1n）を座標（X2n，Y2n）に変換する。この画像位置情報は、光変調装置３２の変調領域における画像の配置に関する情報である。また本実施形態では、光変調装置３２の変調領域は、スクリーンＳＣ上の実投射領域１１Ｂと対応している。従って画像位置情報は、実投射領域１１Ｂに対する表示画像の位置（配置）を示している。本実施形態では、画像位置情報は、実投射領域１１Ｂに対する表示画像の位置（配置）及びサイズを示している。この画像位置情報に基づいて、座標変換部１６０は、表示画像における指示位置の座標を得る。例えば図５に示した例では、Ｗ１、Ｈ１、Ｗ２及びＨ２は画像位置情報に相当する。また、表示画像２０１の左上端の座標（ＸＯ１，ＹＯ１）＝（0、0）、及び表示画像２０２の左上端の座標（ＸＯ２，ＹＯ２）＝（107，0）も画像位置情報に相当する。なお、ＸＯ１，ＹＯ１，ＸＯ２，及びＹＯ２は正規化された座標ではなく、実投射領域１１Ｂ（又は、光変調装置３２の変調領域）において、実投射領域１１Ｂの左上の頂点（又は、光変調装置３２の変調領域の左上の頂点）を原点として、表示画像の左上の頂点の位置を画素数で表したものである。図５に示す例では、表示画像２０１の画像位置情報（ＸＯ１，ＹＯ１，Ｗ１，Ｈ１）＝（0，0，1280，800）であり、表示画像２０２の画像位置情報（ＸＯ２，ＹＯ２，Ｗ２，Ｈ２）＝（107，0，1166，800）である。

座標変換部１６０が算出した座標（X2n，Y2n）は、ＰＣ１３が、処理対象の画像データにおいてポインター１２Ａ、メニューバー１２Ｂ或いは描画図形１２Ｃを描画する場合に、画像データ中の位置を特定する情報として利用できる。このため、表示画像の解像度やズーム率等に影響されることなく、ポインター１２Ａ、メニューバー１２Ｂ及び描画図形１２Ｃを、正確に、指示体１２による指示位置に合わせて描画できる。

上記のように、実投射領域１１Ｂに表示される表示画像の位置及びサイズは、表示しようとする画像の解像度の影響を受ける。例えば、ＰＣ１３から入力されるアナログ画像信号に基づいて画像を投射している間に、ＰＣ１３から入力される画像信号の解像度が変わると、画像位置情報が変化する。ここで、画像位置情報とは、実投射領域１１Ｂに対する画像配置領域（表示画像２０１、２０２が投射（表示）される領域）の配置に関する情報である。換言すれば、画像位置情報は、実投射領域１１Ｂ（表示可能領域）に対する表示画像の位置（配置）及び表示画像の解像度を示す情報である。画像位置情報は、投射状態が変化するような処理を実行した場合に変化するので、プロジェクター１１が、実投射領域１１Ｂのサイズ（解像度）やアスペクト比を変更した場合、ズーム倍率を変更した場合、画像の表示位置を変更（移動）した場合、多画面表示処理を行った場合等にも変化する。

座標変換部１６０は、投射部３０による表示画像の投射状態（表示状態）が変化する毎に、画像処理部１１３から情報を取得して画像位置情報を更新し、更新後の画像位置情報に基づいて座標を変換する。
画像位置情報は、例えば、次に挙げるタイミングで更新される。
・制御部１０３がＰＣ１３からの画像信号の入力を検出したとき。
・制御部１０３が、ＰＣ１３から入力される画像信号に関する情報（画像の解像度など）の変化を検出したとき。
・プロジェクター１において投射画像の解像度を変更したとき。
・プロジェクター１１において、投射画像のアスペクト比を変更したとき。
・光変調装置３２により描画する画像を、投射する画像データの画像処理によって拡大／縮小するデジタルズーム機能を実行または解除したとき。
・実投射領域１１Ｂに対する表示画像の表示位置を変更したとき。
・上記のデジタルズーム機能により画像を拡大し、さらに画像処理によって画像の表示位置を変更する機能を実行または解除したとき。
・光変調装置３２により描画する画像と背景を含む全体すなわち実投射領域１１Ｂ全体の投射サイズを、画像データの画像処理を行うことにより拡大／縮小するテレワイド機能を実行または解除したとき。
・上記のデジタルズーム機能により画像を縮小し、さらに画像処理によって画像の表示位置を変更するピクチャーシフト機能を実行または解除したとき。
・複数の画像の同時表示を実行または解除したとき。
・座標変換部１６０から座標を出力する出力先が、画像処理ユニット１１０からＰＣ１３（出力部１０１）へ、或いはその逆へ変更されたとき。
解像度の変更、アスペクト比の変更、各種機能の実行および解除は、いずれも制御部１０３の制御により、画像処理ユニット１１０によって実行される。なお、上記に列挙したタイミングはあくまで一例であり、その他のタイミングで画像位置情報を更新することも勿論可能である。

図６は、プロジェクター１１の動作を示すフローチャートであり、特に、指示体１２による指示位置を検出して指示位置の座標を出力する動作を示す。
この図６に示す動作は、プロジェクター１１の起動後、或いは、操作パネル４１またはリモコン受光部４５の操作によってポインター１２Ａやメニューバー１２Ｂの表示が指示された場合に、投射を終了するまで一定時間毎に繰り返し実行される。

まず、キャリブレーションが必要か否かが判別される（ステップＳ１１）。この判別は、キャリブレーションが必要か否かを示すユーザーの指示に基づいて行っても良く、キャリブレーションを行う必要があるかどうかをキャリブレーション実行部１０３Ａが自動的に判別し、この判別結果に基づいて自動的に行っても良い。キャリブレーションが必要な場合には（ステップＳ１１；Ｙｅｓ）、図４（Ａ）を参照して説明したようにキャリブレーションを実行する（ステップＳ１２）。すなわち、画像処理部１１３によりキャリブレーション用の画像を描画させ、このキャリブレーション用の画像が投射された状態で位置検出ユニット１５０により撮影を実行させ、得られた撮影画像データにおける実投射領域１１Ｂの輪郭やキャリブレーション用の画像に含まれる特徴点（ドット等）を検出することで、画像処理部１１３が描画した画像と撮影画像データとの対応関係を求める。なお、キャリブレーションはプロジェクター１１の使用を開始してから１度だけ行えば良く、特定の事象が発生しない限りは再度行う必要がない。例えば、次の（１）〜（３）のような場合には、新たにキャリブレーションを行う必要がある。
（１）キーストーン補正を行った場合。
（２）プロジェクター１１の設置条件が変わった場合。例えば、スクリーンＳＣに対するプロジェクター１１の相対的な位置（向きを含む）が変わった場合。
（３）光学条件が変わった場合。例えば、投射光学系３３のフォーカスまたはズームの状態が変わった場合。投射光学系３３あるいは撮像部１５３の光軸が経時変化等によりずれた場合。
これらの事象が発生した場合、座標変換部１６０が座標を算出する基準となる、初期状態における撮影画像データ上の位置と画像処理部１１３が描画する画像上の位置との対応関係が変化する（つまり、座標変換パラメーターが変化する）ので、改めてキャリブレーションを行う必要がある。逆にこれらの事象が発生しなければキャリブレーションを再度行う必要はないので、プロジェクター１１を前回使用してから今回使用するまでの間に上記の事象が発生していなければ、キャリブレーションを行うことなく、前回のキャリブレーションで求めた座標変換パラメーターを再利用することもできる。キャリブレーションを行う必要があるかどうかをキャリブレーション実行部１０３Ａが判別する方法としては、例えば、操作パネル４１においてキーストーン補正の実行を指示するスイッチの操作の有無に基づいて判別する方法や、プロジェクター１１に傾きや動きを検出するセンサーを設け、このセンサーの検出値の変化に基づいて判別する方法がある。また、投射光学系３３におけるフォーカス、ズームの調整を行った場合に、キャリブレーション実行部１０３Ａがキャリブレーションを自動で実行してもよい。また、ユーザーが、プロジェクター１１の設置位置や光学条件の変化を知って、キャリブレーション実行を指示する操作を行えるように、操作パネル４１やリモコン等の操作部に、対応するスイッチを設けてもよい。

撮影制御部１５５が制御部１０３の制御により撮像部１５３に実投射領域１１Ｂを含む範囲を撮影させると、位置検出処理部１５７は撮影画像データを取得し（ステップＳ１３）、この撮影画像データに基づいて指示体１２の指示位置を検出する（ステップＳ１４）。続いて、座標算出部１５９が、位置検出処理部１５７により検出された指示位置の座標を算出する（ステップＳ１５）。このステップＳ１５で算出される座標は実投射領域１１Ｂにおける座標であり、図５（Ａ）で説明した座標（X1n，Y1n）である。

座標変換部１６０は、画像位置情報の更新が必要か否かを判別し（ステップＳ１６）、更新が必要な場合は画像処理部１１３から情報を取得して画像位置情報を更新する（ステップＳ１７）。このステップＳ１７の処理は、ステップＳ１５の後に限定されず、上記に例示したタイミングで随時実行してもよい。
その後、座標変換部１６０は、座標算出部１５９が算出した座標を表示画像の画像データにおける座標に変換する処理を行う（ステップＳ１８）。変換後の座標は、図５（Ｂ）で説明した座標（X2n，Y2n）である。
座標変換部１６０は、変換後の座標をＰＣ１３に出力し（ステップＳ１９）、本処理を終了する。

図７は、プロジェクター１１が対応する解像度を定義する解像度テーブルの構成例を模式的に示す図である。
この解像度テーブルには、プロジェクター１１が表示可能な入力画像の解像度及びリフレッシュレートが設定されており、例えば記憶部１０５に記憶されている。図７に例示する解像度テーブルには、解像度が640×480のＶＧＡモードから解像度が1400×1050のＳＸＧＡ＋モードまで、解像度やリフレッシュレートが異なる複数の画面モード（ディスプレイモード）が設定されている。
表示制御部１０７は、画像入力部１０４に入力されたアナログ画像信号の解像度及びリフレッシュレートに基づき、解像度テーブルに設定された画面モードのいずれかを選択し、選択した画面モードで画像を表示するための処理を行う。表示制御部１０７は、光変調装置３２の液晶パネルの画素数と解像度が一致しない画面モードを選択した場合、例えば当該画面モードに対応づけて予め記憶部１０５に記憶されたパラメーターに従って、画像処理部１１３により解像度変換処理を実行させる。また、光変調装置３２の液晶パネルと選択された画面モードのアスペクト比が異なる場合には、画像処理部１１３により、画像の周囲に黒帯状の非表示領域を付加する処理も行われる。

表示制御部１０７は、画像入力部１０４に入力されるアナログ画像信号の解像度が、解像度テーブルに設定された画面モードのいずれにも一致しない場合、いずれか近い画面モードを選択する。このため、ＰＣ１３から入力されたアナログ画像信号の解像度を正しく検出できない場合や、未知の解像度であった場合には、入力されたアナログ画像信号とは解像度が大きく異なる画面モードを選択してしまうことがある。
図８は、スクリーンＳＣへの投射状態の例を示す図であり、（Ａ）は適切な画面モードで投射された例を示し、（Ｂ）は適切でない画面モードで投射された例を示す。

画像入力部１０４に入力されたアナログ画像信号に対して適切な画面モードが選択された場合、補正用画像２１０は、図８（Ａ）に示すように実投射領域１１Ｂに収まるように解像度等が調整されて、画像２０４として投射される。
これに対し、適切でない画面モードが選択されている場合、例えば図８（Ｂ）に示すように、アスペクト比が不自然に変化するような画像の調整が行われてしまい、その結果画像の一部が実投射領域１１Ｂに収まらなくなっている。これは、選択された画面モードの解像度と、実際に画像入力部１０４に入力された画像信号の解像度との差が、画面の垂直方向及び／又は水平方向において、大きすぎるためである。また、選択された画面モードの解像度と実際に画像入力部１０４に入力された画像信号の解像度との差が偶然に小さい場合であっても、アスペクト比の不自然な変化や実投射領域１１Ｂからのはみ出し等を生じることがあり、ユーザーがスクリーンＳＣ上の画像を見て違和感があれば、適切な投射状態とは言えない。
このように、適切な画面モードが選択されていない場合には、プロジェクター１１が、画像入力部１０４に入力された画像信号の解像度として、実際とは異なる解像度を認識している。従って、上述した画像位置情報も正確ではないから、座標変換部１６０が指示体１２による指示位置の座標を正確に変換できない。

そこで、プロジェクター１１は、ＰＣ１３から入力された画像信号の解像度を正確に検出（認識）できなかった場合に、ユーザーによる操作パネル４１またはリモコンを介した操作に応じて、解像度に関する情報を補正する機能を備えている。
図９は、解像度に関する情報を補正するために用いる補正用画像２１０の構成例を示す図であり、（Ａ）はマーカーとして四角形が含まれた例を示し、（Ｂ）はマーカーとしてポインターを用いた例を示す。

補正用画像２１０は、白色またはその他の単色で塗りつぶされた背景に、四角形のマーカー２１１が配置された画像であり、全体として長方形の輪郭を有している。補正用画像２１０は、補正用画像２１０をどのような画面モードで表示しても実投射領域１１Ｂ内にマーカー２１１が収まることが望ましい。例えば、解像度テーブルに設定された最も低解像度の画面モード（図７の例では解像度640×480のＶＧＡモード）で補正用画像２１０を表示した場合に、マーカー２１１が実投射領域１１Ｂよりも小さいこと、及び、マーカー２１１の全体が実投射領域１１Ｂの外に出ないようになっている。より具体的には、マーカー２１１である四角形の画素数と、補正用画像２１０の端からマーカー２１１の輪郭までの画素数が、垂直方向及び水平方向のいずれにおいても、実投射領域１１Ｂの画素数を超えないようになっている。この場合の実投射領域１１Ｂの画素数は解像度テーブルにおいて画素数が最小の画面モード（図７の例ではＶＧＡモードの画素数640×480）を基準とすることが好ましい。
図９（Ａ）に示す補正用画像２１０は典型的な例であり、マーカー２１１が補正用画像２１０のほぼ中央に配置され、マーカー２１１のサイズは、垂直方向及び水平方向とも、補正用画像２１０全体の３分の１となっていて、補正用画像２１０の３分の１の画素数は、実投射領域１１Ｂの画素数を超えない数である。

補正用画像２１０を用いた補正処理では、後述するように補正用画像２１０中のマーカー２１１の特定の点（参照ポイント）の位置が利用される。最も簡易で正確な方法は、マーカー２１１の４つの頂点２１２、２１３、２１４、２１５を参照ポイントとして利用する方法である。少なくとも頂点２１２、２１３、２１４、２１５の一部が実投射領域１１Ｂ内に投射される必要があるため、補正用画像２１０の画素数は上述した通りに設定される。また、補正用画像２１０における頂点２１２、２１３、２１４、２１５の位置は、予め規定された位置になっている。プロジェクター１１は、この規定された位置に関する情報を利用可能であり、例えば記憶部１０５に記憶している。この情報は、例えば、頂点２１２、２１３、２１４、２１５の位置を補正用画像２１０の隅を原点とする座標で表した情報、或いは、補正用画像２１０全体の画素数と、補正用画像２１０の端から各頂点２１２、２１３、２１４、２１５までの画素数とを含む情報である。また、この規定された位置に関する情報は、補正用画像２１０の大きさに対する、マーカー２１１の大きさの比率を表す情報であっても良い。
なお、補正用画像２１０における頂点２１２、２１３、２１４、２１５の位置を変更可能としてもよい。この場合、ＰＣ１３及びプロジェクター１１が、変更後の頂点２１２、２１３、２１４、２１５の位置に関する共通の情報を保持する必要がある。

ＰＣ１３は、補正用画像２１０の画像データである補正用画像データ１３Ｃ（図３）を記憶部１３４に記憶している。ユーザーがプロジェクター１１の操作パネル４１またはリモコンを操作して、補正処理の実行を指示すると、補正処理の開始を指示する制御信号がプロジェクター１１からＰＣ１３に出力される。ＰＣ１３のＣＰＵ１３１は、プロジェクター１１から補正処理の開始を指示する制御信号を受信すると、記憶部１３４から補正用画像データ１３Ｃを読み出して、この補正用画像データ１３Ｃを表示するためのアナログ画像信号を表示部１３６によって生成し、画像出力Ｉ／Ｆ１４３からモニター１４４及びプロジェクター１１に出力する。この場合、ＰＣ１３が実行する表示制御プログラム１３Ａは、補正処理に対応した機能を有するプログラムである。
ＰＣ１３は、補正用画像２１０を、それまでプロジェクター１１に出力していた画像信号と同じ解像度、同じリフレッシュレートで出力する。このため、プロジェクター１１は画面モードを変更することなく補正用画像２１０の投射を実行する。

図１０は、補正用画像２１０を用いた補正処理の例を示す図であり、（Ａ）は補正前の状態を示し、（Ｂ）は補正後の状態を示す。また、図１０（Ａ）及び（Ｂ）には撮像部１５３の撮影範囲１５Ａを破線で示す。
プロジェクター１１が入力画像信号の解像度を正しく検出できていない場合、補正用画像２１０の表示状態は、図１０（Ａ）に示すように、アスペクト比が歪んだり、補正用画像２１０の一部が実投射領域１１Ｂからはみ出したりした状態となっている。実投射領域１１Ｂの外に逸脱した頂点２１２、２１３、２１４、２１５はスクリーンＳＣ上に結像しないため、補正処理に利用できない。このため、マーカー２１１の頂点２１２、２１３、２１４、２１５のうち、少なくとも２つ以上が実投射領域１１Ｂに投射されていることが必要である。

制御部１０３は、位置検出ユニット１５０の撮影制御部１５５を制御して、補正用画像２１０が表示された状態で撮像部１５３による撮影を行う。この撮影画像データが撮影制御部１５５から出力されると、制御部１０３は、パターン検出部１５６によって、撮影画像データ中の頂点２１２、２１３、２１４、２１５を検出する処理を行わせる。パターン検出部１５６は、撮影画像データにおける頂点２１２、２１３、２１４、２１５の位置を検出して、検出した位置を座標算出部１５９に出力する。例えば、パターン検出部１５６は、撮影画像データの各画素の色に基づいて、単色の背景とマーカー２１１との境界を抽出し、境界の形状に基づいて頂点２１２、２１３、２１４、２１５を検出する。
撮影範囲１５Ａと、実投射領域１１Ｂ上の位置と、入力された画像における位置との対応関係は、上述したキャリブレーションにより定められているので、この対応関係に基づき、制御部１０３は、パターン検出部１５６が検出した頂点２１２、２１３、２１４、２１５の位置を、入力画像である補正用画像２１０における位置に変換する。

制御部１０３は、変換された補正用画像２１０における頂点２１２、２１３、２１４、２１５の位置と、補正用画像２１０中の頂点２１２、２１３、２１４、２１５の規定の位置に基づいて、補正用画像２１０の４隅の頂点の、実投射領域１１Ｂに対する相対的な位置を把握する。
例えば、制御部１０３は、算出した補正用画像２１０中の頂点２１２、２１３、２１４、２１５の位置及び／又は頂点間の距離とに基づいて、現在表示されている頂点間の画素数を求める。制御部１０３は、求めた頂点間の画素数と、補正用画像２１０において頂点２１２、２１３、２１４、２１５が配置された規定の位置とをもとに、実投射領域１１Ｂに対する補正用画像２１０の相対的な位置（つまり、実投射領域における補正用画像２１０の左上の頂点位置、横幅及び縦幅）を算出する。ここで算出されたパラメーターが、正しい画像位置情報である。算出された正しい画像位置情報は、たとえば図６の処理に使用される。

さらに、制御部１０３は、表示制御部１０７に対し、補正用画像２１０に基づいて求めた解像度を出力し、この解像度に対応する適切な画面モードを選択させ、スクリーンＳＣへの表示を更新しても良い。これにより、補正用画像２１０は適切な位置、サイズ及びアスペクト比で、図１０（Ｂ）に示すように表示される。この表示の更新後、制御部１０３は、補正処理の成功を確認するため、再び撮像部１５３により撮影を実行させ、撮影画像データに基づいて、補正用画像２１０の解像度を求める処理を行ってもよい。
また、例えば画像信号の解像度と解像度テーブルに設定された画面モードとの乖離が大きく、該当する画面モードがない場合に、新たな画面モードを作成したり、該当する画面モードがない旨のメッセージをＯＳＤ表示したりしてもよい。

また、上記の方法では、撮像部１５３の撮影画像データをもとに頂点２１２、２１３、２１４、２１５を自動的に制御部１０３が検出するが、頂点２１２、２１３、２１４、２１５をユーザーが指示体１２を用いて指し示すようにしてもよい。この場合、制御部１０３は、位置検出ユニット１５０によって指示体１２の指示位置を検出させ、この指示位置を頂点２１２、２１３、２１４、２１５の位置として上記処理を実行すればよい。この場合、撮影画像データから頂点２１２、２１３、２１４、２１５を抽出する画像処理が不要になるので、速やかに補正処理を実行できる。

上述した例ではＰＣ１３が記憶部１３４に補正用画像２１０の補正用画像データ１３Ｃを記憶し、ＰＣ１３が実行する専用のプログラムである表示制御プログラム１３Ａの機能によって、補正用画像２１０をプロジェクター１１に出力するものとして説明したが、ＰＣ１３により、汎用のプログラムを実行し、必要に応じて補正用画像を生成させることもできる。
図９（Ｂ）に示す補正用画像２２０は、背景にポインター２２１が配置された画像である。表示システム１０では、図４（Ｂ）を参照して説明したように、プロジェクター１１が位置検出ユニット１５０によって検出した位置の座標をＰＣ１３に出力し、ＰＣ１３が、入力された座標に対応する位置にポインター１２Ａ等を表示する。この場合、ＰＣ１３は、マウス等のポインティングデバイスを利用するための汎用のデバイスドライバープログラムを用いて、プロジェクター１１から入力される座標を取得し、この座標に対応する位置にポインター１２Ａを表示する処理を行う。この場合、表示制御プログラム１３Ａは専用のプログラムである必要はない。
この構成において、プロジェクター１１が規定の位置、例えば画面全体の上から３分の１かつ画面の左端から３分の１の位置の座標を出力すると、ＰＣ１３は、図９（Ｂ）に示す補正用画像２２０を生成して、プロジェクター１１に出力する。補正用画像２２０中には、プロジェクター１１から入力された座標に対応してポインター２２１が配置されている。つまり、プロジェクター１１が指定した位置に、参照ポイントとして使用可能なポインター２２１が配置されている。このように、専用のプログラムをＰＣ１３が実行しなくても、プロジェクター１１がＰＣ１３に出力する情報に基づいて、参照ポイントとして使用可能なマーカーとしてのポインター２２１を含む補正用画像２２０を、出力させることができる。なお、プロジェクター１１から入力された規定の位置を示す座標に基づいてＰＣ１３がポインター２２１を表示するときに、現在の位置から規定の位置までポインター２２１を移動させても良い。このようにすれば、ポインター２２１の位置をユーザーが容易に視認することができる。

この方法では、プロジェクター１１の制御によって補正用画像２２０の背景色を変更することは困難であるから、ポインター２２１の先端位置をユーザーが指示体１２によって指し示し、この指示位置をプロジェクター１１が検出して補正処理を実行する構成としてもよい。この場合、撮像部１５３の撮影画像データからポインター２２１を抽出する処理の負荷を軽減でき、補正用画像２２０の背景色や、背景にポインター２２１以外の画像が表示されていても、速やかに補正処理を行える。この場合、プロジェクター１１が、少なくとも２点の座標についてＰＣ１３へ出力してこの２点でポインター２２１を表示させるとともに、この２点の実投射領域１１Ｂ上の位置をユーザーが指示体１２によって指し示すことが好ましい。

制御部１０３は、補正用画像２２０を投射した状態で、撮像部１５３により撮影を実行させ、撮影画像データからポインター２２１を抽出する。そして、例えばポインター２２１の先端位置と、ポインター２２１の長さとをもとに、上記の処理と同様に補正用画像２２０全体の画素数すなわち解像度を算出する。補正用画像２２０を利用した場合、ＰＣ１３が専用のプログラムを実行することなく、プロジェクター１１がＰＣ１３に出力する座標を変更するだけで、補正処理を行える。

図１１は、プロジェクター１１の動作を示すフローチャートであり、特に、補正処理を示す。
補正手段としての制御部１０３は、操作パネル４１またはリモコンの操作に応じて補正処理を開始し（ステップＳ２１）、ＰＣ１３に対して制御情報または座標を出力し、これに応じてＰＣ１３からプロジェクター１１に対し、補正用画像が入力される（ステップＳ２２）。プロジェクター１１は、補正用画像の投射を開始し（ステップＳ２３）、補正処理に用いる参照ポイントを自動的に検出するか否かを判別する（ステップＳ２４）。

ここで、参照ポイントの位置を自動的に検出するよう設定されている場合（ステップＳ２４；Ｙｅｓ）、制御部１０３は、撮像部１５３によりスクリーンＳＣを撮影させ、撮影画像データから参照ポイントとしての頂点２１２、２１３、２１４、２１５或いはポインター２２１の先端の位置を自動的に検出し（ステップＳ２５）、検出した参照ポイントの位置に基づいて、上述した方法によって補正用画像の解像度を算出し、画像位置情報を補正して（ステップＳ２６）、本処理を終了する。
なお、画像位置情報を補正した後、算出した補正用画像の解像度に合わせて画面モードを選択し、スクリーンＳＣに投射する画像を更新してもよい。

一方、手動で参照ポイントの位置を指定する場合（ステップＳ２４；Ｎｏ）、制御部１０３は、頂点２１２、２１３、２１４、２１５を指示体１２が指示したときの指示体１２の指示位置を位置検出ユニット１５０によって検出し（ステップＳ２７）、検出した指示位置を参照ポイントの位置として特定し（ステップＳ２８）、ステップＳ２６に移行して、参照ポイントの位置に基づいて補正用画像の解像度を算出し、画像位置情報を補正する。

以上のように、本発明を適用した実施形態に係る表示システム１０は、スクリーンＳＣに表示画像を表示する投射ユニット３と、スクリーンＳＣにおける、表示画像に対する指示位置を検出する位置検出ユニット１５０と、スクリーンＳＣ内の表示可能領域（例えば、実投射領域１１Ｂ）における指示位置の座標である第１の座標を算出する座標算出部１５９と、座標算出部１５９により算出された第１の座標を、スクリーンＳＣにおける表示画像の位置を示す画像位置情報に基づいて、画像データにおける座標である第２の座標に変換する座標変換部１６０と、座標変換部１６０により得られた第２の座標を出力する出力部１０１と補正用画像を表示する処理によって供給画像の解像度に関する情報を補正する制御部１０３と、を備え、座標の変換に用いる画像位置情報を、補正用画像を用いて補正できるので、ＰＣ１３から入力された未知の解像度の画像を表示する場合など、解像度に関する正確な情報を得られない場合であっても、正確に座標を変換して出力できる。これにより、入力される画像の解像度に関わらず、スクリーンＳＣに対する操作によって指示された位置の座標を正確に出力できる。

また、座標変換部１６０は、座標算出部１５９により算出された第１の座標を、画像位置情報に基づいて第２の座標に変換する。例えば、座標変換部１６０は、投射部３０の表示解像度と画像データの解像度を反映した画像位置情報を用いて座標の変換を行う。これにより、画像データの解像度が変化しても指示位置の座標を正確に変換して出力できる。

また、投射ユニット３が表示する補正用画像は、例えば、単色の背景と、実投射領域１１Ｂ内に表示される可能性が高い所定の位置に配置されたマーカー２１１とを含むので、実投射領域１１Ｂに位置するマーカー２１１を検出し、速やかに補正処理を実行できる。
プロジェクター１１は、ＰＣ１３から入力される補正用画像２１０、２２０をスクリーンＳＣに投射し、スクリーンＳＣを撮影した撮影画像データに基づいて、マーカー２１１、ポインター２２１を自動的に検出することも可能である。
また、補正処理において、ユーザーの位置指示操作によって参照ポイントを検出することも可能である。すなわち、制御部１０３は、投射ユニット３が補正用画像２１０、２２０をスクリーンＳＣに表示した状態で、位置検出ユニット１５０によって検出された指示位置と、補正用画像２１０、２２０におけるポインター２２１の位置とに基づいて、解像度に関する情報を補正できる。

なお、上記実施形態は本発明を適用した具体的態様の例に過ぎず、本発明を限定するものではなく、上記実施形態とは異なる態様として本発明を適用することも可能である。例えば、上記実施形態では、実際にスクリーンＳＣに投射された補正用画像を撮像部１５３により撮影し、撮影画像データから、参照ポイントの位置を検出するものとして説明したが、本発明はこれに限定されるものではなく、ＰＣ１３から入力される補正用画像の画像信号に基づいて画像処理部１１３（画像展開手段）がフレームメモリー１１５（メモリー）に展開した画像データから、参照ポイントとしてのマーカーを検出し、画像位置情報を補正することも可能である。この場合、スクリーンＳＣにおける投射状態や撮像部１５３による撮影のコンディションに影響を受けることなく、速やかに、かつ正確にマーカーの位置を特定できる。

また、上記実施形態の構成において、位置検出ユニット１５０が有する撮像部１５３及び撮影制御部１５５を、プロジェクター１１に外部接続された撮像装置（デジタルカメラ等）により代替することも可能である。この場合の撮像装置は、制御部１０３の制御により撮影を実行して撮影画像データを位置検出処理部１５７に出力するものであればよい。また、この撮像装置とプロジェクター１１とを接続するインターフェイスとしてはＵＳＢ等の汎用インターフェイスを利用できるので、容易に実現可能である。また、位置検出ユニット１５０がプロジェクター１１に外部接続される構成であっても良い。この場合、位置検出ユニット１５０を、プロジェクター１１から独立した装置とすることができる。
また、上記実施形態の構成において、画像ソースはＰＣ１３に限定されず、画像入力部１０４を介して接続可能な携帯型または据え置き型の、画像を出力可能な各種機器を用いることができ、さらに、プロジェクター１１が記憶部１０５に記憶した画像を画像ソースとして投射してもよい。

また、上記実施形態の構成において、指示体１２は、棒状のものやペン型のものに限定されず、例えばユーザーの指を指示体１２として、その指示位置を検出する構成とすることも可能である。
さらに、上記実施形態の構成では、位置検出ユニット１５０が撮影画像データに基づいて指示体１２による指示位置を検出する構成を例に挙げて説明したが、本発明はこれに限定されず、例えば、表示面としてのスクリーンＳＣ或いは他の表示方式における表示画面に、感圧式や静電容量式のタッチパネルを設け、このタッチパネルによって指示体１２としてのユーザーの指や棒体等の接触を検出する構成としてもよい。

また、指示体１２がボタン等の操作子を備え、操作子が押圧されると指示体１２からプロジェクター１１へ操作信号を送信する構成であっても良い。また、指示体１２は、操作子が操作されると、この操作に応じて所定の波長の光（非可視光又は可視光）を射出し、操作が解除されると光の射出を停止する構成とすることもできる。この場合、撮像部１５３が撮影した撮影画像データに基づいて、指示体１２から光が射出されているか否かを判定することにより、指示体１２の操作が行われているか否かを判別できる。従って、指示体１２の指示位置のみならず、操作子に対して操作が行われたか否か（操作子が押されたか否か）を、位置検出処理部１５７が検出することができる。
また、上記の例では、操作子が操作されたときに所定の波長の光を射出し、操作が解除されると光の射出を停止する構成を例に挙げて説明したが、本発明はこれに限られない。例えば、指示体１２を、常に所定の波長の光を所定のパターンで射出し、操作子に対して操作が行われると発光のパターンを異なるパターンに変化させて発光する構成とすることができる。この場合、指示体１２は常に所定のパターンで発光しているので、位置検出処理部１５７は指示体１２の指示位置を常に検出することができる。また位置検出処理部１５７は、操作子に対して操作が行われたか否かを、発光パターンに基づいて検出することができる。
また、操作子が操作されたことを示す情報、及び操作子に対する操作が解除された旨を示す情報を、制御データとしてプロジェクターからＰＣへ出力しても良い。例えばプロジェクターは、操作子が操作されたことを示す情報を、マウスが左クリックされたことを示す情報としてＰＣへ出力し、操作子に対する操作が解除された旨を示す情報を、マウスの左クリックが解除されたことを示す情報としてＰＣへ出力しても良い。さらに、プロジェクター１１は、操作情報を、マウス以外のポインティングデバイス（例えば、デジタイザーなど）の操作を表す情報としてＰＣ１３に出力しても良い。

また、上記実施形態では、制御部１０３がキャリブレーション実行部１０３Ａとして機能する構成を例に挙げて説明したが、本発明はこれに限定されない。例えば、キャリブレーション実行部１０３Ａの機能の一部又は全てを、位置検出ユニット５０が備えていても良い。特に、位置検出ユニット１５０がプロジェクター１１に外部接続された撮像装置であり、かつこの撮像装置がキャリブレーション実行部１０３Ａとして機能する場合は、プロジェクター１１はキャリブレーション実行部１０３Ａに相当する構成を備える必要がない。
また、プロジェクター１１に外部接続された装置が、位置検出ユニット１５０、キャリブレーション実行部１０３Ａ、及び座標変換部１６０として機能しても良い。さらに、プロジェクター１１に外部接続された装置が、位置検出ユニット１５０、及び座標変換部１６０として機能しても良い。

また、上記実施形態では、補正用画像２１０に配置されたマーカー２１１のサイズは垂直方向及び水平方向とも、補正用画像２１０全体の３分の１であるものとして説明したが、マーカー２１１のサイズはこれに限られない。マーカー２１１は、垂直方向のサイズ、及び水平方向のサイズの少なくとも一方が、補正用画像２１０全体のサイズの３分の１より大きくても良く、小さくても良い。

また、上記実施形態では、補正用画像２１０に配置されたマーカー２１１の４つの頂点を参照ポイントとして利用した例を挙げて説明したが、マーカー２１１の利用方法はこれに限られない。例えば、マーカー２１１の４つの頂点のうち、同一の対角線上に存在する２つの頂点を参照ポイントとして用いることもできる。

また、上記実施形態では、参照ポイントを自動的に検出するか否かをプロジェクター１１が判別する例について説明したが、参照ポイントの検出方法はこれに限られない。プロジェクター１１は、参照ポイントの検出を常に自動で行う構成であっても良く、常に手動で行う構成であっても良い。

また、上記実施形態では、０以上１以下の範囲で座標（X1n，Y1n）、及び座標(X2n，Y2n)の正規化を行っているが、正規化の方法はこれに限られない。これらの座標の正規化には、論理的に定義された任意の値（例えば、０以上３２７６７以下の範囲など）を用いることができる。

さらに、上記実施形態では、ＰＣ１３とプロジェクター１１とがケーブル等により有線接続される構成を例に挙げて説明したが、プロジェクター１１とＰＣ１３との接続形態は任意である。例えば、プロジェクター１１とＰＣ１３とが無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）等を用いた無線通信により、或いはＵＳＢ等の汎用データ通信ケーブルや有線ＬＡＮ等を用いた有線通信により相互に接続され、座標データを送受信する構成としてもよい。

また、上記実施形態では、光源が発した光を変調する手段として、光変調装置３２がＲＧＢの各色に対応した３枚の透過型または反射型の液晶パネルを用いた構成を例に挙げて説明したが、本発明はこれに限定されるものではなく、例えば、１枚の液晶パネルとカラーホイールを組み合わせた方式、３枚のデジタルミラーデバイス（ＤＭＤ）を用いた方式、１枚のデジタルミラーデバイスとカラーホイールを組み合わせたＤＭＤ方式等により構成してもよい。ここで、表示部として１枚のみの液晶パネルまたはＤＭＤを用いる場合には、クロスダイクロイックプリズム等の合成光学系に相当する部材は不要である。また、液晶パネル及びＤＭＤ以外にも、光源が発した光を変調可能な構成であれば問題なく採用できる。

また、本発明の表示装置は、スクリーンＳＣに画像を投射するプロジェクターに限定されず、液晶表示パネルに画像／画像を表示する液晶モニターまたは液晶テレビ、或いは、ＰＤＰ（プラズマディスプレイパネル）に画像／画像を表示するモニター装置またはテレビ受像機、ＯＬＥＤ（Organic light-emitting diode）、ＯＥＬ（Organic Electro-Luminescence）等と呼ばれる有機ＥＬ表示パネルに画像／画像を表示するモニター装置またはテレビ受像機等の自発光型の表示装置など、各種の表示装置も本発明の画像表示装置に含まれる。この場合、液晶表示パネル、プラズマディスプレイパネル、有機ＥＬ表示パネルが表示手段に相当し、その表示画面が表示面に相当する。より詳細には、画像を表示可能な領域全体が上記実施形態の実投射領域１１Ｂまたは最大投射領域１１Ａに相当する。

また、図２に示したプロジェクター１１の各機能部、及び、図３に示したＰＣ１３の各機能部は、ハードウェアとソフトウェアとの協働により実現される機能的構成を示すものであって、具体的な実装形態は特に制限されない。従って、必ずしも各機能部に個別に対応するハードウェアが実装される必要はなく、一つのプロセッサーがプログラムを実行することで複数の機能部の機能を実現する構成とすることも勿論可能である。また、上記実施形態においてソフトウェアで実現されている機能の一部をハードウェアで実現してもよく、あるいは、ハードウェアで実現されている機能の一部をソフトウェアで実現してもよい。その他、プロジェクター１１及びＰＣ１３を含む表示システム１０の他の各部の具体的な細部構成についても、本発明の趣旨を逸脱しない範囲で任意に変更可能である。
また、上記実施形態において記憶部１０５が記憶していた制御プログラム１０５Ａを、プロジェクター１１が通信ネットワークを介して接続された他の装置からダウンロードして実行しても良いし、可搬型の記録媒体に制御プログラム１０５Ａを記録して、この記録媒体から上記各プログラムを読み取って実行する構成としても良い。ＰＣ１３が記憶していた表示制御プログラム１３Ａについても同様に、ＰＣ１３が他の装置から表示制御プログラム１３Ａをダウンロードして実行しても良いし、可搬型の記録媒体に記録された表示制御プログラム１３ＡをＰＣ１３が読み取って実行する構成としても良い。

３…投射ユニット（表示手段）、１０…表示システム、１１、５１…プロジェクター（表示装置）、１１Ａ…最大投射領域、１１Ｂ…実投射領域（表示可能領域）、１１Ｃ…非表示領域、１２…指示体、１３…ＰＣ（画像ソース）、３０…投射部（投射手段）、３１…照明光学系（光源）、３２…光変調装置（光変調手段）、１０１…出力部（出力手段）、１０３…制御部（補正手段）、１０５Ａ…制御プログラム、１０７…表示制御部、１１０…画像処理ユニット（画像形成手段）、１１３…画像処理部（画像展開手段）、１１５…フレームメモリー（メモリー）、１５０…位置検出ユニット（位置検出手段）、１５１…位置検出部、１５３…撮像部、１５７…位置検出処理部、１５９…座標算出部（座標算出手段）、１６０…座標変換部（座標変換手段）、ＳＣ…スクリーン（投射面、表示面）。

Claims (8)

1. 画像ソースにより供給される供給画像を表示面に表示する表示手段と、
   前記表示面における指示位置を検出する位置検出手段と、
   前記表示面の表示可能領域における前記指示位置の座標である第１の座標を算出する座標算出手段と、
   前記座標算出手段により算出された前記第１の座標を、前記表示面における前記供給画像の位置を示す画像位置情報に基づいて、前記供給画像における座標である第２の座標に変換する座標変換手段と、
   前記座標変換手段により得られた前記第２の座標を出力する出力手段と、
   補正用の画像を表示する処理によって前記画像位置情報を補正する補正手段と、
   を備えることを特徴とする表示装置。
2. 前記座標変換手段は、前記座標算出手段により算出された前記第１の座標を、前記供給画像の解像度、および、前記画像位置情報に基づいて、前記第２の座標に変換し、
   前記補正手段は前記画像位置情報を補正することを特徴とする請求項１記載の表示装置。
3. 前記表示手段が表示する前記補正用の画像は、単色の背景と、前記表示可能領域内に表示される可能性が高い所定の位置に配置されたマーカーとを含むことを特徴とする請求項１または２記載の表示装置。
4. 前記補正手段は、前記表示手段が前記補正用の画像を前記表示面に表示した状態で、前記位置検出手段によって検出された指示位置と、前記補正用の画像における前記マーカーの位置とに基づいて、前記画像位置情報を補正することを特徴とする請求項３記載の表示装置。
5. 前記補正手段は、前記表示手段によって前記表示面に表示された前記補正用の画像におけるマーカーを検出し、実際に検出したマーカーの検出位置に基づいて前記画像位置情報を補正することを特徴とする請求項３記載の表示装置。
6. 前記表示手段は、前記供給画像に基づいて前記表示面に表示する画像を、前記表示可能領域に対応するメモリーに展開する画像展開手段を備え、前記メモリーに展開された画像を前記表示面に表示するよう構成され、
   前記補正手段は、前記メモリーに展開された画像における前記マーカーの位置を検出し、検出した位置に基づいて前記画像位置情報を補正することを特徴とする請求項３記載の表示装置。
7. 前記表示手段として、
   光源が発した光を変調する光変調手段と、
   前記供給画像に基づいて前記光変調手段に表示画像を形成する画像形成手段と、
   前記画像形成手段により形成された表示画像を、前記表示面としての投射面に投射する投射手段と、を備えたプロジェクターであることを特徴とする請求項１から６のいずれかに記載の表示装置。
8. 画像ソースにより供給される供給画像を表示面に表示し、
   前記表示面における指示位置を検出し、
   前記表示面の表示可能領域における前記指示位置の座標である第１の座標を算出し、
   算出した前記第１の座標を、前記表示面における前記供給画像の位置を示す画像位置情報に基づいて、前記供給画像における座標である第２の座標に変換し、
   変換により得られた前記第２の座標を出力し、
   補正用の画像を表示する処理によって前記画像位置情報を補正すること、
   を特徴とする表示制御方法。

Images