JP2012181721A - 位置入力装置、プロジェクター、プロジェクターの制御方法、及び、表示システム - Google Patents

Abstract

【課題】プロジェクターにより画像が投射されている投射面上の位置を指示体によって指示する操作が行われた場合に、指示された位置をより正確に特定する。
【解決手段】プロジェクター１１は、原画像と、原画像に基づいてプロジェクター１１がスクリーンＳＣに投射した画像を撮影した撮影画像とを取得し、取得した原画像をもとに、スクリーンＳＣ上の位置を指示する指示体１２の画像と指示体１２の影の画像とを撮影画像から検出し、検出した指示体１２の画像と指示体１２の影の画像との相対位置に基づき、指示体１２が指示する指示位置および指示状態を特定する。
【選択図】図１

Description

本発明は、指示された位置を検出する位置入力装置、プロジェクター、プロジェクターの制御方法、及び、表示システムに関する。

従来、プロジェクターが画像を投射している投射面上の位置が指示された場合に、指示位置を検出する装置が知られている（例えば、特許文献１参照）。特許文献１記載の装置は、投射中の投射面において差し棒等の指示体により位置が指示された場合に、投射面を正面から撮影した撮影画像から指示体の先端の位置を検出して、指示位置を特定する。

特開特開２０００−２００１４９号公報

ところで、投射面を撮影した撮影画像には差し棒等の指示体の全体が写ることも多く、指示体を操作する人が指し示している場所が、指示体のどの部分の位置であるかを特定することは容易ではない。この問題を解決するため、特許文献１記載の装置は、撮影画像から先端を検出することで指示位置を特定している。しかしながら、指示体として、指等の鋭い先端を持たない物が使用された場合には、撮影画像から先端を検出することが難しくなってしまう。また、このような物を指示体として用いた場合、指示された位置が先端の位置とは限らない。
本発明は、上述した事情に鑑みてなされたものであり、プロジェクターにより画像が投射されている投射面上の位置を指示体によって指示する操作が行われた場合に、指示された位置をより正確に特定することを目的とする。

上記課題を解決するため、本発明は、原画像と、前記原画像に基づいてプロジェクターが投射面に投射した画像を撮影した撮影画像とを取得する画像取得手段と、前記画像取得手段により取得した前記原画像をもとに、前記投射面上の位置を指示する指示体の画像と前記指示体の影の画像とを撮影画像から検出する指示体画像検出手段と、前記指示体画像検出手段により検出した前記指示体の画像と前記指示体の影の画像との相対位置に基づき、前記指示体が指示する指示位置および指示状態を特定する指示状態判別手段とを備えることを特徴とする。
本発明によれば、投射面上の位置を指示する指示体の画像と指示体の影の画像とを検出することにより、指示された位置とともに、例えば指示体が投射面に接しているか否か等の指示状態を特定できる。これにより、指示体の形状に関わらず、指示された位置を正確に特定できる。また、指示体を操作する人の意図をより的確に反映して指示された位置を特定できる。

また、本発明は、上記位置入力装置において、前記指示状態判別手段は、前記指示体画像検出手段により検出した前記指示体の画像と前記指示体の影の画像との距離に基づいて、前記指示体が前記投射面に接したか否かを判別することを特徴とする。
本発明によれば、指示体が投射面に接したか否かを判別することで、指示体の形状に関わらず、指示された位置を正確に特定できる。

また、本発明は、上記位置入力装置において、前記画像取得手段は、前記投射面の正面以外の方向から撮影された撮影画像を取得することを特徴とする。
ここで、正面とは、投射面の前面側において、投射面に正対する位置から投射面を向いた方向を指し、正面以外の方向とは、上記の正面を除く、投射面の上方、下方、左方向、右方向、及び、これらの間の斜め方向を含む。言い換えれば、正面以外の方向とは、撮影画像を撮影する撮影手段がレンズを有する場合、このレンズの軸線が投射面に対して垂直にならない方向を指している。
本発明によれば、投射面の正面以外の方向から撮影した撮影画像を用いて指示体が指示した位置を特定するので、投射面の正面に撮影装置等を設置する必要がなく、画像を投射するプロジェクターの設置が容易になるという利点がある。さらに、正面から撮影する場合のように投射面の前に立っている操作者の影に指示体が隠れてしまうことがないので、確実に指示体の位置を検出できる。

また、本発明は、上記位置入力装置において、前記指示体には前記指示体画像検出手段が識別可能な所定のパターンが付され、前記指示体画像検出手段は、前記画像取得手段により取得された撮影画像から前記所定のパターンを検出することを特徴とする。
本発明によれば、撮影画像において指示体を容易に検出でき、指示体の影との区別が容易になることから指示体の影の画像を検出することも容易になるため、指示された位置を特定する処理の高速化を図ることができる。

また、上記課題を解決するため、本発明は、プロジェクターであって、原画像にもお付いて投射面に画像を投射する投射手段と、前記投射手段が前記投射面に投射した画像を撮影する撮影手段と、前記原画像と、前記原画像に基づいて当該プロジェクターが投射した画像を前記撮影手段が撮影した撮影画像とを取得する画像取得手段と、前記画像取得手段により取得した前記原画像をもとに、前記投射面上の位置を指示する指示体の画像と前記指示体の影の画像とを撮影画像から検出する指示体画像検出手段と、前記指示体画像検出手段により検出した前記指示体の画像と前記指示体の影の画像との相対位置に基づき、前記指示体が指示する指示位置および指示状態を特定する指示状態判別手段とを備えることを特徴とする。
本発明によれば、プロジェクターが、投射面上の位置を指示する指示体の画像と指示体の影の画像とを検出することで、指示された位置とともに、例えば指示体が投射面に接しているか否か等の指示状態を特定できる。これにより、画像を投射するプロジェクターを用いて、指示体の形状に関わらず、指示された位置を正確に特定できる。また、指示体を操作する人の意図をより的確に反映して指示された位置を特定できる。

また、上記課題を解決するため、本発明は、原画像に基づいて投射面に画像を投射し、前記原画像に基づいて前記投射面に投射した画像を撮影して撮影画像を取得し、前記原画像をもとに、前記投射面上の位置を指示する指示体の画像と前記指示体の影の画像とを前記撮影画像から検出し、検出した前記指示体の画像と前記指示体の影の画像との相対位置に基づき、前記指示体が指示する指示位置および指示状態を特定することを特徴とする。
本発明によれば、プロジェクターが、投射面上の位置を指示する指示体の画像と指示体の影の画像とを検出することで、指示された位置とともに、例えば指示体が投射面に接しているか否か等の指示状態を特定できる。これにより、画像を投射するプロジェクターを用いて、指示体の形状に関わらず、指示された位置を正確に特定できる。また、指示体を操作する人の意図をより的確に反映して指示された位置を特定できる。

また、上記課題を解決するため、本発明は、投射面に画像を投射するプロジェクターと、前記投射面を撮影する撮影装置とを備えて構成される表示システムであって、原画像と、前記原画像に基づいて前記プロジェクターが前記投射面に投射した画像を前記撮影装置が撮影して取得された撮影画像とを取得する画像取得手段とを取得する画像取得手段と、前記画像取得手段により取得した前記原画像をもとに、前記投射面上の位置を指示する指示体の画像と前記指示体の影の画像とを前記撮影画像から検出する指示体画像検出手段と、前記指示体画像検出手段により検出した前記指示体の画像と前記指示体の影の画像との相対位置に基づき、前記指示体が指示する指示位置および指示状態を特定する指示状態判別手段とを備えることを特徴とする。
本発明によれば、投射面上の位置を指示する指示体の画像と指示体の影の画像とを検出することで、指示された位置とともに、例えば指示体が投射面に接しているか否か等の指示状態を特定できる。これにより、指示体の形状に関わらず、指示された位置を正確に特定できる。また、指示体を操作する人の意図をより的確に反映して指示された位置を特定できる。

本発明によれば、指示体により投射面上の位置を指示する操作が行われた場合に、指示体の形状に関わらず、指示体を操作する人の意図をより的確に反映して、指示された位置を特定できる。

本発明の第１の実施形態に係る表示システムの構成を示す図である。 プロジェクターを天面側から見た斜視図である。 表示システムの機能的構成を示すブロック図である。 プロジェクターの撮像装置が撮影した撮影画像の一例を示す図である。 指示体による指示位置と指示状態を検出した場合の撮影画像の例を示す図であり、（Ａ）は指示体をスクリーンから離した場合の撮影画像を示し、（Ｂ）は指示体をスクリーンに接触させた場合の撮影画像を示し、（Ｃ）は指示体をスクリーンに接触させたまま移動させた場合の撮影画像を示す。 プロジェクターの動作を示すフローチャートである。 キャリブレーションの例を示す図であり、（Ａ）はキャリブレーションにおける指示体の操作を示し、（Ｂ）はキャリブレーションの実行中に投射されるパターンを示す。 本発明の第２の実施形態に係る表示システムの構成を示す図である。

［第１の実施形態］
以下、図面を参照して本発明を適用した実施形態について説明する。
図１は、第１の実施形態に係るプロジェクター１１を用いた表示システム１０の構成を示す図である。図中の一部を円内に拡大して示す。
本実施形態に係るプロジェクター１１は、画像出力装置としてのＰＣ（Personal Computer）１３に有線または無線接続され、ＰＣ１３から受信される画像情報に応じた画像を投射面としてのスクリーンＳＣ上に投射する。プロジェクター１１は、ＰＣ１３から受信した画像情報に応じた画像が静止画像であっても動画像であっても投射できる。プロジェクター１１は、図１に示すように、主に、プロジェクター１１内から投射光が射出される第１開口部２５Ｂ等が設けられた側面部（後述する天面部２Ａ）を下方に向けた状態で使用されるものであり、本実施形態では、スクリーンＳＣが形成される壁面に取り付けられたアーム１４に、当該側面部とは反対側の側面部（後述する底面部２Ｂ）が固定されて使用される。スクリーンＳＣは壁面に固定された平板に限らず、壁面自体をスクリーンＳＣとして使用することも可能である。

プロジェクター１１は、ＰＣ１３から受信した画像情報に応じた画像を投射する。またプロジェクター１１は、スクリーンＳＣ上で指示体１２により位置を指示する位置入力操作が行われた場合に、指示体１２により指示された位置を特定して、指示体１２により指示された位置に関する位置情報をＰＣ１３に送信する。ＰＣ１３は、プロジェクター１１から受信した位置情報に基づき、位置入力操作で指示された位置を特定し、この位置に投射画像に重ねて描画を行って新たな投射画像を作成する等の処理を行って、位置入力操作の内容を投射画像に反映させる。このように、表示システム１０は、スクリーンＳＣに画像を投射するとともに、このスクリーンＳＣにおいて指示体１２による位置入力操作を受け付けて、位置入力操作を投射画像に反映させる、インタラクティブホワイトボードシステムとして機能する。具体的には、ＰＣ１３は、プレゼンテーションの資料等の画像に、指示体１２の指示位置の軌跡を示す線を重畳した画像を生成し、生成した画像の画像情報をプロジェクター１１に送信する。これにより、スクリーンＳＣ上で指示体１２の軌跡を示す線が反映された画像が、プロジェクター１１により投射される。

また、プロジェクター１１は、画像を投射する投射光学系３３（図２）、及びスクリーンＳＣを撮影する撮像装置５（図３）を内蔵している。プロジェクター１１の天面部２Ａには、プロジェクター１１内の投射光学系３３からスクリーンＳＣに投射光を射出するための第１開口部２５Ｂが配置され、天面部２Ａから斜め下方のスクリーンＳＣに向けて投射画像が投射される。この天面部２Ａには、撮像装置５の撮像光学系５１（図２）が配置されており、撮像装置５は、投射光学系３３が投射画像を投射するのとほぼ同じ方向から、スクリーンＳＣを撮影する。
プロジェクター１１は、撮像装置５によって撮影した撮影画像に基づいて、指示体１２による位置入力操作で指示された位置を特定する。

本実施形態では、指示体１２は、図１の円内に拡大して示すように、操作者（プレゼンター）の手指であるが、この手指にキャップ形状のマーカー１２Ａが装着される。マーカー１２Ａには、撮影画像のデータから画像を検出しやすくするため、所定の模様（パターン）が付されている。マーカー１２Ａのパターンは、撮像装置５の撮影画像から画像処理技術により検出可能であればよく、スクリーンＳＣ上の投射画像、壁、或いは床などの背景と区別できることが好ましい。具体的には、濃色の所定形状の枠を配し、この枠内に文字、記号或いは図形等を配したパターンが挙げられる。図１の例では、典型的な一例として、いわゆるＡＲマーカーと同様の黒色の正方形の枠内に文字を配したパターンが挙げられる。また、マーカー１２Ａのパターンとしては、他に、濃淡の二色を組み合わせた市松模様、格子柄（Checkerboard pattern）、その他の幾何学模様等を用いてもよい。
プロジェクター１１は、撮像装置５の撮影画像からマーカー１２Ａを検出し、このマーカー１２Ａが装着された指先が指し示す位置を、指示入力の位置として認識する。撮影画像から操作者の指そのものを検出する場合に比べ、検出に要する画像処理の負荷が軽く、高い確率で検出に成功するという利点がある。これらのパターンは、マーカー１２Ａの側面全体に描かれていてもよいし、マーカー１２Ａの上を向く面にのみ描かれていてもよい。

図２は、本実施形態に係るプロジェクター１１を天面部２Ａ側から見た斜視図である。
プロジェクター１１は、図１を参照して説明したように、下方を向く面から画像を前面側（スクリーンＳＣに対向する側）斜め下方に向けて投射する。プロジェクター１１は、図２に示すように、全体略直方体形状を有する合成樹脂製の外装筐体２に、各部を収容して構成される。外装筐体２の各面を、互いに対向する一対の側面部である天面部２Ａ、底面部２Ｂ、左右の両側面を構成する側面部２Ｃ、２Ｄ、スクリーンＳＣに近接する側の側面部である前面部２Ｆ、及び、スクリーンＳＣから遠い側面部である背面部２Ｅとする。外装筐体２は、プロジェクター１１の装置本体を収容する筐体本体２１に、カバー部材２２が取り付けられた構成を有し、天面部２Ａ、底面部２Ｂ及び側面部２Ｄの一部は、カバー部材２２により形成される。筐体本体２１の側面部２Ｃには、スリット状の開口部２１Ｃが形成されている。開口部２１Ｃの内側には、図示しないエアフィルター及び吸気ファンが設けられ、当該吸気ファンが、開口部２１Ｃ及びエアフィルターを介して外装筐体２内に、装置本体を冷却するための冷却空気を導入する。側面部２Ｃの反対側の側面部２Ｄには、開口部２１Ｃから導入された空気を排出する排気ファン（図示略）が取り付けられた排気口（図示略）が形成される。

プロジェクター１１は、図１に示したように天面部２Ａを下方に向けて設置される。図２に示すように、天面部２Ａの端には操作パネル２３が配置されている。また、天面部２Ａには、前後方向（前面部２Ｆから背面部２Ｅに向かう方向）の略中心位置よりも背面側に、第１傾斜面２１Ａ及び第２傾斜面２１Ｂからなる断面Ｖ字状の凹部が形成される。
一方の第１傾斜面２１Ａは、プロジェクター１１の設置状態においてスクリーンＳＣ側を向く面であり、背面側の斜め下方に向けて窪む凹部２５Ａが形成されている。凹部２５Ａの底は第１開口部２５Ｂが形成される。第１開口部２５Ｂは透光性のカバーによって覆われており、このカバーの奥には、画像を投射する投射光学系３３などが配置されている。また、第１傾斜面２１Ａには撮像光学系５１が配置される第２開口部２５、及び、リモコン受光部４が配置される第３開口部２５Ｄが形成され、これらの開口部はいずれもスクリーンＳＣ側を向いている。第２開口部２５Ｃは可視光を含む領域を透過するカバーによって覆われており、このカバーの奥には撮像装置５の撮像光学系５１が配置されている。なお、撮像光学系５１を構成するレンズが第２開口部２５Ｃのカバーを兼ねていてもよい。第３開口部２５Ｄは赤外光を透過するカバーによって覆われており、このカバーの奥には、スクリーンＳＣの前に立つ操作者が操作するリモコン（図示省略）からの赤外線信号を受光する受光素子（図示略）を有するリモコン受光部４が配置されている。

第２傾斜面２１Ｂは、第１傾斜面２１Ａに連接し、背面部２Ｅから前面部２Ｆに向かうに従って、図２における上方（底面部２Ｂから離間する方向）に傾斜している。
操作パネル２３は、背面側の端部から第１傾斜面２１Ａに至るまでの範囲内で、かつ、凹部２５Ａ側とは反対側（側面部２Ｄ側）に設けられている。この操作パネル２３には、プロジェクター１１を操作するための複数のキーが配設されている。

また、図１に示すように、プロジェクター１１は底面部２Ｂが上を向くように設置され、底面部２Ｂには、アーム１４に連結される金具類を取り付け可能な取付部が適所に複数設けられている。底面部２Ｂには、ＰＣ１３等の外部の装置に繋がる通信ケーブルやプロジェクター１１の電源ケーブル等が接続されるケーブル接続部（図示略）が設けられる。これらのケーブルはアーム１４内を挿通し、表示システム１０が設置された室の天井や壁面内部に配線される。

図３は、プロジェクター１１の機能的構成を示すブロック図である。
プロジェクター１１は、ＰＣ１３やビデオ再生装置、ＤＶＤ再生装置等の外部の装置に接続されるＩ／Ｆ（インターフェイス）部１０１を備えている。例えば、Ｉ／Ｆ部１０１は、ＵＳＢインターフェイス、有線または無線ＬＡＮインターフェイス、アナログ映像信号が入力されるＶＧＡ端子、デジタル映像信号が入力されるＤＶＩ（Digital Visual Interface）、ＮＴＳＣ、ＰＡＬ、ＳＥＣＡＭ等のコンポジット映像信号が入力されるＳ映像端子、コンポジット映像信号が入力されるＲＣＡ端子、コンポーネント映像信号が入力されるＤ端子、ＨＤＭＩ（登録商標）規格に準拠したＨＤＭＩコネクター等を備えている。
プロジェクター１１は、Ｉ／Ｆ部１０１のＬＡＮインターフェイスまたはＵＳＢインターフェイスを介してＰＣ１３に接続される。

プロジェクター１１は、大きく分けて光学的な画像の形成を行う光学系と映像信号を電気的に処理する画像処理系とからなる。光学系は、照明光学系３１、光変調装置である液晶パネル３２、及び投射光学系３３から構成されている。照明光学系３１は、キセノンランプ、超高圧水銀ランプ、ＬＥＤ（Light Emitting Diode）等からなる光源を備えている。また、照明光学系３１は、光源が発した光を液晶パネル３２に導くリフレクター及び補助リフレクターを備えていてもよく、投射光の光学特性を高めるためのレンズ群（図示略）、偏光板、或いは光源が発した光の光量を液晶パネル３２に至る経路上で低減させる調光素子等を備えたものであってもよい。
液晶パネル３２は、後述する画像処理系からの信号を受けて、パネル面に画像を形成する。液晶パネル３２は、カラーの投影を行うため、ＲＧＢの三原色に対応した３枚の液晶パネルからなる。そのため、照明光学系３１からの光はＲＧＢの３色の色光に分離され、各色光は対応する各液晶パネルに入射する。各液晶パネルを通過して変調された色光はクロスダイクロイックプリズム等の合成光学系によって合成され、投射光学系３３に射出される。

投射光学系３３は、投射する画像の拡大・縮小および焦点の調整を行うズームレンズ、ズームの度合いを調整するズーム調整用モーター、フォーカスの調整を行うフォーカス調整用モーター、投射光をスクリーンＳＣに向ける凹面鏡等を備えている。投射光学系３３は、液晶パネル３２で変調された入射光を、レンズ群を通してズーム調整及びフォーカス調整し、このレンズ群を通った光を凹面鏡によりスクリーンＳＣ方向へ導き、スクリーンＳＣ上に結像させる。この光学系には、制御部１０３の制御に従って投射光学系３３が備える各モーターを駆動する投射光学系駆動部１２１、及び、制御部１０３の制御に従って照明光学系３１が備える光源を駆動する光源駆動部１１７が接続されている。なお、投射光学系３３の具体的構成は上記の例に限定されず、例えば凹面鏡を含むミラーを用いない構成により、液晶パネル３２で変調された光をレンズによってスクリーンＳＣに投射し、結像させることも可能である。

一方、画像処理系は、プロジェクター１１全体を統合的に制御する制御部１０３を中心に構成され、制御部１０３が処理するデータや制御部１０３が実行するプログラムを記憶した記憶部１０５、操作パネル２３及びリモコン受光部４を介した操作を検出する入力処理部１２３、Ｉ／Ｆ部１０１を介して入力された入力映像を処理する表示制御部１０７、画像処理部１１３、表示制御部１０７から出力される映像信号に基づいて液晶パネル３２を駆動して描画を行う光変調装置駆動部１１９を備えている。

制御部１０３は、記憶部１０５に記憶された制御プログラムを読み出して実行することにより、プロジェクター１１の各部を制御する。制御部１０３は、入力処理部１２３から入力される操作信号に基づいて、操作者が行った操作の内容を検出し、この操作に応じて表示制御部１０７、投射光学系駆動部１２１及び光源駆動部１１７を制御して、スクリーンＳＣに映像を投射させる。

上述のように、プロジェクター１１の外装筐体２には、各種スイッチ及びインジケーターランプを備えた操作パネル２３（図２）が配置されている。操作パネル２３は入力処理部１２３に接続されており、入力処理部１２３は、制御部１０３の制御に従い、プロジェクター１１の動作状態や設定状態に応じて操作パネル２３のインジケーターランプを適宜点灯或いは点滅させる。この操作パネル２３のスイッチが操作されると、操作されたスイッチに対応する操作信号が入力処理部１２３から制御部１０３に出力される。
また、プロジェクター１１は、操作者が使用するリモコン（図示略）がボタン操作に対応して送信した赤外線信号を、リモコン受光部４によって受光する。リモコン受光部４は、上記リモコンから受光した赤外線信号をデコードして、上記リモコンにおける操作内容を示す操作信号を生成し、制御部１０３に出力する。

Ｉ／Ｆ部１０１には表示制御部１０７が接続される。表示制御部１０７には、フレームメモリー１１５を有する画像処理部１１３が接続されている。画像処理部１１３は、Ｉ／Ｆ部１０１を介して入力される入力映像をフレームメモリー１１５に展開し、アナログ／デジタル変換、インターレース／プログレッシブ変換、解像度変換等の各種変換処理を適宜実行し、予め設定されたフォーマットの映像信号を生成して表示制御部１０７に出力する。表示制御部１０７は、画像処理部１１３により処理された映像信号を光変調装置駆動部１１９に出力し、液晶パネル３２に表示させる。表示制御部１０７がＩ／Ｆ部１０１を介して取得する画像、及び、表示制御部１０７がフレームメモリー１１５に展開して描画する画像は、原画像に相当する。

また、プロジェクター１１は、第１傾斜面２１Ａ（図２）からスクリーンＳＣを撮影する撮像装置５を備えている。撮像装置５は、第１傾斜面２１Ａに配設された撮像光学系５１と、撮像光学系５１を利用して撮影を実行し、撮影画像を出力する撮像素子及び出力回路を備えた撮像部５２とを備える。撮像装置５は、制御部１０３の制御に従ってスクリーンＳＣを撮影し、特にプロジェクター１１がスクリーンＳＣに投射画像を投射している間に撮影を実行して、撮影画像のデータを制御部１０３に出力する。

制御部１０３は、撮像装置５から入力される撮影画像のデータから、指示体１２の画像を検出して、指示体１２によって指示された位置を特定する。この処理において、制御部１０３は、フレームメモリー１１５に展開した後に光変調装置駆動部１１９に出力した投射画像のデータと、撮像装置５が撮影した撮影画像のデータとの差分を検出し、撮影画像から投射画像の成分を除く。ＰＣ１３から受信し、投射する画像が動画像の場合には、撮影時に投射されていたフレームのデータをフレームメモリー１１５から取得することになる。この場合、撮影タイミングと投射中のフレームの切換タイミングとを制御部１０３が制御する。
さらに、プロジェクター１１は、予め記憶部１０５にマーカー１２Ａのパターンを指示体パターン１０５Ａとして記憶しており、制御部１０３は、撮影画像から、指示体パターン１０５Ａと類似または一致するパターンを検出する。これにより、より速やかに、指示体１２の画像を検出できる。

図４は、撮像装置５が撮影した撮影画像の一例を示す図である。
この撮影画像２００には、プロジェクター１１がスクリーンＳＣに投射した投射画像の上に、指示体である操作者の手の画像２１０と、スクリーンＳＣ上の手の影の画像２１１とが写っている。制御部１０３は、撮影画像２００のデータを、フレームメモリー１１５に展開した後に光変調装置駆動部１１９に出力した投射画像のデータと比較して、その差分を求め、この差分から手の画像２１０と手の影の画像２１１とを抽出する。

ところで、操作者がスクリーンＳＣの前にいると、操作者の意図の有無に関わらず操作者の手指が撮影画像に写り込む。このため、手の画像の位置が、操作者が意図した位置とは限らない。また、手の角度と撮影した方向との関係によっては手の画像が予想できない形状になることがあり、例えば指先を特定することができず、手の画像のどの位置を検出すべきか断定しにくい場合がある。
そこで、プロジェクター１１は、撮影画像から手の画像と、手の影の画像とを抽出し、これらの間の距離を求める。例えば撮影画像において手の画像と手の影の画像との距離がゼロまたはほぼゼロに近い値であれば、その位置で手がスクリーンＳＣに接していることになる。手がスクリーンＳＣに接しているのは、操作者が意図して指示した位置といえる。このように、制御部１０３は、撮影画像から手の画像と、手の影の画像とを抽出し、これらの間の距離を求めることで、指示状態としてスクリーンＳＣに接しているか否かを特定できる。従って、操作者の意図を正確に反映して、指示位置を正確に特定できる。また、撮影方向と手の角度によっては手の画像の形状が不鮮鋭になることがあるが、このような場合も、手の画像のうち影の画像に最も近い位置を、指示位置として特定できる。換言すれば、手の影の画像を用いて指示位置を特定することができる。

さらに、プロジェクター１１では、スクリーンＳＣに向けて投射部３により投射画像を投射する位置とほぼ同じ位置から撮像装置５が撮影するので、より速やかに、撮影画像から手の画像と手の影の画像とを抽出できる。
撮像装置５は、水平面に対して垂直な平面であるスクリーンＳＣを上方から撮影するので、図４に示すように、撮影画像２００のスクリーンＳＣは、上方が幅広く、下方が狭くなるように歪んで写っている。
プロジェクター１１がスクリーンＳＣに投射する画像も同様に、スクリーンＳＣ上で上方が狭く下方が広くなるように歪むことになる。しかしながら、プロジェクター１１はスクリーンＳＣに対して斜めに投射することを前提としているため、投射光学系３３が、上記の歪みを生じないように設計されている。このため、液晶パネル３２に矩形の画像が描画された場合に、投射光学系３３を経る間に画像が適切に変形され、スクリーンＳＣで矩形の投射画像が結像する。このため、表示制御部１０７が、スクリーンＳＣ上におけるいわゆる台形歪みを補正する画像処理を必要としない。なお、表示制御部１０７の機能により、スクリーンＳＣ上の投射画像の台形歪みを補正するように、投射しようとする原画像の上方を幅広く下方を狭くする処理を行ってもよい。

つまり、プロジェクター１１の投射画像が矩形であるのに対し、撮像装置５の撮影画像に写る投射画像は台形歪みにより変形している。プロジェクター１１は、台形歪みの影響を排除するため撮影画像を変形させ、矩形の投射画像が含まれる画像にし、この画像を液晶パネル３２に描画された画像と比較して差分を求める。これにより、撮影画像と投射画像との差分を比較的簡単な処理によって検出し、撮影画像２００から投射画像の部分を除去できる。これにより、速やかに手の画像及び手の影の画像とを抽出できる。

なお、撮影方向がスクリーンＳＣの正面以外の方向である場合（例えば、スクリーンＳＣの下方や左右の側方からスクリーンＳＣを撮影する場合）は、撮影画像にはスクリーンＳＣを上方から撮影した場合とほぼ同様の歪みが生じる。ここで、投射方向と撮影方向とが一致しない場合には、撮影画像の歪みに合わせて投射画像を変形させてから、或いは投射画像の台形歪み補正の状態に合わせて撮影画像を変形させてから、その差分を求めれば、上記の場合と同様に、比較的簡単な処理で速やかに手の画像と手の影の画像とを抽出できる。
さらに、スクリーンＳＣの正面でなく、例えば下方や左右を含む側方から撮影することで、正面から撮影する場合のように投射面の前に立っている操作者の影に指示体が隠れてしまうことがなく、確実に指示体の位置を検出できる。

図５は、指示体１２による指示位置と、指示状態すなわちスクリーンＳＣへの接触の有無を検出した場合の動作例として、指示体１２を移動する操作に応じて移動の軌跡を描画する動作を示す。同図（Ａ）は指示体１２の移動中に指示体１２をスクリーンＳＣから離した場合の撮影画像であり、（Ｂ）は再び指示体１２をスクリーンＳＣに接触させた場合の撮影画像であり、（Ｃ）は指示体１２をスクリーンＳＣに接触させたまま移動させた場合の撮影画像である。
プロジェクター１１は、制御部１０３の制御によって、予め設定された周期で撮像装置５によりスクリーンＳＣを撮影し、撮影画像のデータと、撮影時に投射していた投射画像のデータとをもとに指示体１２の位置を検出し、指示体１２がスクリーンＳＣに接しているか否かを判別する。そして上記の処理を行う毎に、指示体１２の位置と、指示体１２がスクリーンＳＣに接しているか否かを示す指示状態とを示す情報をＰＣ１３に送信する。

ＰＣ１３は、プロジェクター１１から周期的に送信される情報を受信して、指示体１２の位置入力操作に応答した描画等の動作を行う。図５（Ａ）に示す撮影画像２０１には、手の画像２１０と手の影の画像２１１とが接する点の移動の軌跡が、曲線２５１として描画された様子が写っている。位置Ｂで指示体１２がスクリーンＳＣから離れると、手の画像２１０が手の影の画像２１１から離れるので、プロジェクター１１により指示状態の変化が検出される。ＰＣ１３は、プロジェクター１１から受信した情報により指示体１２がスクリーンＳＣから離れたことを検知すると、移動の軌跡の描画をやめる。
図５（Ｂ）に示す撮影画像２０２には、指示体１２がスクリーンＳＣに接した状態が写っている。曲線２５１は指示体１２がスクリーンＳＣから離れたことで途切れているが、この曲線２５１から離れた位置Ｃで指示体１２がスクリーンＳＣに接すると、そこから指示体１２が移動する軌跡に沿って曲線２５２が描画される。
図５（Ｃ）に示す撮影画像２０３は、指示体１２が図５（Ｂ）の位置Ｃから位置Ｄまで、スクリーンＳＣに接して移動した場合の撮影画像である。この間の指示体１２の移動の軌跡に沿って曲線２５２が描画されている。本実施形態では、曲線２５１、２５２はＰＣ１３がプロジェクター１１に送信する画像情報に合成するもので、プロジェクター１１が曲線２５１、２５２を描画する処理は行わない。
表示システム１０の機能は、図５（Ａ）、（Ｂ）に示す軌跡の描画の他に、例えば、投射画像として操作用のアイコン等を投射し、このアイコンの表示位置に対する指示体１２の接触操作が行われると、アイコンに対応づけられた動作を実行する例が挙げられる。この場合のアイコンの表示（投射）、アイコンの表示位置と指示体１２の位置との対応の判別、アイコンに対応する動作の実行は、ＰＣ１３により行われる。

図６は、プロジェクター１１の動作を示すフローチャートであり、指示体１２の位置を検出する動作を示す。この図６に示す動作の実行時、制御部１０３は、画像取得手段、指示体画像検出手段、及び、指示状態判別手段として機能し、プロジェクター１１は位置入力装置として機能する。
プロジェクター１１の制御部１０３は、リモコン（図示略）や操作パネル２３の操作に従って、指示体１２による位置入力を検出する位置入力モードを開始する（ステップＳ１１）。制御部１０３は、位置入力モードを開始する際に、まず、キャリブレーションを実行する（ステップＳ１２）。ここで、キャリブレーションの様子について説明する。

図７はプロジェクター１１により実行されるキャリブレーションの例を示す図であり、（Ａ）はキャリブレーションにおける指示体の操作を示し、（Ｂ）はキャリブレーションの実行中に投射されるパターンを示す。なお、図７（Ｂ）中の矢印はキャリブレーション中のパターン（○）の移動の様子を示すものであり、この矢印はパターンに含まれない。
このキャリブレーションは、プロジェクター１１が検出する指示体１２の位置を、スクリーンＳＣ上の実際の指示体１２の指示位置に合わせて校正する動作である。キャリブレーションの実行中には、校正用パターン２０５がスクリーンＳＣに投射される。図７（Ａ）の例の校正用パターン２０５は記号○であり、指示体１２として自分の手を使う操作者は、スクリーンＳＣ上の記号○に指（指示体１２）の先端を重ねてスクリーンＳＣに接触する。プロジェクター１１は、撮像装置５により撮影を行い、その撮影画像から指示体１２の画像と指示体１２の影の画像とを抽出して、指示体１２が指し示す記号○の位置を検出する。そして、撮影画像から検出した記号○の位置を、投射画像における記号○の位置と整合させることで、校正を実行する。プロジェクター１１は、撮影画像において指示体１２の画像と指示体１２の影の画像とが離れている場合には校正を中断してもよい。

キャリブレーションは、位置入力操作の操作領域内に含まれる多くの位置で行うことが好ましい。このため、図７（Ｂ）に示すように、プロジェクター１１は、スクリーンＳＣ上で校正用パターン２０５（記号○）を順次移動させながら投射し、各々の校正用パターン２０５の位置を指示体１２によって指示させ、指示位置を検出し、校正を行う。図７（Ｂ）の例では校正用パターン２０５をスクリーンＳＣの左上隅から表示しているが、スクリーンＳＣの右下隅まで、全体において上記動作を実行すると、キャリブレーションが完了する。このキャリブレーションを行うことで、撮影画像に基づく位置検出の精度を高めることができる。

キャリブレーションの実行後、制御部１０３は、撮像装置５を制御してスクリーンＳＣを撮影させて、撮影画像を取得する（ステップＳ１３）。上述したように、制御部１０３が取得した撮影画像は上方からスクリーンＳＣを撮影した画像であり、スクリーンＳＣや投射画像は台形に歪んで写っている。このため、制御部１０３は、撮影画像に写っているスクリーンＳＣや投射画像の形状が、表示制御部１０７により描画された投射用の画像と同じ形状（矩形）になるように、撮影画像を補正する（ステップＳ１４）。
次いで、制御部１０３は、撮影時にスクリーンＳＣに投射されていた投射画像のデータを表示制御部１０７から取得し、取得した投射画像のデータと補正後の撮影画像のデータとの差分を抽出する（ステップＳ１５）。制御部１０３は、抽出した差分の画像を構成する各画素の輝度データに基づき、指示体１２の影の画像を抽出する（ステップＳ１６）。すなわち、輝度データがしきい値より低い画素を指示体１２の影の画像を構成する画素として抽出する。このしきい値は、予め記憶部１０５に記憶していてもよいし、ステップＳ１３で取得した撮影画像のデータから算出したしきい値であってもよい。
さらに、制御部１０３は、撮影画像と投射画像との差分の画像から、指示体１２の画像を抽出する（ステップＳ１７）。指示体１２としての手指にマーカー１２Ａが装着されている場合、制御部１０３は、記憶部１０５に予め記憶している指示体パターン１０５Ａを読み出し、この指示体パターン１０５Ａと一致または類似するパターンを差分画像で検出する。

制御部１０３は、ステップＳ１６で抽出した指示体１２の影の画像と、ステップＳ１７で抽出した指示体１２の画像とが最も接近している位置（最接近点）を検出し（ステップＳ１８）、この最接近点における指示体１２の画像と指示体１２の影の画像との距離が、予め設定された距離以下であるか否かを判別する（ステップＳ１９）。この距離は、指示体１２の画像の端点および指示体１２の影の画像の端点の座標位置から求めてもよいし、各端点間の画素数で求めてもよい。
指示体１２の画像と指示体１２の影の画像との距離が設定値以下である場合（ステップＳ１９；Ｙｅｓ）、制御部１０３は、指示体１２がスクリーンＳＣに接触した接触操作と判定し（ステップＳ２０）、指示体１２の画像における最接近点の位置と、指示状態すなわち接触操作であることを示す情報をＰＣ１３に送信し（ステップＳ２１）、位置入力モードを終了するか否かを判別する（ステップＳ２２）。位置入力モードを継続する場合はステップＳ１３に戻る。

一方、指示体１２の画像と指示体１２の影の画像との距離が設定値より大きい場合（ステップＳ１９；Ｎｏ）、制御部１０３は、指示体１２がスクリーンＳＣに接触していない非接触操作と判定し（ステップＳ２３）、指示体１２の画像における最接近点の位置と、指示状態すなわち非接触操作であることを示す情報をＰＣ１３に送信し（ステップＳ２４）、ステップＳ２２に移行する。

以上のように、本発明を適用した実施形態に係る表示システム１０は、プロジェクター１１の制御部１０３が、Ｉ／Ｆ部１０１より入力された画像情報に基づき表示制御部１０７が取得した画像（原画像）と、プロジェクター１１がスクリーンＳＣに投射した画像を撮影した撮影画像とを取得し、取得した原画像をもとに、スクリーンＳＣ上の位置を指示する指示体１２の画像と指示体１２の影の画像とを撮影画像から検出し、検出した指示体１２の画像と指示体１２の影の画像との相対位置に基づき、指示体１２が指示する指示位置および指示状態を特定するので、指示体１２により指示された位置とともに、例えば指示体１２がスクリーンＳＣに接しているか否か等の指示状態を特定できる。これにより、指示体１２の形状に関わらず、指示された位置を正確に特定できる。また、指示体１２を操作する人の意図をより的確に反映して指示された位置を特定できる。
また、プロジェクター１１は、撮影画像から検出された指示体１２の画像と指示体１２の影の画像との距離に基づいて、指示体１２がスクリーンＳＣに接したか否かを判別するので、指示体１２の形状に関わらず、指示された位置を正確に特定できる。

また、プロジェクター１１は、スクリーンＳＣの上方から撮像装置５により撮影された撮影画像を取得して、指示体１２の指示位置及び指示状態を判別するので、スクリーンＳＣの正面に撮影装置等を設置する必要がなく、画像を投射するプロジェクターの設置が容易になるという利点がある。この効果は、スクリーンＳＣの上方に限らず、スクリーンＳＣの正面を除く他の方向（例えば、上下左右及び斜め方向を含む）から撮影する場合であっても同様である。言い換えれば、撮像装置５のレンズの軸線がスクリーンＳＣに対して垂直になる方向（正面）でなければ、どの方向から撮影しても同様の効果が得られる。なお、スクリーンＳＣが不透明であってスクリーンＳＣの背面から指示体１２を撮影できない場合には、撮影方向は、スクリーンＳＣの前面側において、スクリーンＳＣの正面を除く方向、と定義される。
また、撮像装置５がプロジェクター１１とは別体であり、この撮像装置５の撮影画像が有線または無線の通信路を介して制御部１０３に入力される構成としても同様の効果が得られる。この場合、撮像装置５は、正面以外の方向からスクリーンＳＣを撮影するように配置すればよい。

表示システム１０では、制御部１０３が識別可能な指示体パターン１０５Ａが付されたマーカー１２Ａを指示体１２として用いることが可能であり、このマーカー１２Ａを用いた場合、撮影画像から指示体パターン１０５Ａを検出することで指示体１２の画像を容易に検出できる。また、指示体１２の画像と指示体１２の影との区別が容易になることから指示体１２の影の画像を検出することも容易になる。これにより、指示位置を特定する処理の高速化を図ることができる。

なお、指示体１２として、マーカー１２Ａを装着しないで位置入力操作を行うことも可能である。
この場合、制御部１０３は、撮影画像と投射画像との差分の画像から、指示体１２としての手指の画像と、手指の影の画像とを抽出する。手指の影の画像は上記の実施形態と同様に輝度のしきい値を用いて検出可能である。これに対し、手指の画像は、例えば、手指の形状として考え得る形状のデータを予め複数記憶しておき、この記憶した形状と近い画像を撮影画像から検出する方法や、手指の色の基準データを記憶しておき、この色に近似する色を撮影画像から検出する方法がある。この場合の手指の色は、予め記憶した色に限らず、撮影画像を構成する各画素の色を統計的に処理して、手指の色の基準データを決定してもよい。

また、上記実施形態では、プロジェクター１１がスクリーンＳＣの上方から投射可能なものであり、スクリーンＳＣへの画像の投射を行う機能と、スクリーンＳＣを撮影する機能とを有する構成を例に挙げて説明したが、本発明はこれに限定されるものではなく、プロジェクターとは別体の撮影装置を用いる構成とすることも可能である。

［第２の実施形態］
図８は、本発明を適用した第２の実施形態に係る表示システム１０Ａの構成を示す図である。
表示システム１０Ａは、壁面に設けられたスクリーンＳＣに対して、下方から画像を投射するプロジェクター１１Ａを備え、ＰＣ１３がプロジェクター１１Ａに送信する静止画像または動画像を投射するシステムである。プロジェクター１１ＡはスクリーンＳＣの正面の床に台座を介して載置され、スクリーンＳＣの位置にあわせて所定のあおり角で上向きに投射光を投射する。
ＰＣ１３は上記第１の実施形態と同様に構成され、また、プロジェクター１１Ａは、プロジェクター１１（図３）のうち撮像装置５を除く各部を備えて構成される。上記第１の実施形態と同様に構成される構成部については図示及び説明を省略する。

表示システム１０Ａは、また、スクリーンＳＣの上方に、アーム１４を介して取り付けられた撮像装置５Ａを備えている。撮像装置５Ａは、第１の実施形態のプロジェクター１１が備える撮像装置５と同様に、撮像光学系５１及び撮像部５２を備え、撮像部５２は、有線又は無線の通信路により、プロジェクター１１Ａの制御部１０３またはＰＣ１３に接続される。
撮像装置５Ａは、プロジェクター１１Ａの制御部１０３またはＰＣ１３から送信される制御情報に従って、スクリーンＳＣを上方から撮影する。そして、撮像装置５Ａは、撮影画像のデータを、プロジェクター１１Ａに、或いはＰＣ１３を介してプロジェクター１１Ａに送信する。

表示システム１０Ａは、位置入力モードを実行可能であり、この位置入力モードではスクリーンＳＣ上で指示された位置を特定する。すなわち、スクリーンＳＣの前に立つ操作者が、指示体１２としての自分の手指をスクリーンＳＣ上で移動させ、特定の位置を指し示した場合に、手指により指し示された位置の座標を検出し、その座標で手指がスクリーンＳＣに接触しているか否かを判別する。
プロジェクター１１Ａは、位置入力モードにおいて撮像装置５Ａにより周期的に撮影を実行させ、撮影画像のデータを取得するとともに、撮影時にスクリーンＳＣに投射していた投射画像のデータを、内蔵するフレームメモリー１１５から取得する。そして、撮影画像と投射画像とを元に、上記第１の実施形態（図６）と同様の処理を行って、指示体１２による指示位置と指示状態とを判別する。

本第２の実施形態では、プロジェクター１１Ａと撮像装置５Ａとが別体として構成されているが、上記第１の実施形態と同様の効果がある。また、スクリーンＳＣの下方からプロジェクター１１Ａで画像を投射し、指示体１２と、投射光による指示体１２の影とを撮像装置５Ａにより上方から撮影する。つまり、撮影方向と投射方向とが異なる構成とすれば、投射方向に依らず撮影方向を選択できるので、指示体１２がスクリーンＳＣに接しているか否かを検出するために最適な条件の環境を実現できる。このため、指示体１２による指示状態を正確に、かつ速やかに判定できる。また、表示システム１０Ａは、比較的軽量の撮像装置５Ａを壁面に固定する一方、スクリーンＳＣの正面に設置され、正面から投射するタイプのプロジェクターを流用できるので、容易に低コストで実現できるという利点がある。
また、本第２の実施形態の構成において、撮像装置５Ａの位置はスクリーンＳＣの上方に限定されず、スクリーンＳＣの左右の側方から撮影するものであってもよい。

なお、上述した各実施形態は本発明を適用した具体的態様の例に過ぎず、本発明を限定するものではなく、上記実施形態とは異なる態様として本発明を適用することも可能である。例えば、上記実施形態においては、プロジェクター１１、１１Ａが指示体１２により指示された位置を検出し、指示状態を判定し、その結果を示す情報をＰＣ１３に送信する構成を例に挙げて説明したが、本発明はこれに限定されるものではなく、プロジェクター１１が投射した投射画像と撮像装置５、５Ａが撮影した撮影画像のデータをＰＣ１３が取得し、解析し、ＰＣ１３が指示位置と指示状態とを特定する構成としてもよい。
また、上記実施形態では、制御部１０３が撮像装置５の撮影画像と投射画像とを比較して差分を抽出する処理に先だって、撮影画像の形状が投射画像の形状と適合するように補正する構成について説明したが、本発明はこれに限定されるものではなく、撮影画像を補正せずに表示制御部１０７から取得した画像を撮影画像の歪みの状態に合わせて補正してもよい。

また、上記実施形態では、光源が発した光を変調する光変調装置として、ＲＧＢの各色に対応した３枚の透過型または反射型の液晶パネル３２を用いた構成を例に挙げて説明したが、本発明はこれに限定されるものではなく、例えば、１枚の液晶パネルとカラーホイールを組み合わせた方式、３枚のデジタルミラーデバイス（ＤＭＤ）を用いた方式、１枚のデジタルミラーデバイスとカラーホイールを組み合わせたＤＭＤ方式等により構成してもよい。ここで、光変調装置として１枚のみの液晶パネルまたはＤＭＤを用いる場合には、クロスダイクロイックプリズム等の合成光学系に相当する部材は不要である。また、液晶パネル及びＤＭＤ以外にも、光源が発した光を変調可能な光変調装置であれば問題なく採用できる。

また、上記実施形態では、指示体１２が操作者の手指である構成を例に挙げて説明したが、本発明はこれに限定されるものではなく、スクリーンＳＣ上で位置を指示することができる任意の部材を指示体１２として使用することができる。例えば、スクリーンＳＣの任意の位置を指示することができる指示棒等を指示体１２として使用しても良い。

さらに、上記実施形態では、複数の入力ソースからＩ／Ｆ部１０１に入力される入力画像を表示制御部１０７によって選択し、画像処理部１１３によって処理する構成として説明したが、本発明はこれに限定されるものではなく、この一連の処理を、プロジェクター１１に外部接続されたＰＣ１３等の画像供給装置が実行する構成としてもよい。この場合の画像供給装置は、プロジェクター１１が備える制御部１０３、記憶部１０５、表示制御部１０７及び画像処理部１１３の機能を備えるものとすることができる。また、本発明は、このような装置が実行するプログラムとして実現することも可能である。これらの構成では、プロジェクター１１は、上記画像供給装置から入力される画像をスクリーンＳＣに投射するものであればよい。また、上記実施形態では、ＰＣ１３が、プロジェクター１１に画像情報を出力する構成としたが、プロジェクター１１が内蔵する画像データを用いて画像を投射してもよい。さらに、上記実施形態では、プロジェクター１１が指示体１２の指示位置に関する位置情報をＰＣ１３に送信し、ＰＣ１３が、指示された位置に投射画像に重ねて描画を行って新たな投射用の原画像を作成する等の処理を行って、位置入力操作の内容を投射画像に反映させる構成としたが、この一連の処理をプロジェクター１１のみで行ってもよい。すなわち、プロジェクター１１が、指示体１２の指示位置に基づいて新たな画像を生成して投射してもよい。

また、図３に示したプロジェクター１１の各機能部は、プロジェクター１１の機能的構成を示すものであって、具体的な実装形態は特に制限されない。つまり、必ずしも各機能部に個別に対応するハードウェアが実装される必要はなく、一つのプロセッサーがプログラムを実行することで複数の機能部の機能を実現する構成とすることも勿論可能である。また、上記実施形態においてソフトウェアで実現されている機能の一部をハードウェアで実現してもよく、あるいは、ハードウェアで実現されている機能の一部をソフトウェアで実現してもよい。その他、プロジェクター１１及び表示システム１０の他の各部の具体的な細部構成についても、本発明の趣旨を逸脱しない範囲で任意に変更可能である。

３…投射部、５…撮像装置（撮影手段）、５Ａ…撮像装置、１０、１０Ａ…表示システム、１１、１１Ａ…プロジェクター（位置入力装置）、１２…指示体、１２Ａ…マーカー、１３…ＰＣ、３２…液晶パネル、３３…投射光学系、５１…撮像光学系、５２…撮像部、１０３…制御部（画像取得手段、指示体画像検出手段、及び、指示状態判別手段）、１０５…記憶部、１０５Ａ…指示体パターン、１１５…フレームメモリー、２００、２０１、２０２…撮影画像、２０５…校正用パターン、ＳＣ…スクリーン（投射面）。

Claims (7)

1. 原画像と、前記原画像に基づいてプロジェクターが投射面に投射した画像を撮影して取得された撮影画像とを取得する画像取得手段と、
   前記画像取得手段により取得した前記原画像をもとに、前記投射面上の位置を指示する指示体の画像と前記指示体の影の画像とを前記撮影画像から検出する指示体画像検出手段と、
   前記指示体画像検出手段により検出した前記指示体の画像と前記指示体の影の画像との相対位置に基づき、前記指示体が指示する指示位置および指示状態を特定する指示状態判別手段と、
   を備えることを特徴とする位置入力装置。
2. 前記指示状態判別手段は、前記指示体画像検出手段により検出した前記指示体の画像と前記指示体の影の画像との距離に基づいて、前記指示体が前記投射面に接したか否かを判別することを特徴とする請求項１記載の位置入力装置。
3. 前記画像取得手段は、前記投射面の正面以外の方向から撮影された撮影画像を取得することを特徴とする請求項１または２記載の位置入力装置。
4. 前記指示体には前記指示体画像検出手段が識別可能な所定のパターンが付され、前記指示体画像検出手段は、前記画像取得手段により取得された撮影画像から前記所定のパターンを検出することを特徴とする請求項１から３のいずれかに記載の位置入力装置。
5. プロジェクターであって、
   原画像に基づいて投射面に画像を投射する投射手段と、
   前記投射手段が前記投射面に投射した画像を撮影する撮影手段と、
   前記原画像と、前記原画像に基づいて当該プロジェクターが投射した画像を前記撮影手段が撮影した撮影画像とを取得する画像取得手段と、
   前記画像取得手段により取得した前記原画像をもとに、前記投射面上の位置を指示する指示体の画像と前記指示体の影の画像とを前記撮影画像から検出する指示体画像検出手段と、
   前記指示体画像検出手段により検出した前記指示体の画像と前記指示体の影の画像との相対位置に基づき、前記指示体が指示する指示位置および指示状態を特定する指示状態判別手段と、
   を備えることを特徴とするプロジェクター。
6. 原画像に基づいて投射面に画像を投射し、
   前記原画像に基づいて前記投射面に投射した画像を撮影して撮影画像を取得し、
   前記原画像をもとに、前記投射面上の位置を指示する指示体の画像と前記指示体の影の画像とを前記撮影画像から検出し、
   検出した前記指示体の画像と前記指示体の影の画像との相対位置に基づき、前記指示体が指示する指示位置および指示状態を特定すること、
   を特徴とするプロジェクターの制御方法。
7. 投射面に画像を投射するプロジェクターと、前記投射面を撮影する撮影装置とを備えて構成される表示システムであって、
   原画像と、前記原画像に基づいて前記プロジェクターが前記投射面に投射した画像を前記撮影装置が撮影して取得された撮影画像とを取得する画像取得手段と、
   前記画像取得手段により取得した前記原画像をもとに、前記投射面上の位置を指示する指示体の画像と前記指示体の影の画像とを前記撮影画像から検出する指示体画像検出手段と、
   前記指示体画像検出手段により検出した前記指示体の画像と前記指示体の影の画像との相対位置に基づき、前記指示体が指示する指示位置および指示状態を特定する指示状態判別手段と、
   を備えることを特徴とする表示システム。

Images