JPH1124839A

JPH1124839A - 情報入力装置

Info

Publication number: JPH1124839A
Application number: JP18093697A
Authority: JP
Inventors: Jiyunichi Rekimoto; 純一暦本; Nobuyuki Matsushita; 伸行松下
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1997-07-07
Filing date: 1997-07-07
Publication date: 1999-01-29
Anticipated expiration: 2017-07-07
Also published as: US20010012001A1; US6414672B2; JP3968477B2

Abstract

(57)【要約】【課題】インタラクティブな入出力環境を強化拡大す
る。【解決手段】半透明面２の背面側に対して、赤外線光
を定常的に照射する赤外線ＬＥＤパネル３と、半透明面
２側から入射してくる赤外線光のみを撮像するＣＣＤカ
メラ４と、半透明面２に対して画像（赤外線光は含まな
い）を投影表示するプロジェクタ５を設ける。ユーザが
半透明面２の前面側で操作を行うと赤外線反射光量が変
化するので、制御装置６では、ＣＣＤカメラ４の撮像信
号に基づいて上記反射光量の変化を検出画像情報として
捉えた上で、この画像情報に基づいて得られる操作情報
に従って、例えば半透明面２に対するインターフェイス
画面の切り換え表示などのための所要の制御を実行す
る。この場合、操作方法としては赤外線光の反射によっ
て検出画像情報に変化が現れるような形態をとればよ
く、多様な操作方法によるインタラクティブな入出力が
可能となる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、例えばインタラク
ティブな入出力のために利用して好適な情報入力装置に
関するものである。

【０００２】

【従来の技術】例えばコンピュータ装置などでは、様々
なアプリケーションプログラムなどのもとで、ユーザの
操作に応答してコンピュータ装置側が所定の反応を表示
等によって提示する、いわゆるインタラクティブな入出
力形態が広く採用されている。

【０００３】上記のようなインタラクティブな入出力を
行うために用いられる入力装置の１つとして例えばタッ
チパネルが広く知られている。タッチパネルは、パネル
上に対して例えばユーザの指を接触させながら、任意の
方向にスライド操作させるようにして、所要の操作を行
うものである。

【０００４】また、コンピュータ化されたホワイトボー
ドとして機能するプロジェクションディスプレイも知ら
れている。このようなプロジェクションディスプレイで
は、例えばユーザが専用の赤外線発光ペンを利用して、
上記ホワイトボード上に対して操作を行うようにされ
る。

【０００５】また、「ビデオプレイス」といわれるイン
タラクティブな効果をねらった装置が知られている。こ
のビデオプレイスは、例えばビデオカメラを利用した芸
術性を有する装置とされる。例えばビデオプレイスの鑑
賞者は、ビデオカメラに自身の手あるいはその他の人体
の一部をシルエットとして撮影させる。鑑賞者は、この
撮影画像と例えば他の画像とが合成された何らかの画像
をモニタ装置でみながら自在に手や人体の一部を動かす
ことにより、モニタ装置に表示される画像の反応や変化
を楽しむことができるようになっている。

【０００６】

【発明が解決しようとする課題】ところで、更に拡大さ
れたインタラクティブな入出力環境を実現することを考
えた場合、上記したようなこれまでの入力装置では次の
ような点で限界が見えてくる。タッチパネルを例に採っ
た場合、ポインティングの操作は概して指に限定され
る。また、タッチパネル上の空間での操作は行えず、操
作面に対して指などの物理的な操作体をパネル面上に接
触させる必要がある。更に、タッチパネルは比較的高価
なので大型の操作パネルとしては好適でない。また、コ
ンピュータ化されたホワイトボードとして機能するプロ
ジェクションディスプレイの場合、操作画面の大型化は
容易に実現可能なのであるが、例えば上記したように赤
外線発光ペンなどの特殊なポインティングデバイスが必
要となる。

【０００７】また、ビデオプレイスの場合には、手や人
体のシルエットを利用して何らかのインタラクティブな
操作を実現するため、その入出力間のインターフェイス
が間接的であり、直接的な操作を望む場合には機能的に
不十分となる。

【０００８】このように、これまでの入力装置ではイン
タラクティブな入出力環境を強化拡大するには様々な障
害となる要因が存在する。

【０００９】

【課題を解決するための手段】そこで、本発明は上記し
た課題を解決するため、半透明面と、この半透明面側か
ら入射する所定の波長帯域の光又は電磁波のみを撮像す
る撮像手段と、この撮像手段から入力された撮像信号に
基づいて、上記半透明面に対して与えられたとされる入
力情報を検出するための検出用画像情報を生成し、この
検出用画像情報に基づいて識別された入力情報に基づい
て所要の制御処理を実行する制御処理手段とを備えるこ
ととした。この構成により本発明としての基本的な情報
入力装置の構成が得られるのであるが、上記構成による
と、例えば半透明面に近づいた物理的対象によって撮像
手段に入射する光又は電磁波の状態が変化することにな
る。本発明ではこのような光又は電磁波の状態変化を画
像情報として捉えることになる。そして、このようにし
て得られる画像情報を操作情報として扱い、この操作情
報に従って所要の制御処理を実行することが可能とな
る。つまり、半透明面の付近において、撮像手段により
撮像される所定波長帯域の光又は電磁波の状態に変化を
与えることのできる何らかの物理的対象を近づけたり動
かしたりするような操作によって入力情報を与えること
で、インタラクティブな入出力を行うことが可能とな
る。また、本発明において操作パネルとして機能するの
は単なる半透明面であり、例えば、透明面を形成する材
質と半透明面を形成する材質とを組み合わせることによ
って形成することが可能であるため、この半透明面とし
ては容易に大型なものを形成することができることにも
なる。また、上記構成に対して、上記撮像手段が受像す
べき光又は電磁波を半透明面に対して定常的に輻射する
輻射手段を備えれば、半透明面に対して行われた操作情
報を検出するための媒体が容易に得られることになる。

【００１０】また、撮像手段が受像すべき光又は電磁波
の波長帯域を含まない可視光による画像を半透明面に対
して投影表示可能に配置される投影表示手段を備え、制
御処理手段が実行する制御処理として、所要の表示用画
像を投影表示手段により投影表示させるための表示用画
像生成処理及び投影表示手段に対する制御を実行するよ
うに構成することとした。この構成によると、半透明面
は操作パネルとしての機能に加えて表示パネルとしての
機能も与えられることになるので、半透明面に対して行
われた操作に応じたインタラクティブな応答を、同じ半
透明面に画像として表示させることが可能になる。

【００１１】

【発明の実施の形態】以下、本発明の実施の形態の情報
入力装置について説明する。なお、以降の説明は次の順
序で行う。＜１．第１の実施の形態＞＜２．第２の実施の形態＞＜３．第３の実施の形態＞＜４．第４の実施の形態＞＜５．第５の実施の形態＞＜６．第６の実施の形態＞＜７．第７の実施の形態＞＜８．第８の実施の形態＞

【００１２】＜１．第１の実施の形態＞先ず、図１〜図
１０を参照して本発明の第１の実施の形態について説明
する。図１は、本発明の第１の実施の形態としての情報
入力装置を備えてなるインタラクティブ表示システムの
構成例を概念的に示している。本実施の形態としてのイ
ンタラクティブ表示システム１は、半透明面２、赤外線
発光ダイオード素子（ＬＥＤ：Light Emitted Diode
）パネル３、ＣＣＤ(Charge Coupled Device) カメラ
４、プロジェクタ５、及び制御装置６を備えて構成され
る。赤外線ＬＥＤパネル３、ＣＣＤカメラ４、及びプロ
ジェクタ５は半透明面２の背面側に対して設けられる。

【００１３】半透明面２は、例えば透明なガラス板に対
してトレーシングペーパーのような見え方をする半透明
膜を貼り合わせる、あるいは磨りガラスのような半透明
の性質を有するものを利用するなどして形成され、後述
するようにして当該インタラクティブ表示システム１に
おける操作パネルと表示パネルとの両者の機能を併せ持
つ。赤外線ＬＥＤパネル３は、例えばパネル面に対して
多数の赤外線ＬＥＤが集合的に配列されることによって
構成され、上記赤外線ＬＥＤから発光出力される赤外線
光が半透明面の背面全体に対して照射されるように設け
られる。上記赤外線ＬＥＤは制御装置６によって定常的
に赤外線を発光するように駆動される。なお、赤外線Ｌ
ＥＤパネル３としては、発光出力される赤外線光が半透
明面２全体に対して照射されるのに充分な数の赤外線Ｌ
ＥＤが設けられればよい。また、後述するように、初期
の赤外線画像に対する現在の赤外線画像の差分に基づい
て半透明面２側から反射してくる画像情報を得るように
されることから、半透明面２全体に対して照射される赤
外線光量が一律であるべき必要もない。従って赤外線Ｌ
ＥＤパネル３のサイズは、半透明面２よりもはるかに小
さいもので済ませることができる。

【００１４】ＣＣＤカメラ４は、撮像素子としてＣＣＤ
を用いたカメラ装置であり、この場合には、半透明面２
に映る画像光として赤外線光の成分のみを撮像すること
により、半透明面２に対して行われた操作を画像情報と
して認識するために設けられる。このため、ＣＣＤカメ
ラ４の光学系の部分に対しては、赤外線領域の波長帯域
のみを透過する赤外線透過フィルタ４ａが設けられる。
また、ＣＣＤカメラ４により撮影される構図として半透
明面２全体が含まれるようにその配置位置が設定され
る。

【００１５】プロジェクタ５は、制御装置６から供給さ
れる画像情報に基づいて、可視光による画像光を半透明
面２の背面に対して投影表示する。例えばユーザは、半
透明面２に投影表示されたプロジェクタ５の画像を、半
透明面２の前面側から観察することができる。ここで、
プロジェクタ５の光学系には赤外線領域の波長を遮断す
る赤外線遮断フィルタ５ａが設けられているが、これに
より、半透明面２に投影表示される画像光には赤外線が
含まれなくなるため、プロジェクタ５の投影画像は、Ｃ
ＣＤカメラ４からは不可視となる。

【００１６】制御装置６は、例えばマイクロコンピュー
タを備えて構成され、ＣＣＤカメラ４から供給される撮
像信号から画像情報（映像データ）を得て、更にこの画
像情報をもとに操作情報を得る。そして、この操作情報
に基づいて、例えばプロジェクタ５により半透明面２に
表示させる画像に関する表示制御を実行する他、各種所
要の制御処理を行う。また、赤外線ＬＥＤパネル３の赤
外線ＬＥＤの発光駆動を行う。なお、上記赤外線ＬＥＤ
パネル３、ＣＣＤカメラ４及びプロジェクタ５の配置位
置は、それぞれが果たすべき役割が充分機能することを
考慮して設定されればよい。

【００１７】図２は、上記制御装置６の内部構成例を示
すブロック図である。この図に示す制御装置６におい
て、ＬＥＤ駆動部１０は、赤外線ＬＥＤパネル３に設け
られた複数の赤外線ＬＥＤを発光駆動するための回路部
位である。

【００１８】画像入力部１１は、ＣＣＤカメラ４から供
給された撮像信号について所要の信号処理を施すことに
よって映像信号を生成して入力画像処理部１２に供給す
る。つまり、画像入力部１１では、半透明面２側からＣ
ＣＤカメラ４を介して入射してきた赤外線光を映像情報
として出力する。

【００１９】入力画像処理部１２では、例えば画像入力
部１１から供給された映像信号をデジタル信号による映
像信号データに変換する。入力画像処理部１２において
は、この映像信号データに基づいて得られる「画像情報
（例えばフレーム単位の映像データ）」を利用して所要
の解析処理等を実行することで、半透明面２に対して行
われた操作情報を得るようにされる。ここで画像情報に
基づいて得られる操作情報としては、例えば、半透明面
２に対して操作を行っている操作体の画像上の位置（座
標）や画像の信号レベルなどが用いられる。この操作情
報はデータベース駆動部１４に伝送される。また、上記
映像信号データは、画像合成部１７に対しても供給可能
とされている。

【００２０】しきい値制御部１３は、入力画像処理部１
２にて実行される操作情報に関する処理に必要なしきい
値を設定して入力画像処理部１２に伝送する。上記入力
画像処理部１２では、しきい値制御部１３において設定
されるしきい値を利用して画像情報について解析を行う
など所要の処理を実行することで操作情報を得る。ま
た、本実施の形態では後述するようにして入力画像デー
タのフレーム差分を算出することにより、現在の半透明
面２の画像状態（検出画像情報）を得るようにされる
が、フレーム差分演算に利用する基準値（基準画像入力
レベル）等の情報も、後述するようにして、しきい値制
御部１３に格納されるものとする。

【００２１】データベース駆動部１４は、入力画像処理
部１２により得られた操作情報を取り込み、この操作情
報に基づいて適宜所要の処理を実行する。この際、デー
タベース駆動部１４が実行すべき制御処理に必要なプロ
グラムデータはデータベースメモリ１５に格納されてお
り、データベース駆動部１４は、データベースメモリ１
５に格納されたプログラムデータに基づいて所要の制御
処理を実行することになる。

【００２２】画像生成部１６は、データベース駆動部１
４の制御によって、必要な画像データ（デジタル信号に
よる映像信号データ）を生成して画像合成部１７に出力
する。画像合成部１７においては、必要があれば上記画
像生成部１６から供給された映像信号データに対して、
入力画像処理部１２から供給された映像信号データを合
成してＲＧＢ信号生成部１８に対して出力する。ＲＧＢ
信号生成部１８では、上記画像合成部１７から供給され
た映像信号データについて、例えばアナログによるＲＧ
Ｂ信号に変換してプロジェクタ５に対して出力する。こ
れにより、プロジェクタ５からは、半透明面２に対して
行われる操作に応答した映像による画像光が半透明面２
に対して照射出力されることになる。

【００２３】次に、上記構成による本実施の形態のイン
タラクティブ表示システム１における操作情報の検出方
法について説明する。前述のように、図１に示す半透明
面２全体に対しては、その背面から赤外線ＬＥＤパネル
３により赤外線光が照射されるのであるが、この赤外線
光は半透明面２が半透明であることから、全ての赤外線
光が半透明面２を通過するのではなく、幾分かの赤外線
光が半透明面２の作用によって反射されることになる。
そして、本実施の形態においては半透明面２に対して何
も操作が行われていないとされる状態のもとで、半透明
面２にて反射される赤外線光をＣＣＤカメラ４により撮
像して得られる映像信号データの初期レベルを「基準入
力画像レベル」として記憶する。この基準入力画像レベ
ルは、入力された映像信号データに基づいて例えば１フ
レームにおける画素ごとの信号レベルを検出することに
より行うようにすればよい。この検出処理は、入力画像
処理部１２により行われるものとされる。このようにし
て検出された基準入力画像レベルの情報はしきい値検出
部１３に伝送され、ここで保持されることになる。

【００２４】上記基準入力画像レベルの検出処理は、例
えば図３のフローチャートに示すものとなる。この図に
示すように、先ず入力画像処理部１２では、ステップＳ
１０１において、ＣＣＤカメラ４から画像入力部１１を
介して供給された映像信号から得られる１フレーム分の
画像データに基づいて、上述のようにして画素ごとに信
号レベルを検出し、この検出結果を基準入力画像レベル
Ｌｉｎｔとして得る。なお、具体的には画素ごとの輝度
信号成分のレベルを検出してこれを基準入力画像レベル
Ｌｉｎｔとすることが考えられる。入力画像処理部１２
は、続くステップＳ１０２において、上記基準入力画像
レベルＬｉｎｔをしきい値制御部１３に伝送して記憶さ
せるように処理を実行する。

【００２５】なお、基準入力画像レベルＬｉｎｔを検出
してしきい値制御部１３に記憶させる処理（上記図３に
示す処理動作）は、例えば当該インタラクティブ表示シ
ステムの電源オン時などに実行させたり、あるいは何ら
かのユーザの指示によって必要なときに基準入力画像レ
ベルＬｉｎｔを更新させるように構成することが考えら
れる。

【００２６】上記のようにして基準入力画像レベルＬｉ
ｎｔの情報が保持された状態のもとで、操作情報として
扱われる画像情報は次のようにして得るようにされる。
図４は、操作情報のもととなる画像情報（以下、この
「画像情報」については特に「検出画像情報」という）
を得るための入力画像処理部１２の処理動作を示すフロ
ーチャートである。この場合、入力画像処理部１２は、
先ずステップＳ２０１において現在の入力画像レベルＬ
ｐｒｓを検出する処理を実行する。ここでいう入力画像
レベルＬｐｒｓは、現在においてＣＣＤカメラ４により
撮像された、赤外線光に基づく半透明面２の画像につい
てのフレーム単位のデータであり、このフレーム単位の
画像データにおける画素ごとの信号レベルを検出して得
られる情報である。続いて、入力画像処理部１２はステ
ップＳ２０２において、基準入力画像レベルＬｉｎｔと
上記現在の入力画像レベルＬｐｒｓの差分を演算する
（Ｌ＝Ｌｐｒｓ−Ｌｉｎｔ）ことによって差分入力画像
レベルＬを算出する。具体的には、基準入力画像レベル
Ｌｉｎｔと上記入力画像レベルＬｐｒｓとして得られた
データ値を、同一位置の画素ごとに差分を求めることに
よって差分入力画像レベルＬを得るようにされる。従っ
て、差分入力画像レベルＬとしては、常に基準入力画像
レベルＬｉｎｔに対する現在の入力画像レベルＬｐｒｓ
との信号レベル差が画素ごとに得られることになる。そ
して、入力画像処理部１２は、ステップＳ２０３に進
み、上記差分入力画像レベルＬに基づいて、現在の検出
画像情報（フレーム単位で画素ごとのレベル情報を有す
る形式の映像データ）を生成するようにされる。

【００２７】上記のごとき検出画像情報の検出動作を、
実際のユーザの半透明面２の前面側での動きと共に説明
する。例えばユーザは、半透明面２の前面側において赤
外線を反射可能な何らかの物体を利用して半透明面２の
前面側において操作を行うようにするのであるが、ここ
では、説明の簡単のためにユーザ自身の指や身体を用い
ることとする。ここで、例えば図１に示すように半透明
面２の前面側においてユーザが半透明面２から遠く離れ
た距離にいるときには、例えば半透明面２を通過してユ
ーザの身体に反射するとされる赤外線光量は少ないこと
から、そのほとんどが半透明面２の前面から背面を通過
して戻ることはない。このとき、上述した基準入力画像
レベルＬｉｎｔと上記現在の入力画像レベルＬｐｒｓと
は同等であり、入力画像処理部１２では、差分入力画像
レベルＬとしてほぼ０であると検出することになる。つ
まり、差分入力画像レベルＬに基づいて生成される検出
画像情報としては、初期状態と同様の変化の無いとされ
る状態が得られることになる。

【００２８】ここで、例えば上記の状態からユーザが徐
々に半透明面２に対して近づいていったとすると、半透
明面２を通過してユーザの身体に反射する赤外線光のう
ち、半透明面２を通過して背面側に到達する光量が次第
に増加していくことになる。この状態を、入力画像処理
部１２からみた場合には、ユーザの身体に対応する画像
部分の基準入力画像レベルＬｉｎｔに対する現在の入力
画像レベルＬｐｒｓのレベルが徐々に増加していく状態
として捉えられる。これに応じて、検出画像情報として
は算出される差分入力画像レベルＬに応じて、半透明面
２に接近するユーザの姿が徐々に捉えられていくことに
なる。そして、半透明面２に対して例えばユーザの体が
非常に接近した状態（しきい値の設定にもよるが例えば
半透明面２から３０ｃｍ以内）では、その人体に反射し
た赤外線光がほとんど半透明面２を通過して背面側に到
達することになるので、その身体形状がより鮮明な状態
の検出画像情報が生成されることになる。

【００２９】また、ここでユーザがその身体を半透明面
２からある程度距離を置いた状態で、例えば自身の指を
手前にかざして半透明面２の非常に近い位置においたと
する。この場合、半透明面２に近接するユーザの指は他
の身体部分よりも多くの赤外線光を反射するため、入力
画像処理部１２において得られる画像情報としては、ユ
ーザの指にあたるに位置の画像領域のレベルが強く、そ
の背景となる部分においてユーザの身体部分にあたる位
置の画像領域のレベルは半透明面２からの距離に応じて
弱くなることになる。そして、例えばこの状態のもと
で、しきい値制御部１３にて設定された所定のしきい値
と検出画像情報とを比較すれば、容易にユーザの指にあ
たる部分のみの画像を背景から分離させることが可能で
あり、同様にしきい値の設定によっては、半透明面２か
ら離れた距離にあるユーザの身体部分のみを抽出した画
像情報を得ることも可能である。このようなしきい値
は、前述のように実際に必要とされる条件に応じた値が
しきい値制御部１３において設定されるものである。

【００３０】このようにして、半透明面２の前面側の状
態を検出する構成を採ることにより、この半透明面２を
例えばインタラクティブなインターフェイスのための操
作パネルとして機能させる場合には次のような利点が得
られる。先ず、本実施の形態では半透明面２側からの赤
外線の反射光量によって得られる画像に基づいて操作情
報を得ることになるので、操作を行うための操作体とし
ては、特に特殊なポインティングデバイスを必要とせ
ず、赤外線を反射する物体であればその種類は問わない
ことになる。つまり、操作体としては、上述のように人
体全体もしくはその一部や、その他の何らかの物体を問
題なく使用することができる。

【００３１】また、例えばタッチパネルなどでは操作パ
ネル面に対して指などの操作体を接触させる必要がある
が、本実施の形態の場合には操作体の位置や動きは赤外
線光の反射として検出されればよいことから、半透明面
２に操作体を接触させる必要性はなく、その前面の空間
において操作を行うような方法を採ることができる。

【００３２】また、上述したように赤外線の反射光量
は、操作体の半透明面２に対する距離に応じて変化する
ために、例えば操作体の半透明面２からの距離を操作情
報として利用することも考えられる。

【００３３】更に、半透明面２は前述のように例えば透
明のガラス板などに対してトレーシングペーパーのよう
な半透明の薄膜を組み合わせたり、磨りガラスのような
ものを利用するなどの簡略な手段により構成可能とさ
れ、特にパネルに固有の駆動回路などは不要なので、低
コストで容易に大型化を実現することができ、この点で
大型化が困難なタッチパネルなどとは大きく異なる。そ
して、半透明面２側からの赤外線の反射光により得られ
る画像に基づいて操作情報を得ることで、画像認識さえ
可能であれば複数の操作体を同時に認識して所要の制御
を実行させることが可能である。つまり、複数の異なる
操作対象に対する同時操作が可能となるものであり、特
に半透明面２が大画面として構成される場合には半透明
面２上のいろいろな領域を利用して異なる種類の操作を
同時に行うことができることにもなるので非常に有効と
なる。

【００３４】そして、半透明面２は画像表示パネルとし
ての機能も有することから、例えば後述するように操作
対象となるメニュー画面のようなものを表示させた上
で、ユーザがこのメニュー画面に対して指などにより操
作を行えるようにするなどの直接的な操作を実現するこ
とも容易に可能となる。このように、本実施の形態とし
てのインタラクティブ表示システムでは、その操作情報
を入力するのに多くの可能性が得られるために、これま
でには無かったようなインタラクティブな入出力環境を
容易に構築することができる。

【００３５】次に、上記構成による本実施の形態のイン
タラクティブ表示システム１の利用例について、図５〜
図９を参照して説明する。図５には、本実施の形態のイ
ンタラクティブ表示システム１の第１の利用例として、
メニュー操作を行う場合が示されており、ここでは半透
明面２を前面側からみた状態が示されている。例えばこ
の図に示すように、ユーザが半透明面２の前面に近づい
たとすると、先ず、インタラクティブ表示システム１の
制御装置６では、このときに得られる検出画像情報に基
づいてユーザが近づいた半透明面２上の位置を認識す
る。そして、半透明面２上においてユーザが近づいたと
認識された位置に対して、図のようにメニュー画面Ｍを
表示するように表示制御を行う。このメニュー画面Ｍは
当然のこととしてプロジェクタ５から半透明面２に対し
て投影された画像である。そして、ユーザ自身が位置し
ている付近の半透明面２上にメニュー画面Ｍが表示され
た状態のもとで、例えばユーザは自身の指を用いて、メ
ニュー画面Ｍにおいて操作項目が表示されている任意の
領域を指さすように指定したとする。このとき、ユーザ
の指先は、半透明面２上から３ｃｍ〜３０ｃｍ程度の範
囲内の距離にあるようにされる。

【００３６】これにより、例えばメニュー画面Ｍにおい
ては、ユーザが指し示した操作項目の領域が選択された
ことを示す何らかの指示表示（例えば選択領域に対する
カーソルの配置表示や所定の形態による強調表示など）
が行われることになる。この強調表示のための表示制御
は、検出画像情報に基づいてユーザの指が指し示してい
る領域の座標を検出することにより実現される。ここで
は、上記のようにして指示表示が開始された状態から所
定時間（例えば数秒程度）経過したときにエンター操作
が行われたとみなすこととする。そして、ユーザがエン
ター操作を行った、つまり、特定の操作項目が強調表示
された状態を所定時間以上維持させたとすると、指定さ
れた操作項目に従った所要の制御動作を実行することに
なる。例えば、指定された操作項目に従って、他の階層
のメニュー画面を表示させたり、当該インタラクティブ
表示システム１に対して所望の動作を実行させたりする
ことになる。あるいは、当該インタラクティブ表示シス
テム１が何らかの外部機器を制御可能に構成されてお
り、メニュー画面がその外部機器の動作についての操作
制御を行うためのものであるとすれば、指定された操作
項目に従って外部機器の動作を制御することになる。な
お、ユーザが半透明面２の前面から離れていき、ユーザ
と半透明面２との間にある程度以上の距離があいた場合
には、それまで表示されていたメニュー画面Ｍは自動的
に消去されるものとされる。

【００３７】ここで、図６のフローチャートに、上記図
５に示した利用例に対応して実行される制御装置６の処
理動作を示す。この図に示す処理動作は、主として制御
装置６内の入力画像処理部１２が検出画像情報に基づい
て操作情報を認識すると共に、データベース駆動部１４
がデータベースメモリ１５に格納されたプログラムに従
って、上記操作情報に基づいて適宜処理動作を実行する
ことにより実現されるものである。

【００３８】この図に示すルーチンにおいては、先ずス
テップＳ３０１において現在の検出画像情報から「接近
体」が検出されるか否かについて判別を行う。ここで、
「接近体」とは半透明面２に対して所定の距離範囲まで
接近した何らかの検出対象（図５ではユーザ自身の身体
とされている）をいうものとされる。この「接近体」の
検出は、例えば入力画像処理部１２が検出画像情報と接
近体の検出用に設定されたしきい値（しきい値制御部１
３により設定される）を比較して、例えば検出画像情報
のある領域においてこのしきい値以上の値が得られた場
合には「接近体有り」と検出し、しきい値以上の値が得
られる領域がない場合には、「接近体無し」と検出する
ことになる。上記接近体検出用のしきい値は、例えば通
常、人体（ユーザ）が半透明面２にある程度（例えば数
十ｃｍ）近づいたときに検出画像情報として得られる人
体部分の画像レベルに基づいて設定されればよい。

【００３９】上記ステップＳ３０１において接近体が検
出されなかった場合にはステップＳ３０８に進んで、こ
こで現在メニュー画面Ｍが表示中であるか否かについて
判別が行われ、ここでメニュー画面Ｍが表示されていな
い場合には元のルーチンに戻る（即ち再度ステップＳ３
０１の処理に移行する）が、メニュー画面Ｍが表示中の
状態である場合にはステップＳ３０９に進み、メニュー
画面Ｍを消去するための制御処理を実行する。このメニ
ュー画面Ｍの消去処理は、例えばデータベース駆動部１
４が画像生成部１６に対するメニュー画面Ｍの画像デー
タの生成処理を停止することで実現される。

【００４０】これに対して、ステップＳ３０１において
接近体が検出された場合には、ステップＳ３０２に進ん
で、半透明面２上における上記接近体の位置を検出する
ことが行われる。この処理は、例えば検出画像情報にお
ける接近体の部分が占有する領域の座標を検出すること
で可能となる。この場合、検出すべき座標としては接近
体の領域の所定の一地点であっても、所定規則に従って
求められる複数地点であっても構わなく実際の使用環境
等に応じて任意に設定されればよい。

【００４１】続くステップＳ３０３においては、上記ス
テップＳ３０２にて検出された接近体の位置に応じた半
透明面２の領域に対してメニュー画面Ｍを表示させるた
めの制御を実行する。この制御処理は、例えばデータベ
ース駆動部１４がデータベースメモリ１５に格納されて
いるメニュー画面表示用のプログラムに基づいて、画像
生成部１６において所要の種類のメニュー画面の画像デ
ータが作成されるように制御を行うことになる。この
際、データベース駆動部１４は、ステップＳ３０２にて
検出された接近体の位置に対応する表示領域に対して、
例えばメニュー画面の画像データをマッピングするよう
にして、表示用画像データを作成する。この結果、最終
的にプロジェクタ５から投影される画像としては、半透
明面２におけるユーザが近づいた位置に対してメニュー
画面Ｍが表示されたものとなる。

【００４２】上記ステップＳ３０３の処理が実行された
後は、ステップＳ３０４において、現在表示中のメニュ
ー画面Ｍの操作項目とされる表示領域内において、「操
作体」が検出されたか否かについて判別が行われる。こ
こで、「操作体」とは半透明面２の前面において至近距
離（しきい値の設定にもよるが３ｃｍ〜３０ｃｍ程度）
にある物体（検出対象）のことをいうものとされる。つ
まり、図５においてはメニュー画面Ｍを指し示す指が対
象となる。そして、この「操作体」の検出処理は、先
ず、操作体検出用としてしきい値制御部１３において設
定されたしきい値と、検出画像情報の画像レベルとを比
較することにより、操作体の有無を検出することが行わ
れる。このとき設定されるしきい値としては、半透明面
２の前面において至近距離にある物体を背景から分離し
て検出する必要上、前述した接近体検出用のしきい値よ
りも大きい値が設定される。そして、例えばしきい値と
比較した結果、操作体が検出されたとすれば、その操作
体が検出された検出画像情報上の座標位置を検出し、こ
の検出位置とメニュー画面Ｍが表示されているとされる
画像情報上の位置が一致しているか否かを判別すること
で、現在表示中のメニュー画面の表示領域内における操
作体の有無を検出することになる。

【００４３】上記ステップＳ３０４においてメニュー画
面Ｍの操作項目とされる表示領域内において操作体が検
出されない場合とは、検出画像情報上に操作体が検出さ
れなかった（ユーザが至近距離で半透明面２上を指し示
していないような状態）か、或いは、検出画像情報上に
操作体を検出したとしても、この操作体の検出位置（座
標）がメニュー画面Ｍの表示領域内に対応する画像情報
上の領域に無かった（ユーザが至近距離で半透明面２上
を指し示していた位置がメニュー画面Ｍの操作項目以外
の領域であったような状態）ことになるが、このような
場合にはステップＳ３０１に戻るようにされる。

【００４４】なお、ここで操作体が人体の手又は指に特
定されるような場合には、ステップＳ３０４における操
作体の検出処理として、例えば、データベースメモリ１
５に対して操作時に現れる人体の手又は指の形状の情報
を記憶させておき、この手又は指の形状の情報と、検出
画像情報として得られた画像形状とを比較して、その一
致状態をみて操作体の検出の有無を識別するように構成
することが可能である。本発明では、画像情報から入力
情報を検出するために、検出画像情報に得られる画像の
形状に基づいてもこれを操作情報として認識可能であ
る。

【００４５】ステップＳ３０４においてメニュー画面Ｍ
の操作項目とされる表示領域内において操作体が検出さ
れたと判別された場合には、ステップＳ３０５に進ん
で、操作体が検出された位置に対応するメニュー画面Ｍ
の操作項目について指示表示が行われるように制御を実
行してステップＳ３０６に進む。

【００４６】ステップＳ３０６の処理はエンター操作の
待機処理となる。前述のように、ここでのエンター操作
は、指示表示が開始された状態から所定時間経過したと
きに確定されるものと規定している。そこで、ステップ
Ｓ３０６においては、ステップＳ３０４にて検出された
操作体の検出状態が所定時間以上維持されるか否かにつ
いて検出を行うようにしている。この検出処理は、入力
画像処理部１２において現在の検出画像の状態遷移を監
視することにより行われる。そして、例えば現在の検出
画像情報上から操作体が検出されなくなったり、あるい
は現在の検出画像情報上における操作体の検出位置が、
ステップＳ３０４にて検出されたメニュー画面Ｍの操作
項目とされる表示領域内から外れたことが検出されたよ
うな場合には、ステップＳ３０６からステップＳ３０１
以降の処理に戻ることになる。（この処理により、例え
ばユーザがこれまでとは異なるメニュー画面Ｍ上の操作
項目を指し示すように、その指定位置を変更した場合に
は、新たに指定されたメニュー画面Ｍ上の操作項目に対
して指示表示が行われたりすることになる。）

【００４７】これに対して、ステップＳ３０６におい
て、直前のステップＳ３０４にて検出された操作体の検
出状態が所定時間以上維持されたと判別された場合に
は、エンター操作が行われたものとしてステップＳ３０
７に進む。ステップＳ３０７においては、メニュー画面
Ｍ上において操作体が検出された位置の操作項目に応じ
た所要の制御処理が実行される。この処理は、データベ
ース駆動部１４がデータベースメモリ１５に格納された
プログラムに従って実行することになる。

【００４８】図７には、本実施の形態のインタラクティ
ブ表示システム１の第２の利用例が示されている。この
場合には、制御部６の制御によってプロジェクタ５から
投影される画像として、世界地図が半透明面２上に表示
されている。例えば、この世界地図を表示するのに際し
ては、例えば図５に示したようなメニュー画面Ｍの操作
により表示させるようにしてもよいし、ユーザ（説明
者）が半透明面２に対してある程度近づいたときにこれ
を「接近体」として検出することにより自動的に表示さ
せるようにすることも考えられる。また、このときの表
示形態としても、半透明面２の前面で説明者が立ってい
る水平方向の位置に対応して、基準となる国や地域（例
えば日本）が常に説明者の位置する付近に表示されるよ
うにすることなどが可能である。そして、この場合に
は、地図（半透明面２）上で説明者が指し示した位置に
対して、その指定された地域についての何らかの説明を
行う説明画像ＤＴが、地図上にインポーズされるように
して表示される。この場合には、制御装置６において、
説明者が指等で指し示した位置（座標）を操作体として
検出し、この検出した操作体の位置に一致するとされる
地域の説明画像ＤＴを表示するように制御することにな
る。なお、この場合の地図としての画像データや、各種
説明画像ＤＴは、データベースメモリ１５に対して格納
されているものとされる。前述のように、本実施の形態
のインタラクティブ表示システム１は表示画面（及び操
作パネル）である半透明面２の大型化が容易であること
から、この第２例のように、大型の半透明面２を利用し
た会議やデモンストレーションなどは、その用途として
本実施の形態のインタラクティブ表示システム１とし
て、十分に考えられるものである。

【００４９】次に、図８に本実施の形態のインタラクテ
ィブ表示システム１の第３の利用例を示す。ここでは、
２つのメニュー画面Ｍ１，Ｍ２が同時に表示されている
と共に、これらメニュー画面Ｍ１，Ｍ２に対して、ユー
ザが同時に操作を行っている状態が示されている。前述
のように、本実施の形態ではＣＣＤカメラ４にて撮像さ
れる赤外線光に基づいて得られる「検出画像情報」から
操作情報を得るようにされる。つまり、画像状態を認識
することにより操作情報を得る。このため、例えば図８
の場合のように、操作体（ここではユーザの手や指）が
検出画像情報上において、複数同時に検出されたとして
も、各操作体についての検出結果をそれぞれ異なる操作
情報として処理させることが可能である。そこで、図８
のように複数（ここでは２つ）のメニュー画面Ｍ１，Ｍ
２を表示させた上で、ユーザがこれらメニュー画面Ｍ
１，Ｍ２に対して両手を使用して同時に操作を行ったと
しても、本実施の形態では、メニュー画面Ｍ１，Ｍ２に
対して行われた操作に応答する所要の動作を実行するよ
うに構成することが可能である。特に、本実施の形態の
インタラクティブ表示システム１は半透明面２の大型化
が容易なので、このように操作対象となる画像を複数同
時に表示してやるようにすれば、大型化された表示パネ
ル（操作パネル）を有効に利用することができるもので
ある。

【００５０】図９は、本実施の形態のインタラクティブ
表示システム１の第４の利用例を示している。この図に
おいては、何らかの所定のパラメータ値を調整するため
のパラメータ調整画像ＰＣ１，ＰＣ２が半透明面２に対
して表示されていると共に、このパラメータ調整画像Ｐ
Ｃ１，ＰＣ２に対してユーザが両手を使用して同時操作
を行っている場合が示されている。このパラメータ調整
画像ＰＣ１，ＰＣ２は、例えばスライドボリュームを模
した形態により表示されている。この場合、例えばユー
ザは自身の両手を、それぞれパラメータ調整画像ＰＣ
１，ＰＣ２におけるレバー部分（レバー画像ＬＶ，Ｌ
Ｖ）の表示された前面部に位置させ、所望のパラメータ
値が得られるようにその手を上下方向にスライドさせる
ように動かすようにして操作を行うことになる。この場
合には、この手の動きに応じてレバー画像ＬＶ，ＬＶが
上下に移動するように表示され、これに応じて実際のパ
ラメータ値も可変制御されるように制御装置６における
処理が適宜実行されることになる。この際、レバー画像
ＬＶ，ＬＶが同時に操作されたとしても、図８の場合と
同様に、各操作情報を同時に認識してそれぞれの操作に
応じたパラメータ値の変更を同時に行うように構成され
るものである。

【００５１】図１０に、本実施の形態のインタラクティ
ブ表示システム１の第５の利用例を示す。この図では、
大人と子供がそれぞれ同時に異なるメニュー画面を同時
に操作している状態が示されている。例えば、この場合
の使用状況として、ユーザは立った状態で半透明面２に
対する操作を行うことが通常であるとした場合、大人と
子供では、図６にて説明したような検出画像情報上にお
ける接近体の占有率やその位置状態、及び、操作体とし
て半透明面に現れる垂直方向における位置（高さ）が異
なってくることになる。つまり、大人と子供との身長差
によって、接近体としては大人よりも子供のほうが検出
画像上においては下側の領域に現れることになり、同様
に操作体（ユーザが指等により指し示す位置）も、大人
よりも子供のほうが検出画像情報上においては下側の領
域に現れる傾向となる。

【００５２】そこで、この第５の利用例では、例えばそ
のアプリケーションが大人と子供とで異なる種類の操作
を行わせるようなものである場合には、検出画像情報上
において高さ方向（垂直方向）に対して所定のしきい値
を設定し、この所定のしきい値を越えるほどの高さを有
する接近体或いは操作体が検出されたときには、半透明
面２上においてこの接近体に対応する位置（この場合に
は表示位置として半透明面２上における高さも変更され
る）に大人用のメニュー画面Ｍａｄを表示させ、しきい
値を越えない高さの接近体或いは操作体が検出されたの
であれば、半透明面２上の接近体に対応する位置（及び
高さ）に対して子供用のメニュー画面Ｍｃｈを表示させ
るように構成される。なお、上記しきい値としては、接
近体と操作体とでそれぞれ異なる適切な値が設定されて
も構わないし、大人と子供を識別する高さ方向のしきい
値としてもそれぞれ異なる値が設定されて構わない。ま
た、第５の利用例においても、大人用のメニュー画面Ｍ
ａｄと子供用のメニュー画面Ｍｃｈに対して同時に操作
が行われた場合には、この操作情報を同時に認識してそ
れぞれに応答した制御動作が実行可能に構成される点で
は図８及び図９の場合と同様である。

【００５３】また、図７〜図１０に示した第２〜第５の
利用例に関しては、フローチャートによる制御装置６の
処理動作の説明は省略するが、何れの利用例において
も、「接近体」或いは「操作体」の有無及びその位置
（座標）を検出し、その検出結果と、半透明面２に表示
されている何らかの操作対象画像との位置関係を識別す
ることにより所要の制御動作を実行させる点では、図５
の第１の利用例の場合と同様であり、図６に示したフロ
ーチャートに準じて各利用例における処理動作を実現す
ることができるものである。

【００５４】＜２．第２の実施の形態＞図１１は、本発
明の第２の実施の形態としてのインタラクティブ表示シ
ステムを示す図であり、図１と同一部分には同一符号を
付して説明を省略する。また、制御装置６の内部構成は
例えば図２に示したものと同様でよいものとされる。こ
の第２の実施の形態においては、図１１に示すように、
赤外線光を出射する赤外線発信器ＰＤをポインティング
デバイスとして使用するものとされる。

【００５５】前述のように、本実施の形態ではＣＣＤカ
メラ４により撮像される半透明面２からの赤外線光によ
り得られる検出画像情報から操作情報を得るようにされ
る。つまり、本実施の形態においては半透明面２からＣ
ＣＤカメラ４に入射する赤外線光の光量に変化が与えら
れさえすれば、これを操作情報として認識することがで
きることになる。

【００５６】例えば、先の第１の実施の形態において
は、半透明面２の所望の位置をポインティングするのに
指等を用いた代わりに、第２の実施の形態では、ユーザ
が上記赤外線発信器ＰＤを手に持って、半透明面２の所
望の位置に対して赤外線発信器ＰＤにより出射された赤
外線光を半透明面２の前面側に対して照射するようにさ
れる。このようにして赤外線発信器ＰＤからの赤外線光
が半透明面２に照射されると、このとき検出される検出
画像情報としては、赤外線光の照射部分に対応する位置
（座標）のレベルが周囲に対して変化することになる。
そこで、制御装置６の入力画像処理部１２では、この検
出画像情報のレベル変化を操作情報として認識するよう
に処理を行えばよいことになる。なお、赤外線光は不可
視であることから、例えば、半透明面２における赤外線
発信器ＰＤからの赤外線光の現在の照射位置が分かるよ
うに、スポットＳＰなどの表示を半透明面２上に行わせ
ることが好ましい。このスポット表示は、制御装置６の
入力画像処理部１２が検出画像情報に基づいて現在赤外
線光が照射されている位置（座標）を識別し、この識別
された照射位置に対して、プロジェクタ５によるスポッ
トＳＰの表示が行われるように表示制御を実行すること
で実現が可能である。

【００５７】＜３．第３の実施の形態＞図１２及び図１
３は、それぞれ本発明の第３の実施の形態としてのイン
タラクティブ表示システム１Ｂ全体の構成と、制御装置
６の内部構成を示すブロック図であり図１及び図２と同
一部分については同一符号を付して説明を省略する。

【００５８】図１２及び図１３に示すように、本実施の
形態のインタラクティブ表示システム１Ｂとしては、第
１ＣＣＤカメラ４Ａ及び第２ＣＣＤカメラ４Ｂの２台の
ＣＣＤカメラが設けられる。第１ＣＣＤカメラ４Ａ
は、先の実施の形態におけるＣＣＤカメラ４と同一の役
割が与えられているものとされる。つまり、半透明面２
の背面側において半透明面２全体を撮像範囲として、こ
こから入射されてくる赤外線光を撮影するために設けら
れる。

【００５９】第２ＣＣＤカメラ４Ｂは、後述するように
半透明面２における所要の一部領域を拡大縮小して撮像
するために設けられている。このため、第２ＣＣＤカメ
ラ４Ｂには、図のようにパン／チルト／ズーム機構７が
設けられる。パン／チルト／ズーム機構７は、第２ＣＣ
Ｄカメラ４Ｂを水平方向と垂直方向の両方向に回転移動
させることのできる機構（パン／チルト機構）を備える
と共に、第２ＣＣＤカメラに備えられているとされるズ
ームレンズを移動させることにより撮像画像の拡大率を
可変する機構（ズーム機構）を備えている。このパン／
チルト／ズーム機構７に対する制御、つまりパン／チル
ト位置の可変制御及びズーム率の可変制御は、図１３に
示すようにデータベース駆動部１４により行われる。従
って、データベースメモリには、必要に応じてパン／チ
ルト／ズーム機構７を制御するためのプログラムが格納
されているものとされる。なお、ＣＣＤカメラ４Ａ，４
Ｂの何れに対してもその光学系に赤外線透過フィルタ４
ａが備えられて、赤外線光のみによる半透明面２上の画
像を撮像するようにされている。

【００６０】この場合、制御装置６においては図１３に
示すように、第１ＣＣＤカメラ４Ａ及び第２ＣＣＤカメ
ラ４Ｂの２台のＣＣＤカメラが設けられたことに対応し
て、２つの画像入力部１１Ａ，１１Ｂが設けられること
になる。画像入力部１１Ａは、第１ＣＣＤカメラ４Ａの
撮像信号を入力して映像信号として入力画像処理部１２
に対して供給し、画像入力部１１Ｂは、第２ＣＣＤカメ
ラ４Ｂの撮像信号を入力して映像信号として入力画像処
理部１２に対して供給する。従って、本実施の形態の入
力画像処理部１２では、第１ＣＣＤカメラ４Ａの映像信
号に基づいて得られる検出画像情報と、第２ＣＣＤカメ
ラ４Ｂの映像信号に基づいて得られる検出画像情報を生
成し、両者の検出画像情報から所要の操作情報を得るよ
うにされる。

【００６１】本実施の形態としてのインタラクティブ表
示システム１Ｂは例えば次のようにして使用することが
できる。例えば図１２に示すようにしてユーザが半透明
板２の前面に位置した状態で、半透明板２のある位置に
対して指で指定操作を行っているとする。この場合、半
透明板２全体を撮像する第１ＣＣＤカメラ４Ａにより撮
像されて、入力画像処理部において得られる検出画像情
報としては、例えば図１４（ａ）に示すようなものとな
る。上記のような操作を行っている場合、通常はユーザ
の指（手）の部分が最も半透明面２に近接し、残りの身
体部分は手の部分よりも半透明面２から離れた距離にあ
ることになる。従って、図１４（ａ）に示す検出画像情
報においては、大きく分けて身体部分が表示される画像
領域Ａの部分よりも手の部分が表示される画像領域Ｂの
部分のほうが高い値（例えば輝度レベル）が得られるこ
とになる。ここでしきい値制御部１３においてしきい値
を適切に設定することにより、入力画像処理部１２にお
いて、画像領域Ａの部分を含む背景から画像領域Ｂの部
分を「操作体」として分離して識別できることは前述し
たとおりである。なお、前述のように操作体が人体の手
又は指に限定される場合には、検出画像情報として得ら
れるユーザの手間他は指の形状に基づいて、これを操作
体として認識するように構成することも可能である。

【００６２】ここで、上記のようにして入力画像処理部
１２が画像領域Ｂの部分を「操作体」として検出したと
すると、データベース駆動部１４は、上記半透明面２上
における操作体の位置情報に基づいて、操作体の部分、
つまり画像領域Ｂの部分を第２ＣＣＤカメラ４Ｂにより
ズーム撮影するように制御を実行する。つまり、半透明
面２上における画像領域Ｂの部分の位置情報に基づい
て、この画像領域Ｂの部分がほぼ第２ＣＣＤカメラ４Ｂ
の撮像画像のほぼ中心にくるように、パン／チルト／ズ
ーム機構７に対してパン／チルト制御を実行したうえ
で、画像領域Ｂの部分が撮像画像のほぼ全体を占めるよ
うに、パン／チルト／ズーム機構７に対してズーム制御
を実行する。このような制御によって、第２ＣＣＤカメ
ラ４Ｂの撮像信号に基づいて得られる検出画像情報とし
ては、図１４（ｂ）に示すように画像領域Ｂ（操作体）
の部分が拡大された画像情報を得ることができる。

【００６３】例えば、上記図１４（ｂ）に示す検出画像
情報に基づいて操作情報を得る場合として、特にその指
定位置を操作情報として検出する場合、例えば図１４
（ａ）に示す検出画像情報に基づいてその指定位置情報
を得る場合よりも、相対的な解像度が上がることにな
る。従って、より精度の高い指定位置情報を得ることが
可能となる。

【００６４】なお、上記した利用方法はあくまでも一例
であって、２つのＣＣＤカメラを利用した適用例は他に
も各種考えられるものである。また、２つのＣＣＤカメ
ラに対してパン／チルト／ズーム機構７を設けてもよい
し、更には２以上の複数のＣＣＤカメラ（この際、どの
ＣＣＤカメラにパン／チルト／ズーム機構を設けるのか
は任意である）を利用して、これらＣＣＤカメラの各々
から独立的に操作情報を得るようにしても、多様な適用
例が考えられるものである。

【００６５】＜４．第４の実施の形態＞図１５は本発明
の第４の実施の形態としてのインタラクティブ表示シス
テム１Ｃの構成例を概念的に示す図であり、例えば図１
と同一部分については同一符号を付して説明を省略す
る。また、制御装置６の内部構成は図２と同様でよいも
のとされる。これまで実施の形態として説明してきた各
インタラクティブ表示システムは、半透明面２がいわゆ
る壁面状であるものとして説明してきたのであるが、本
発明としての半透明面２の機能（表示パネル機能及び操
作パネル機能）を考慮すれば、これに限定されるもので
はない。そこで、第４の実施の形態のインタラクティブ
表示システム１Ｃでは、半透明面２Ａを曲面形状に形成
している。図１５においては、半球面状とされた半透明
面２Ａが設置されている状態が示されており、この半球
面状の半透明面２Ａの内壁側に対して、例えば少なくと
も赤外線ＬＥＤパネル３、ＣＣＤカメラ４、及びプロジ
ェクタ５が設けられるようにされる。ユーザは半透明面
２Ａの外壁側から操作を行うことになる。なお、この図
においては、ＣＣＤカメラ４に対して設けられる赤外線
透過フィルタ４ａと、プロジェクタ５に対して設けられ
る赤外線遮断フィルタ５ａの図示は省略しているが、実
際には、これまでの実施の形態と同様に設けられている
ものとされる。なお、この図では半透明面２Ａに対して
世界地図が投影表示されている状態が示されているが、
例えばこの場合であれば、先の第１の実施の形態におい
て図７にて説明したようにして利用することが考えられ
る。

【００６６】＜５．第５の実施の形態＞図１６は、本発
明の第５の実施の形態としてのインタラクティブ表示シ
ステム１Ｄの構築例を概念的に示す図であり、図１と同
一部分については同一符号を付して説明を省略する。こ
の図においても、赤外線透過フィルタ４ａと赤外線遮断
フィルタ５ａの図示は省略しているが、実際には、ＣＣ
Ｄカメラ４とプロジェクタ５に対してそれぞれ設けられ
ているものである。また、ここでは制御装置６の図示も
省略されているが、実際には、赤外線ＬＥＤパネル３、
ＣＣＤカメラ４、及びプロジェクタ５に対する制御を実
現するために設けられているものであり、その内部構成
も図２と同様でよい。

【００６７】この場合には、例えば通路の壁面が半透明
面２として構成されており、例えば赤外線ＬＥＤパネル
３、ＣＣＤカメラ４、及びプロジェクタ５などは、この
通路壁面（半透明面２）の背後に設けられる。つまり、
本実施の形態のインタラクティブ表示システム１Ｄは通
路の壁面の一部として構成されている。ここで、たとえ
ばユーザ（歩行者）が通路を歩いており、インタラクテ
ィブ表示システム１Ｄの半透明面２（壁面）の脇を通過
したとする。前述のように、本発明では操作パネルとし
て機能する半透明面２からある程度離れた距離にユーザ
がいたとしても、これを「接近体」として検出すること
が可能である。そこで、この場合には、歩行者がインタ
ラクティブ表示システム１Ｄの半透明面２（壁面）の脇
にきたときに、その姿が接近体として検出するようにさ
れる。そして接近体の検出結果に基づいて、例えば図１
６に示すように壁面である半透明面２に対して、行き先
などを提示する案内画像ＧＤをプロジェクタ５により投
影表示するように動作させることができる。このような
インタラクティブ表示システム１Ｄの動作を歩行者から
みたときには、自分が通路を歩くと壁面に対して自動的
に行き先の案内表示が行われることになる。

【００６８】また、上述した第５の実施の形態におい
て、例えば通路の壁面の裏側において、赤外線ＬＥＤパ
ネル３、ＣＣＤカメラ４、プロジェクタ５（及び制御装
置６）などの設置スペースが限られているような状況で
は、図１７のようにミラーＭＲを用いて赤外線ＬＥＤパ
ネル３、プロジェクタ５の出射光やＣＣＤカメラ４の入
射光を光路を反射により変更させるようにすることが考
えられる。特に、ＣＣＤカメラ４やプロジェクタ５の画
角によっては、大画面化された半透明面２をカバーでき
るだけの撮像範囲や投影表示範囲を得るのには相当の距
離が必要となるのであるが、このようにしてミラーＭＲ
を設ければ、狭い奥行きであっても充分な撮像範囲や投
影表示範囲を得ることが可能となり、本実施の形態のイ
ンタラクティブ表示システム１Ｄを設置環境として要求
される条件を緩和させることができる。

【００６９】＜６．第６の実施の形態＞図１８は、本発
明の第６の実施の形態としてのインタラクティブ表示シ
ステム１Ｅの構成例を概念的に示す図であり、図１と同
一部分については同一符号を付して説明を省略する。ま
た、この図においても赤外線透過フィルタ４ａと赤外線
遮断フィルタ５ａの図示は省略されているが、実際には
ＣＣＤカメラ４とプロジェクタ５に対して備えられるも
のである。

【００７０】この場合には、半透明面２Ｂはテーブルと
して設置されている。つまり、４本のテーブル脚Ｆ，
Ｆ，Ｆ，Ｆにより指示されることにより、通常の家具と
してのテーブルの天面としても機能している。この場
合、半透明面２Ｂの下面側に対して図のように赤外線Ｌ
ＥＤパネル３、ＣＣＤカメラ４、プロジェクタ５（及び
制御装置６）が設けられる。また、本実施の形態におい
ては、後述するようにしてユーザが半透明面２Ｂに対し
て操作を行うことによって、モニタ装置３０に対する操
作制御が行えるようにされている。

【００７１】図１９には、本実施の形態のインタラクテ
ィブ表示システム１Ｅとしての制御装置６の内部構成を
示すブロック図であり、図２Ｂと同一部分については同
一符号を付して説明を省略する。この図に示す制御装置
６においては、外部機器制御部２０が設けられる。この
場合、外部機器制御部２０は、モニタ装置３０に対する
操作制御を行うための回路部位とされ、データベース駆
動部１４から与えられる操作情報によって、テレビジョ
ン受像機３０に対して所要の操作制御を行うためのコマ
ンド信号を送信出力する。従って、この場合のデータベ
ースメモリ１４には、当該インタラクティブ表示システ
ム１Ｅによりテレビジョン受像機３０に対する操作が実
現されるようにするためのプログラムが格納されること
になる。

【００７２】この第６の実施の形態としてのインタラク
ティブ表示システム１Ｅにおいては、例えば図１８に示
すように、半透明面２Ｂの特定の領域にリモートコント
ロール（以下リモコンと略す）表示ＲＭＤが表示され
る。このリモコン表示ＲＭＤには、テレビジョン受像機
３０に対する各種操作が可能なキーが設けられたリモー
トコントローラの操作パネル面を模した形態により表示
が行われるものとされる。なお、このリモコン表示ＲＭ
Ｄの表示制御は、データベースメモリ１４に格納されて
いるとされるリモコン表示ＲＭＤの画像データ利用して
データベース駆動部１４が表示制御を行うことで、リモ
コン表示ＲＭＤの映像がプロジェクタ５により投影表示
されるようにすることで実現される。なお、リモコン表
示ＲＭＤの表示位置は任意に設定されればよく、例えば
当該インタラクティブ表示システム１Ｅに対する所定の
設定操作によって、ユーザが使いやすいとされる位置に
表示されるように任意に設定できるようにすることも考
えられる。この際、データベース駆動部１４が現在のリ
モコン表示ＲＭＤの表示位置を認識してさえいれば、リ
モコン表示ＲＭＤの各種キーの表示部分の位置（座標）
は、常にデータベース駆動部１４において把握すること
が可能である。

【００７３】例えば、上記半透明面２Ｂに表示されたリ
モコン表示ＲＭＤに対するユーザの操作として、ここで
は、数字キーの操作によって所望のチャンネルを選択し
たとする。このとき、例えばユーザは半透明面２Ｂ上の
リモコン表示ＲＭＤにおける数字キーのうち、所望の１
つの数字キーを押圧操作するようなイメージで半透明面
２Ｂ上に対して操作を行えばよい。この場合、しきい値
制御部１３におけるキー操作判別のためのしきい値の設
定にもよるが、ユーザは必ずしもテーブル面（半透明面
２Ｂ）上に対して指などの操作体を接触させる必要はな
く、所望のキーが表示されている部分の中空に対して操
作を行うようにするだけでもキー操作として判別可能な
ようにすることは当然可能である。

【００７４】上記したユーザの操作は、ＣＣＤカメラ４
により撮像されて得られる検出画像情報に基づいて、入
力画像処理部１２においてその操作位置（座標）が検出
される。そして、データベース駆動部１４では、検出さ
れた操作位置の座標が、リモコン表示ＲＭＤとして表示
されているどのキー部分の座標と一致するのかを識別し
て、例えば操作位置の座標と一致しているキーの種別を
示す情報を外部機器制御部２０に対して伝送する。外部
機器制御部２０においては、データベース駆動部１４か
ら入力されたキー種別を示す情報に基づいて、このキー
種別に対応するコマンド信号をモニタ装置３０に出力す
る。この場合には、ある１つの数字キーによるチャンネ
ル切換操作であることから、例えばデータベース駆動部
１４は、チャンネル番号に対応する数字による数字キー
が操作されたとの情報を伝送することになる。そして、
外部機器制御部２０では、この指定された数字キーが示
すチャンネル番号に切り換えるためのコマンド信号を送
信する。これにより、テレビジョン受像機３０において
は、ユーザが操作したチャンネルの画面に切り替わるよ
うに動作することになる。

【００７５】なお、当然のこととして当該インタラクテ
ィブ表示システム１Ｅにより操作が可能な外部機器はテ
レビジョン受像機に限定される物ではなく、他の各種電
子機器に対しても操作が可能なように構成することは可
能であり、更には本発明に基づけば、同時に複数種類の
機器に対応するリモコン表示ＲＭＤを表示させてユーザ
による操作が可能なように構成することも可能であり、
また、１つのリモコン表示ＲＭＤにおける複数キーに対
する同時操作を認識して外部機器を制御することも可能
とされる。

【００７６】また、本実施の形態のように半透明面２Ｂ
がテーブル面である場合には、次のような動作も行わせ
ることができる。例えば、テーブル面としての半透明面
２Ｂに対して食器その他の何らかの物を置いた場合、こ
の半透明面２Ｂに置かれた物が赤外線光を反射すること
により、この設置物の形状の画像が検出画像情報として
得られることになる。これまで説明してきた実施の形態
では、このような画像変化を操作情報として扱ってきた
が、この場合には、この検出画像情報としての画像デー
タをプロジェクタ５により投影表示させる画像として利
用することもできる。これにより、例えば図１８の影表
示ＳＨＤとして示すように、半透明面２Ｂに対して置か
れた物の画像を、その影のようにして表示できるように
構成することが考えられる。この場合、物が置かれる位
置に応じて半透明面２Ｂ上の影表示ＳＨＤの位置も追随
するようにして変化したり、半透明面２Ｂの表面からの
距離変化に応じて影表示ＳＨＤの形状なども変化するの
で、ユーザにとって興味深い視覚的効果が得られること
になる。

【００７７】上記のような影表示ＳＨＤを実現するため
には、例えば制御装置６の入力画像処理部１２において
得られる検出画像情報を画像データとして画像合成部１
７に供給すればよい。これにより、画像合成部１７にお
いては、上記検出画像情報としての画像データ（影表示
ＳＨＤの画像データ）と、データベース駆動部１４の制
御により画像生成部１６において作成されたリモコン表
示ＲＭＤが合成されることで、最終的に図１８に示すよ
うな半透明面２Ｂに対する投影表示が行われることにな
る。なお、ここでは詳しい説明は省略するが、上記検出
画像情報を画像データに対して各種信号処理によって、
マルチカラー化を施したり、画像の形状を変化させるな
どの特殊効果を与えることで更に視覚的効果を高めるよ
うに構成することも可能である。

【００７８】ところで、上述の第６の実施の形態では、
テーブルの下側に少なくとも赤外線ＬＥＤパネル３、Ｃ
ＣＤカメラ４、プロジェクタ５を配置してやる必要があ
るが、例えば床からテーブル面（半透明面２Ｂ）までの
高さ（距離）はさほど多く取ることができないため、Ｃ
ＣＤカメラ４やプロジェクタ５が半透明面２Ｂ全体をカ
バーできるのに必要な直線距離を得ることが難しい場合
が生じる。そこで、先の第５の実施の形態でも説明した
が、この場合も同様に、図２０に示すように半透明面２
Ｂ（テーブル面）の下側に光路を反射により変更させる
ミラーＭＲを配置させ、赤外線ＬＥＤパネル３、ＣＣＤ
カメラ４、及びプロジェクタ５などの装置はテーブルの
横側に配置させるようにすることが考えられる。

【００７９】なお、ミラーＭＲの代わりに、所定の光透
過率と反射率が設定されたハーフミラーＭＲを用いるこ
とも考えられる。このようなハーフミラーＭＲを用いた
場合には、例えば、赤外線ＬＥＤパネル３はテーブルの
横側に配置させずに、テーブル下部の床面部分に設置す
ることなどが可能となってそれだけ設置自由度が高くな
る。なお、ハーフミラーを用いた設置方法は、たとえば
先の第５の実施の形態における図１７のような設置形態
の場合にも適用することができる。

【００８０】＜７．第７の実施の形態＞図２１は本発明
の第７の実施の形態としてのインタラクティブ表示シス
テム１Ｆの構成例を示す図であり、図１と同一部分には
同一符号を付して説明を省略する。インタラクティブ表
示システム１Ｆにおいては、赤外線ＬＥＤパネル３が設
けられていない。たとえば、本発明に基づくインタラク
ティブ表示システムを屋外などの外光の強い環境で使用
する場合、たとえば日中の自然光に含まれる赤外線が強
いために、図１に示すような赤外線ＬＥＤパネル３から
照射される赤外線光を操作情報検出用の光源とする構成
では、赤外線ＬＥＤパネル３から照射される赤外線光の
強度が自然光に含まれる赤外線に対して相対的に弱まる
ので、場合によっては適切な操作情報の検出が行われな
い（つまり操作情報を認識可能な適正な検出画像情報が
得られない）可能性がある。そこで、このような場合に
は、本実施の形態のように赤外線ＬＥＤパネル３を省略
する代わりに、自然光に含まれる赤外線光を操作情報検
出用の光源として利用するものである。この場合、検出
画像情報を得るために必要な基準入力画像レベルＬｉｎ
ｔは、例えば接近体及び操作体等の検出対象が無い（半
透明面２に対して何の操作も行われていない）とされる
状態のもとで、その前面側から半透明面２を透過してＣ
ＣＤカメラ４において撮像される撮像信号から得た画像
情報に基づいて検出するようにされる。

【００８１】そして、例えば半透明面２に対して何らか
の操作が行われるとすると、このときの半透明面２にお
ける接近体及び操作体などの部分をＣＣＤカメラ４側か
らみた場合には、接近体及び操作体などにより自然光の
赤外線が遮られることから、これを自然光に含まれる赤
外線光の影として見ることができる。本実施の形態のい
制御装置６では、基準入力画像レベルＬｉｎｔに対し
て、画像レベルがより低くなる（暗くなる）ようにして
変化する画像情報を操作情報として扱うことになる。な
お、インタラクティブ表示システム１Ｆの制御装置６の
内部構成の図示は省略するが、赤外線ＬＥＤパネル３が
省略されたことに応じて、ＬＥＤ駆動部１０が設けられ
ないことになる。

【００８２】＜８．第８の実施の形態＞図２２は、本発
明の第８の実施の形態としてのインタラクティブ表示シ
ステム１Ｇの構成を示す概念図、図２３は本実施の形態
のインタラクティブ表示システム１Ｇに備えられる制御
装置６の構成を示すブロック図であり、それぞれ図１及
び図２と同一部分については同一符号を付して説明を省
略する。インタラクティブ表示システム１Ｇとしては、
先に説明した各種実施の形態のインタラクティブ表示シ
ステムに備えられた赤外線ＬＥＤパネル３の代わりにマ
イクロ波発生器４０が備えられ、また、ＣＣＤカメラ４
の代わりにマイクロ波受信器４１が備えられる。

【００８３】そして、これに対応して制御装置６におい
ては、マイクロ波発生器４０を駆動するためのマイクロ
波駆動回路１１０がＬＥＤ駆動部１０（図１参照）の代
わりに備えられる。また、マイクロ波受信器４１から供
給される受信マイクロ波を入力して例えば所定形式のデ
ータに変換して出力する画像信号入力部１１１と、この
画像信号入力部１１１から供給されるマイクロ波の受信
データを入力して所要の処理を行うことにより、例えば
検出画像情報を得ると共にこの検出画像情報に基づいて
操作情報を得る入力データ処理部１１２が設けられる。
上記画像信号入力部１１１及び入力データ処理部１１２
は、それぞれ画像入力部１１及び入力画像処理部１２
（図１参照）に代わる機能回路部である。この場合、操
作情報検出用の媒体としてマイクロ波を利用するため、
ＣＣＤカメラ４に備えられた赤外線透過フィルタ４ａ
や、プロジェクタ５に備えられた赤外線遮断フィルタ５
ａは不要となる。本実施の形態のように、それが照射さ
れた物体に反射する性質を有するマイクロ波のような媒
体を操作情報の検出に利用するように構成しても、これ
まで説明してきた実施の形態（赤外線を操作情報の検出
に利用した例）と同様にして本発明としての情報入力装
置を構成することが可能である。

【００８４】なお、特に具体的な適用例の図示及び説明
は省略するが、本発明としては半透明面２に対して行わ
れたとされる操作情報が検出されればよいことから、上
記各実施の形態に示したプロジェクタ５を省略して本発
明としての情報入力装置を構成することは当然考えられ
る。つまり、この場合の半透明面２は操作パネルとして
のみ機能する。この構成に準ずる場合、たとえばインタ
ラクティブな応答表示をする表示手段が必要であれば、
半透明面２ではなく、別の他の種類の表示デバイスを使
用しても構わない。また、本発明に基づいて構成される
インタラクティブ表示システムの適用例は、これまで述
べてきた実施の形態や適用例に限定されるものではな
く、本発明としての入力装置の利点を活かした操作方法
やアプリケーションなどの適用は、他にも各種考えられ
るものである。また、本発明の実施の形態としてのイン
タラクティブ表示システムにおいて、インタラクティブ
な応答を音声により行うことも考えられる。

【００８５】

【発明の効果】以上、実施の形態として説明した内容か
ら分かるように、本発明は以下のような効果を有する。
請求項１に記載した発明により、本発明としての情報入
力装置の基本的構成が得られるが、この構成では、所定
波長帯域の光又は電磁波を反射するなどしてこれに状態
変化を与えることのできる物体であれば、操作を行うた
めの操作体として成立する。つまり、操作のために特殊
なポインティングデバイスを必要としないことになる。
また、半透明面に近い位置（例えば半透明面の前面の中
空位置）で操作体が認識可能なので、操作方法として
も、操作パネルである半透明面に対して操作体を接触さ
せることなくその前面の空間において操作を行ったり、
半透明面に接近してくる物体を認識して何らかの応答処
理を行わせるといったこともできることになる。また、
半発明の操作パネルとしては単なる半透明面が得られれ
ばよく、例えば従来のタッチパネルとは異なり、そのサ
イズの大型化も容易に実現される。

【００８６】そして、請求項２に記載の発明により、同
時に複数の検出対象を認識して、それぞれに応答した所
要の制御処理を独立的に実行することが可能なので、例
えば複数のメニュー画面に対して同時に操作を行ったり
させることなどが可能となる。また、請求項３に記載の
発明によって、例えば検出対象の形状によりこれを操作
情報として認識するか否かを決定することができる。例
えば請求項４に記載した発明のように人体の手や指など
による操作のみを操作情報として扱うためには、請求項
３に記載の発明による技術を適用すれば容易に実現する
ことが可能である。

【００８７】更に、請求項４に記載の発明のように、例
えば検出画像情報に得られる画像形状に基づいて、人体
の手もしくは指の動きを操作情報として認識して、それ
以外の検出対象については操作情報として無視できるよ
うにすることも可能である。

【００８８】続いて、請求項５に記載した発明によれ
ば、半透明面の半透明性を利用してプロジェクタなどに
よって画像を投影表示することで、半透明面を操作パネ
ルとしてだけではなく、画像表示を行う表示パネルとし
ても兼用することが可能となる。そこで、請求項６の発
明のように、上記表示用画像として、ユーザに各種操作
を促すためのメニュー画面を設定したり、請求項７及び
請求項８により得られる発明のように、例えば地図など
のの初期画像を表示させて、地図上のある地域を指定す
れば、その地域の説明などの属性情報を表示させるなど
のようにして利用することができる。この場合には、ユ
ーザが半透明面に対して表示された画像に対して操作を
行うという直接的な操作情報の入力形態も実現されるこ
とになる。

【００８９】また、請求項９に記載した発明によれば、
上記半透明面に表示すべき画像として、撮像手段により
撮像された撮像信号に基づいて検出された検出画像情報
を利用して表示することが可能となり、また、請求項１
０に記載の発明を適用すれば、検出画像情報を利用する
ことで、半透明面上に配置した物体に対応してその影物
を表示させるなどの視覚的効果を与えることも可能とな
る。

【００９０】請求項１１に記載した発明によれば、撮像
手段が撮像すべき光又は電磁波を上記半透明面に対して
定常的に輻射する輻射手段が備えられることで、撮像手
段により撮像される媒体（例えば赤外線光やマイクロ波
など）を安定的に得られることになり、当該情報入力装
置を備えてなるシステムの設置環境によらず、高い信頼
性を得ることができる。

【００９１】また、請求項１２に記載した発明によれ
ば、半透明面は、例えばガラスなどの透明面を形成する
材質と何らかの半透明膜などの半透明面を形成する材質
とを組み合わせるだけで構成することができ、安価で済
ませることができる。また、前述した大型化の可能性も
妨げない。

【００９２】請求項１３、請求項１４及び請求項１５に
記載した発明によれば、半透明面は壁面、曲面形状とし
たり、また、テーブル面として機能させるなど多様な形
態に対応することが可能であり、それだけ、本発明の情
報入力装置が適用される用途範囲が拡大されることにな
る。

【００９３】請求項１６の発明は、撮像手段が撮像すべ
き所定の波長帯域の光又は電磁波を輻射するポインティ
ングデバイスを設けるのであるが、これは、本発明の基
本的な構成においては、撮像手段が撮像すべき所定の波
長帯域の光又は電磁波に対して何らかの変化を与えるこ
とのできる物であれば操作体となり得ることに基づいて
構成されるものである。つまり、請求項１５の発明で
は、特定のポインティングデバイスを用いることも可能
であり、例えば、この場合にはユーザが比較的半透明面
から離れた位置から正確な操作情報を与えることが可能
になる。

【００９４】請求項１７の発明によれば、異なる拡大率
により検出用の画像情報が得られることになるが、ここ
に請求項１８の発明を適用することで、例えば、ユーザ
が半透明面に対してポインティングした位置を識別する
際にこのポインティングされた領域を拡大して他の撮像
手段により撮像させて検出画像情報を得るようにすれ
ば、ポインティングされた位置（座標）をより高精度に
検出することができる。

【００９５】このように本発明は、操作などの情報入力
に際して、上記のごとき自由度を与えると共に、表示パ
ネルとして兼用可能な操作パネルとして大型化されたも
のを容易に提供できるようにすることで様々な利用形態
を採る可能性が与えれることになり、容易にインタラク
ティブな入出力環境を強化拡大することができるという
効果が得られることになる。

【図面の簡単な説明】

【図１】本発明の第１の実施の形態としてのインタラク
ティブ表示システムの構成例を示す概念図である。

【図２】第１の実施の形態のインタラクティブ表示シス
テムに備えられる制御装置の内部構成を示す図である。

【図３】基準入力画像レベルを検出及び保持するための
処理動作を示すフローチャートである。

【図４】検出画像情報を生成するための処理動作を示す
フローチャートである。

【図５】第１の実施の形態のインタラクティブ表示シス
テムの第１の利用例を示す説明図である。

【図６】図５に示す第１の利用例を実現するための処理
動作を示すフローチャートである。

【図７】第１の実施の形態のインタラクティブ表示シス
テムの第２の利用例を示す説明図である。

【図８】第１の実施の形態のインタラクティブ表示シス
テムの第３の利用例を示す説明図である。

【図９】第１の実施の形態のインタラクティブ表示シス
テムの第４の利用例を示す説明図である。

【図１０】第１の実施の形態のインタラクティブ表示シ
ステムの第５の利用例を示す説明図である。

【図１１】本発明の第２の実施の形態としてのインタラ
クティブ表示システムの構成例を示す概念図である。

【図１２】本発明の第３の実施の形態としてのインタラ
クティブ表示システムの構成例を示す概念図である。

【図１３】第３の実施の形態のインタラクティブ表示シ
ステムに備えられる制御装置の内部構成を示す図であ
る。

【図１４】第３の実施の形態のインタラクティブ表示シ
ステムの動作例を示す説明図である。

【図１５】本発明の第４の実施の形態としてのインタラ
クティブ表示システムの構成例を示す概念図である。

【図１６】本発明の第５の実施の形態としてのインタラ
クティブ表示システムの構成例を示す概念図である。

【図１７】第５の実施の形態としてのインタラクティブ
表示システムの他の構成例を示す概念図である。

【図１８】本発明の第６の実施の形態としてのインタラ
クティブ表示システムの構成例を示す概念図である。

【図１９】第６の実施の形態のインタラクティブ表示シ
ステムに備えられる制御装置の内部構成を示す図であ
る。

【図２０】第６の実施の形態としてのインタラクティブ
表示システムの他の構成例を示す概念図である。

【図２１】本発明の第７の実施の形態としてのインタラ
クティブ表示システムの構成例を示す概念図である。

【図２２】本発明の第８の実施の形態としてのインタラ
クティブ表示システムの構成例を示す概念図である。

【図２３】第８の実施の形態のインタラクティブ表示シ
ステムに備えられる制御装置の内部構成を示す図であ
る。

【符号の説明】

１，１Ａ，１Ｂ，１Ｃ，１Ｄ，１Ｅ，１Ｆ，１Ｇイン
タラクティブ表示システム、２，２Ａ，２Ｂ半透明
面、３赤外線ＬＥＤパネル、４ＣＣＤカメラ、４Ａ
第１ＣＣＤカメラ、４Ｂ第２ＣＣＤカメラ、５プ
ロジェクタ、６制御装置、７パン／チルト／ズーム機
構、１０ＬＥＤ駆動部、１１，１１Ａ，１１Ｂ画像
入力部、１２入力画像処理部、１３しきい値制御
部、１４データベース駆動部、１５データベースメモ
リ、１６画像生成部、１７画像合成部、１８ＲＧ
Ｂ信号生成部、３０テレビジョン受像機、４０マイ
クロ波発生器、４１マイクロ波受信器、１１０マイ
クロ波駆動部、１１１受信信号入力部、１１２入力
データ処理部、ＰＤ赤外線発信器、ＭＲミラー、ハ
ーフミラー、ＲＭＤリモコン表示、ＳＨＤ影表示

Claims

【特許請求の範囲】

【請求項１】半透明面と、上記半透明面側方向から入射する所定の波長帯域の光又
は電磁波のみを撮像する撮像手段と、上記撮像手段から入力された撮像信号に基づいて、上記
半透明面に対して与えられたとされる入力情報を検出す
るための検出用画像情報を生成し、この検出用画像情報
に基づいて識別した入力情報に基づいて所要の制御処理
を実行する制御処理手段と、を備えていることを特徴とする情報入力装置。
【請求項２】上記制御処理手段は、上記検出用画像情
報の画像状態に基づいて複数の入力情報を識別可能とさ
れ、これら複数の入力情報の各々に基づいてそれぞれ異
なる所要の制御処理を実行可能に構成されていることを
特徴とする請求項１に記載の情報入力装置。
【請求項３】上記制御処理手段は、上記検出用画像情
報の画像状態として得られる特定の画像形状に基づい
て、入力情報を識別するように構成されていることを特
徴とする請求項１に記載の情報入力装置。
【請求項４】上記制御処理手段は、上記入力情報の検
出対象として人体の手又は指を認識可能なように構成さ
れていることを特徴とする請求項１に記載の情報入力装
置。
【請求項５】上記撮像手段が撮像すべき光又は電磁波
の波長帯域を含まない可視光による画像を上記半透明面
に対して投影表示可能に配置される投影表示手段を備
え、上記制御処理手段が実行する上記制御処理として、所要
の表示用画像を上記投影表示手段により投影表示させる
ための表示用画像生成処理及び上記投影表示手段に対す
る制御を実行するように構成されていることを特徴とす
る請求項１に記載の情報入力装置。
【請求項６】上記表示用画像として当該制御処理手段
に対して所要の処理を実行させるためのメニュー画面が
設定されていることを特徴とする請求項５に記載の情報
入力装置。
【請求項７】上記表示用画像として、所定内容の初期
画像が設定されていることを特徴とする請求項５に記載
の情報入力装置。
【請求項８】上記制御処理手段は、上記初期画像上に
おける特定の領域の画像内容に関連する属性情報を備
え、入力情報として上記特定の領域を指定したことが判
別された場合には、指定された領域に関連する属性情報
を示す表示が上記投影表示手段により行われるように制
御処理を実行することを特徴とする請求項７に記載の情
報入力装置。
【請求項９】上記制御処理手段は、上記検出用画像情
報を利用して上記表示用画像を作成可能に構成されてい
ることを特徴とする請求項５に記載の情報入力装置。
【請求項１０】上記制御処理手段は、上記半透明面上
又はその空間上の物理対象の配置位置に対応して、半透
明面上の所定領域に対して所要の表示が行われるように
表示用画像生成処理を実行することを特徴とする請求項
５に記載の情報入力装置。
【請求項１１】上記撮像手段が受像すべき所定の波長
帯域の光又は電磁波を上記半透明面に対して定常的に輻
射する輻射手段を備えていることを特徴とする請求項１
に記載の情報入力装置。
【請求項１２】上記半透明面は、透明面を形成する材
質と半透明面を形成する材質とを組み合わせることによ
って形成されることを特徴とする請求項１に記載の情報
入力装置。
【請求項１３】上記半透明面は壁面を形成するもので
あることを特徴とする請求項１に記載の情報入力装置。
【請求項１４】上記半透明面は曲面形状を有するもの
であることを特徴とする請求項１に記載の情報入力装
置。
【請求項１５】上記半透明面は、テーブル面を構成す
るようにして配置されることを特徴とする請求項１に記
載の情報入力装置。
【請求項１６】上記半透明面に対して、上記撮像手段
が撮像すべき所定の波長帯域の光又は電磁波を輻射する
ことによって、上記撮像手段が撮像する光又は電磁波に
ついて状態変化を与えることのできるポインティングデ
バイス手段が設けられることを特徴とする請求項１に記
載の情報入力装置。
【請求項１７】それぞれ異なる拡大率により撮像した
撮像信号を出力する複数の撮像手段が備えられ、上記制御処理手段は、上記複数の撮像手段から入力され
た撮像信号に基づいて生成した検出用画像情報に基づい
て所要の制御処理を実行するように構成されることを特
徴とする請求項１に記載の情報入力装置。
【請求項１８】上記制御処理手段は、上記複数の撮像手段のうち所定の撮像手段により得られ
た撮像信号に基づいて得られる検出用画像情報の領域内
において特定の撮像領域を所定規則に従って選択すると
共に、上記所定の撮像手段とは異なる他の撮像手段により、上
記特定の撮像領域について拡大率を可変して撮像が行わ
れるための制御を実行することを特徴とする請求項１７
に記載の情報入力装置。