JP2000298544A

JP2000298544A - 入出力装置と入出力方法

Info

Publication number: JP2000298544A
Application number: JP10441899A
Authority: JP
Inventors: Itsuo Rokudo; 逸夫六土; Chizumi Watanabe; 千純渡邉
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 1999-04-12
Filing date: 1999-04-12
Publication date: 2000-10-24

Abstract

(57)【要約】【課題】机上のスペースを占拠すること無く入出力が
可能であり、利便性に富み、遊び感覚で操作することが
できる入出力装置を提供する。【解決手段】入力操作に応じて処理された結果が表示
される入出力装置において、表示画面及び操作キーを平
面上に投影する投影手段19と、平面上に投影された表示
画面または操作キーに対して操作者が行う入力操作を撮
影する撮像手段20と、撮像手段が撮影した画像を解析し
て、操作者が行った入力操作を識別する画像識別手段15
と、識別した入力操作に応じた処理を行い、投影手段を
制御して表示画面の表示に処理結果を反映させる処理手
段18、16とを設ける。投影画像上で入出力が行われるた
め、スペースを占有しない。

Description

【発明の詳細な説明】

【０００１】

【発明が属する技術分野】本発明は、コンピュータ等の
入力操作が行われ、その出力が表示される入出力装置
と、その入出力方法に関し、特に、投影画像を利用して
入力操作ができるようにしたものである。

【０００２】

【従来の技術】従来、コンソール型のコンピュータは、
入力用のキーボードと表示用のＣＲＴとを有しており、
それらが机上に配置され、各種の配線で接続されてい
る。また、液晶の表示画面をキーボードと折り畳みでき
るように結合した、携帯可能なコンピュータも普及して
いる。

【０００３】オフィスや窓口カウンタでの業務形態で
は、これらの機器が机上に配置され、キーボードから入
力操作が行われ、その結果が表示画面に表示される。窓
口カウンタでは、必要に応じて、機器の表示画面を客に
向けて、表示内容を確認させる操作が行われている。

【０００４】また、パソコンやワードプロセッサなど、
複数の機種を机上に並べ、業務の内容に応じて異なる機
種を使い分けることも行われている。

【０００５】

【発明が解決しようとする課題】しかし、これらの機器
を机上に配置すると、机上のスペースが占拠され、この
機器が障害物となって、机上でのその他の作業が妨げら
れる。

【０００６】また、最近は一つの窓口カウンタに数種類
の機器を設置する必要が生じており、窓口カウンタのス
ペース不足が顕著になっている。また、実際に複数の機
器を窓口カウンターに並べた場合には、カウンターテー
ブルが狭くなり、受付等の手続作業がやりにくくなるだ
けでなく、見た目にも汚く見え、イメージダウンになる
という問題点がある。

【０００７】本発明は、こうした従来の問題点を解決す
るものであり、何種類の機種を使用する場合でも、机上
のスペースを占拠すること無く入出力が可能であり、利
便性に富み、また、遊び感覚で操作することができる入
出力装置を提供し、また、その入出力方法を提供するこ
とを目的としている。

【０００８】

【課題を解決するための手段】そこで、本発明の入出力
装置では、表示画面及び操作キーを平面上に投影する投
影手段と、平面上に投影された表示画面または操作キー
に対して操作者が行う入力操作を撮影する撮像手段と、
撮像手段が撮影した画像を解析して、操作者が行った入
力操作を識別する画像識別手段と、識別した入力操作に
応じた処理を行い、投影手段を制御して表示画面の表示
に処理結果を反映させる処理手段とを設けている。

【０００９】また、本発明の入出力方法では、平面上に
表示画面及び操作キーを投影し、この表示画面または操
作キーに対して入力操作を行い、この入力操作を撮影し
た画像を解析して入力操作内容を識別し、その入力操作
内容に応じた処理を行って、処理結果を表示画面の表示
に反映させるようにしている。

【００１０】そのため、平面上のスペースを占拠するこ
となく、入力処理を行い、処理結果を表示させることが
できる。

【００１１】

【発明の実施の形態】本発明の請求項１に記載の発明
は、入力操作に応じて処理された結果が表示される入出
力装置において、表示画面及び操作キーを平面上に投影
する投影手段と、平面上に投影された表示画面または操
作キーに対して操作者が行う入力操作を撮影する撮像手
段と、撮像手段が撮影した画像を解析して、操作者が行
った入力操作を識別する画像識別手段と、識別した入力
操作に応じた処理を行い、投影手段を制御して表示画面
の表示に処理結果を反映させる処理手段とを設けたもの
であり、投影画像上で入出力が行われるため、スペース
を占有しない。

【００１２】請求項２に記載の発明は、投影手段が、机
上面または壁面上に表示画面及び操作キーを投影するよ
うにしたものであり、平らな面であれば、どこにでも操
作画面を投影することができる。

【００１３】請求項３に記載の発明は、画像識別手段
が、操作者の指先の陰の長さに基づいて入力操作を識別
するようにしたものであり、指先を投影面に付けると陰
が無くなり、キーを選択したことが識別できる。

【００１４】請求項４に記載の発明は、撮像手段とし
て、撮影方向を異にする複数の撮像手段を設けたもので
あり、長い指に隠れて短い指の動きが捉えられなくなる
事態を防ぐことができる。

【００１５】請求項５に記載の発明は、画像識別手段
が、操作者の１または複数の指の形状または所作に基づ
いて入力操作を識別するようにしたものであり、指を折
り曲げたり、指先を小刻みに動かしたりする動作でキー
の選択を表示することができる。

【００１６】請求項６に記載の発明は、操作者が、発光
素子を有する補助具を使用して入力操作を行い、画像識
別手段が、補助具の発光位置に基づいて入力操作を識別
するようにしたものであり、選択するキーの位置で発光
素子を発光させて、キーの選択を表示する。

【００１７】請求項７に記載の発明は、補助具が、先端
に発光素子を有する棒状体から成り、棒状部分に設けら
れたプッシュボタンを押すと、発光素子が発光するよう
にしたものであり、鉛筆を持つ要領で補助具を持ち、選
択するキーの位置で発光させる。

【００１８】請求項８に記載の発明は、補助具が、指先
に嵌めるキャップから成り、キャップの爪側上面に発光
素子を設け、キャップの下面側に、押圧されたときに発
光素子を点灯するスイッチを設けたものであり、選択す
るキーの位置でキャップを投影面に押し付けて発光素子
を発光させる。

【００１９】請求項９に記載の発明は、各指先にこのキ
ャップを持つ手袋によって補助具を構成したものであ
り、手の各指を使って入力操作を行うことができる。

【００２０】請求項１０に記載の発明は、画像識別手段
及び処理手段を複数種類設けることによって、投影手段
及び撮像手段を用いて、複数種類の表示画面及び操作キ
ーによる入出力を可能にしたものであり、種類を選択し
て電源スイッチを入れることにより、所望の操作画面が
机上に投影され、電源スイッチを消せば、それが消え
る。

【００２１】請求項１１に記載の発明は、撮像手段によ
って撮影された書面等の画像からマーキングコードを識
別する画像識別手段を設けたものであり、管理番号など
をマーキングコードから取り込むことによって、入力ミ
スを無くし、入力操作を簡略化できる。

【００２２】請求項１２に記載の発明は、撮像手段によ
って撮影された書面等の画像から文字を読み取る画像識
別手段を設けたものであり、文書の文字を光学読み取り
で取り込むことにより、入力ミスを無くし、入力操作を
簡略化できる。

【００２３】請求項１３に記載の発明は、書面等に不可
視光を投光する不可視光投光手段と、不可視光画像を撮
影する不可視光撮像手段と、不可視光撮像手段が撮影し
た画像からステルスマーキングコードを読み取る画像識
別手段とを設けたものであり、セキュリティを保ちなが
ら、マーキングコードの読み取りができる。

【００２４】請求項１４に記載の発明は、投影手段が投
影する画像のサイズを調整する表示画像サイズ調整手段
と、撮像手段が撮影する画像のサイズを調整する撮像画
像サイズ調整手段とを設けたものであり、適正サイズの
操作画面を表示することができる。

【００２５】請求項１５に記載の発明は、投影手段が投
影する画像の位置及び角度を調整する表示画像位置／角
度調整手段と、撮像手段が撮影する画像の位置及び角度
を調整する撮像画像位置／角度調整手段とを設けたもの
であり、操作画面を所望の位置及び角度で表示させるこ
とができる。

【００２６】請求項１６に記載の発明は、投影手段が投
影する画像の輝度を調整する表示画像輝度調整手段と、
撮像手段が撮影した画像の輝度を調整する撮像画像輝度
調整手段とを設けたものであり、操作画面を所望の輝度
で表示させることができる。請求項１７に記載の発明
は、画像識別手段が、撮像手段によって撮影された画像
から操作者の指の形状または所作を識別し、表示画像サ
イズ調整手段、撮像画像サイズ調整手段、表示画像位置
／角度調整手段、撮像画像位置／角度調整手段、表示画
像輝度調整手段または撮像画像輝度調整手段が画像識別
手段の識別結果に基づいて調整を行うようにしたもので
あり、操作者は、指によって、決められた形を作り、あ
るいは、決められた所作を行うことによって、操作画面
のサイズや位置等を調整することができる。

【００２７】請求項１８に記載の発明は、音声を捕捉す
る捕捉手段と、捕捉された音声を識別する音声識別手段
とを設け、表示画像サイズ調整手段、撮像画像サイズ調
整手段、表示画像位置／角度調整手段、撮像画像位置／
角度調整手段、表示画像輝度調整手段または撮像画像輝
度調整手段が音声識別手段の識別結果に基づいて調整を
行うようにしたものであり、操作者は、声を出したり、
手を叩いたりすることによって、操作画面のサイズや位
置等を調整することができる。

【００２８】請求項１９に記載の発明は、投影手段に、
補完関係にある偏光画像と異相偏光画像とを投影する二
種類の投影手段を設け、操作者が偏光眼鏡を掛けて見る
ことができる偏光画像を撮像手段が撮影し、画像識別手
段が、撮像手段によって撮影された画像を解析して、操
作者が行った入力操作を識別するようにしたものであ
り、窓口手続を行う相手や第三者には判読が出来ない
が、装置の操作者には判読出来るため、セキュリティの
確保が可能になる。

【００２９】請求項２０に記載の発明は、投影手段が、
赤外線や紫外線などの不可視光の画像を投影し、撮像手
段が、不可視光の画像を撮影し、操作者が不可視光を可
視化するフィルタの眼鏡を掛けて入力操作を行うように
したものであり、窓口手続を行う相手や第三者には判読
が出来ないが、装置の操作者には判読出来るため、セキ
ュリティの確保が可能になる。

【００３０】請求項２１に記載の発明は、投影手段が、
投影光の透過口を有する筺体内に投影面に平行に移動す
ることが可能な光源を具備するように構成したものであ
り、操作画面の投影像を平面上で移動した場合でも、歪
みが発生しない。

【００３１】請求項２２に記載の発明は、投影手段とし
て、異なる机上に画像を投影する複数の投影手段を設
け、各投影手段が同一の画像を投影するようにしたもの
であり、窓口担当者が入力操作する操作画面を、窓口利
用者のカウンター上にも投影することが可能になる。

【００３２】請求項２３に記載の発明は、投影手段によ
り画像が投影される机上の面を、見やすいように傾斜さ
せたものであり、投影面を斜めにすることによって見や
すくなる。

【００３３】請求項２４に記載の発明は、投影手段より
投影される画像データを相互間で送受信する通信手段を
設けたものであり、教室の教師と生徒とが各々入出力装
置を持ち、その画面データをやり取りしたり、遠隔地と
画像データを通信して操作画面を共有したりすることが
可能になる。

【００３４】請求項２５に記載の発明は、ＲＦＩＤを読
み取るＲＦＩＤ読取り手段を設けたものであり、例え
ば、ＲＦＩＤ機能付きの手続用書類からＩＤを取り込む
ことによって、入力ミスを無くし、入力操作を簡略化で
きる。

【００３５】請求項２６に記載の発明は、ＲＦＩＤ読取
り手段を、投影手段から画像が投影される投影面の下に
配置したものであり、ＲＦＩＤ機能付きの手続用書類か
らのＩＤの取り込みが簡単にできる。

【００３６】請求項２７に記載の発明は、操作者の入力
操作に応じて、入力操作が行われた操作キーの位置に窪
みを形成するクリック感付与装置を設けたものであり、
操作者は入力操作を確認することができ、誤操作を減ら
すことができる。

【００３７】請求項２８に記載の発明は、操作者の入力
操作に応じて、入力確認用の音声を発生する音声発生手
段を設けたものであり、操作者は入力操作を確認するこ
とができ、誤操作を減らすことができる。

【００３８】請求項２９に記載の発明は、電子鍵読み取
り手段を設け、読み取った電子鍵が適正であることを条
件として動作を開始するようにしたものであり、セキュ
リティを保持することができる。

【００３９】請求項３０に記載の発明は、個人認証用の
マーキングコード読取り手段を設け、操作者の名札から
読み取ったマーキングコードが適正であることを条件と
して動作を開始するようにしたものであり、セキュリテ
ィを保持することができる。請求項３１に記載の発明
は、人相などの身体的特徴を認識する個人認識判定手段
を設け、認識した身体的特徴が登録されている身体的特
徴と一致することを条件として動作を開始するようにし
たものであり、セキュリティを保持することができる。

【００４０】請求項３２に記載の発明は、ＩＤカードか
らＲＦＩＤを読み取るＲＦＩＤ読取り手段を設け、操作
者のＩＤカードから読み取ったＲＦＩＤが適正であるこ
とを条件として動作を開始するようにしたものであり、
セキュリティを保持することができる。

【００４１】請求項３３に記載の発明は、投影手段及び
撮像手段を、机の間のパーティション上に立つ支柱に保
持し、画像識別手段及び処理手段を、パーティションの
内部に配置したものであり、机上のスペースを占有する
ものは何も無い。

【００４２】請求項３４に記載の発明は、投影手段及び
撮像手段を、受付カウンターの側板上に立つ支柱に保持
し、画像識別手段及び処理手段を、側板の内部に配置し
たものであり、受付カウンターのスペースを占有するも
のは何も無い。

【００４３】請求項３５に記載の発明は、入力操作に応
じて処理された結果を表示する入出力方法において、平
面上に表示画面及び操作キーを投影し、この表示画面ま
たは操作キーに対して入力操作を行い、この入力操作を
撮影した画像を解析して入力操作内容を識別し、その入
力操作内容に応じた処理を行って、処理結果を表示画面
の表示に反映させるようにしたものであり、平面上のス
ペースを占拠することなく、入力処理を行い、処理結果
を表示させることができる。

【００４４】請求項３６に記載の発明は、画像に映る指
先の陰の長さが所定長さより短くなったとき、指先に位
置するキーまたはアイコンが選択されたと識別するよう
にしたものであり、指先を投影面に付けると陰が無くな
り、キーを選択したことが識別できる。

【００４５】請求項３７に記載の発明は、画像に映る指
が所定の所作を行ったとき、指先に位置するキーまたは
アイコンが選択されたと識別するようにしたものであ
り、指を折り曲げたり、指先を小刻みに動かしたりする
動作でキーの選択を表示することができる。

【００４６】請求項３８に記載の発明は、入力操作を行
う操作者の手を二方向から撮影し、それぞれの撮影方向
の画像から、異なる指の動きを解析するようにしたもの
であり、長い指に隠れて短い指の動きが捉えられなくな
る事態を防ぐことができる。請求項３９に記載の発明
は、発光素子を有する補助具を使用して入力操作を行
い、画像に発光する発光素子が映ったとき、発光位置の
キーまたはアイコンが選択されたと識別するようにした
ものであり、選択するキーの位置で発光素子を発光させ
て、キーの選択を表示する。

【００４７】請求項４０に記載の発明は、書面等を撮影
した画像を解析してマーキングコードや文字を識別し、
入力情報として取り込むようにしたものであり、入力ミ
スを無くし、入力操作を簡略化できる。

【００４８】請求項４１に記載の発明は、投影する画像
のサイズ、投影位置や角度、投影画像の輝度、撮影する
画像のサイズ、撮影位置や角度、または撮影画像の輝度
を、画像に映る指の形状または所作に応じて調整するよ
うにしたものであり、操作者は、決められた指の形を作
ったり、決められた動かし方をすることによって操作画
面の位置やサイズなどを調整することができる。

【００４９】請求項４２に記載の発明は、平面上に表示
画面及び操作キーを偏光によって投影し、この偏光と補
完関係にある異相偏光の画像をそれに重ねて投影し、操
作者が偏光眼鏡を用いた場合にのみ、表示画面及び操作
キーが判読できるようにしたものであり、セキュリティ
を保持することができる。

【００５０】請求項４３に記載の発明は、平面上に表示
画面及び操作キーを不可視光によって投影し、操作者が
不可視光を可視化するフィルタの眼鏡を用いた場合にの
み、この表示画面及び操作キーが判読できるようにした
ものであり、セキュリティを保持することができる。

【００５１】請求項４４に記載の発明は、入力操作が確
認できるように、入力操作が行われた操作キーの位置に
窪みを形成するようにしたものであり、操作者は入力操
作を確認することができ、誤操作を減らすことができ
る。

【００５２】請求項４５に記載の発明は、入力操作が確
認できるように、入力操作に応じて音声を出力するよう
にしたものであり、操作者は入力操作を確認することが
でき、誤操作を減らすことができる。

【００５３】請求項４６に記載の発明は、表示画面のポ
インターを指す一本指の動きに従ってポインターを表示
画面中で移動し、指が二本になった位置にポインターを
位置決めするようにしたものであり、指の操作で表示画
面のポインターを移動することができる。

【００５４】請求項４７に記載の発明は、表示画面のア
イコンを挟む指先の動きに従ってアイコンを表示画面中
で移動し、この指の一方が折り曲げられた位置にアイコ
ンを位置決めするようにしたものであり、指の操作で表
示画面のアイコンを所望の位置に移動することができ
る。

【００５５】以下、本発明の実施の形態について、図面
を用いて説明する。

【００５６】（第１の実施形態）第１の実施形態の入出
力装置は、図２の斜視図及び図３の側面図に示すよう
に、机上の片隅に設置された装置本体23と、投影用のプ
ロジェクター19及び撮影用のビデオカメラ20とを具備し
ている。プロジェクター19からは、キーボード21及び表
示画面22を含む表示操作画面の画像が机上に投影され、
また、そのキーボード21を操作する操作者の手の様子が
ビデオカメラ20で撮影される。そして、ビデオカメラ20
で撮影された画像が解析され、操作者の指がキーボード
21のどのキーを押しているかが検出され、そのキーボー
ド操作に基づく演算が装置本体23内で行われ、演算結果
がプロジェクター19により表示画面22に投影される。

【００５７】この入出力装置の本体は、図１に示すよう
に、プロジェクター19から投影される表示画面22の表示
を制御する投影式表示画面表示制御部16と、プロジェク
ター19から投影されるキーボード21の表示を制御する投
影式操作キー表示制御部17と、撮影用ビデオカメラ20で
撮影された画像を解析して入力を認識する画像解析部15
と、必要なデータを記憶する記憶回路部11と、記憶媒体
からのデータの読取りや書込みを行う記憶媒体読取書込
装置部12と、印字を行う印字装置部13と、入出力装置の
各部に電源を供給する電源部14と、各部の制御と演算処
理とを行うＣＰＵ18とを備えている。

【００５８】この装置では、キーボードの操作が投影さ
れたキーボード上で行われ、操作されたキーが画像解析
部15の画像解析によって検出される。操作されたキーに
基づく演算等の処理や、記憶媒体にデータを記録したり
データを読み出したりする動作は、従来のコンピュータ
と同じように行われ、処理結果が投影式表示画面表示制
御部16の制御の下に、プロジェクター19から投影され
る。

【００５９】従って、従来のコンピュータの表示画面が
机上に投影された表示画面22に変わり、従来のコンピュ
ータのキーボードが机上に投影されたキーボード21に変
わっただけで、コンピュータの機能自体は、従来のコン
ピュータと変わりが無い。

【００６０】この装置の操作フローを図４に示してい
る。

【００６１】ステップ１：操作者が電源スイッチをオン
すると、電源部14から各部に電源供給が開始され、ステップ２：記憶回路部11の記憶エリアがクリアされ、ステップ３：記憶媒体読取書込装置部12によって記憶媒
体から読み込まれたプログラムがローディングされる。

【００６２】ステップ４：各入出力が初期化された後、ステップ５：投影式表示画面表示制御部16及び投影式操
作キー表示制御部17は、表示画面及びキーボードの投影
を制御する。

【００６３】ステップ６：表示操作画面が投影される
と、ステップ７：操作者は、表示操作画面のキーボード部分
でキー操作の動作を行う。

【００６４】ステップ８：画像解析部15は、キーボード
部分の撮像画面に対する画像解析を行い、ステップ９：画像解析の結果がＣＰＵ18に入力する。

【００６５】ステップ10：ＣＰＵ18は、入力された内容
に従って計算を行い、また、手続き業務処理等を行う。

【００６６】ステップ11：この処理結果は投影式表示画
面表示制御部16に送られ、投影式表示画面表示制御部16
は、この処理結果をプロジェクター19から投影する表示
画面に表示するように制御する。

【００６７】ステップ12：手続き業務等の処理が終了す
るまでステップ７〜ステップ11の手順が繰り返され、処
理が終了すると、ステップ13：操作者は終了操作を行う。

【００６８】この装置では、操作者の指が、投影されて
いるキーボードのキーを押したかどうかが次のように判
断される。

【００６９】図５（ａ）に示すように、キーボードが投
影されている机上に手を翳すと、プロジェクター19の投
影画像光により机上に指の陰が写る。この陰の指先から
の長さは、図６に示すように、指先が机上から離れてい
る程長くなり、指先が机上に接触する場合には図７及び
図５（ｂ）に示すように極めて短くなる。

【００７０】画像解析部15では、ビデオカメラ20で撮影
された画像から、この指先の陰の長さを解析し、その長
さが所定値より短くなった場合に、キーが押されたと判
断する。

【００７１】また、押されたキーの位置は次のようにし
て判断する。

【００７２】図８に示すように、投影するキーボードの
四隅に目印となる図形（市松模様）を併せて投影し、こ
の目印とキーボードの各キーとの位置関係を予めコンピ
ュータに記憶させておく。一方、ビデオカメラ20では、
操作者の指を目印の図形とともに撮影し、操作者が選択
するキーに指を置いた場合には、その画像を解析して、
そのときの指の位置と目印の図形との相対位置から、選
択されたキーを算出する。

【００７３】また、別の方法では、図９に示すように、
ビデオカメラ20のＣＣＤ撮像素子の画素にキーボードの
投影画像のキーの位置を割り付け、各画素とキーの位置
との関係を予めコンピュータに記憶させる。そして、操
作者が選択するキーに指を置いた場合には、キーボード
と指とを映した画像を解析して、指の位置がどのキーの
位置に相当するかを判定する。

【００７４】また、元のキーボードの画像と、指が映る
キーボードの画像とを比較し、それらの間で差異が顕著
に現れているポイントがどこであるかを画像解析して、
指によって選択されたキーの位置を判定することもでき
る。

【００７５】このように、この実施形態の入出力装置
は、机上に表示操作画面を投影することによって入力操
作を行うことができ、この投影を消すことによって、表
示操作画面が在った机の上は何も無い状態に戻る。従っ
て、机上のスペースを占拠することが無い入出力装置と
することができる。

【００７６】なお、ここでは、操作者が投影されたキー
ボードを指で操作する場合について説明したが、この装
置では、通常のコンピュータの表示画面に表示されたア
イコンをマウスで指定するように、投影された表示画面
のアイコンを指で指定して各種の処理を行わせることも
可能である。

【００７７】また、図１０に示すように、壁面などに表
示操作画面を投影して入力操作を行い、処理結果を出力
させることもできる。

【００７８】（第２の実施形態）第２の実施形態では、
多数の指を使用する場合でも、的確な入力操作を可能に
する構成について説明する。

【００７９】この入出力装置は、図１１に示すように、
撮影用ビデオカメラとして、異なる方向から手の位置を
撮影する２台のビデオカメラＡ、Ｂを設置している。

【００８０】人間の手の指には長短があるため、一方向
からだけの撮影では、長い指が短い指を隠蔽して、各指
の入力操作が画像上で識別できない場合が生じる。その
ため、この装置では、２台のビデオカメラを設置し、ビ
デオカメラＡで撮影された画像からは、例えば、小指、
薬指及び中指の動きを識別し、ビデオカメラＢで撮影さ
れた画像からは、人差し指及び親指の動きを識別すると
云うように、片方のカメラ位置では明確に撮影できない
指を他方のカメラで撮影することによって、全ての指に
よる入力操作を的確に捉えることが可能になる。

【００８１】（第３の実施形態）第３の実施形態では、
キーの選択を指の所作で表示する入力操作方法について
説明する。

【００８２】操作者は、図１２に示すように、投影され
たキーボードのキーを選択した場合に、指先を左右に振
る所作を行う。画像解析部15は、画像からこの指先の動
きを検出すると、キーが選択されたものと識別する。

【００８３】また、操作者は、図１３に示すように、投
影されたキーボードのキーを選択した場合に、キーの枠
内で指を前または後ろに曲げる動作を行う。

【００８４】また、操作者は、図１４、図１５及び図１
６に示すように、投影されたキーボードのキーを選択し
た場合に、２本の指先を重ね合わせる動作を行う。

【００８５】ビデオカメラ20の画像から、こうした指の
所作を検出することによって、投影されているキーボー
ドのキーが選択されたことを識別することができる。

【００８６】（第４の実施形態）第４の実施形態では、
キーの選択を補助具を用いて表示する入力操作方法につ
いて説明する。

【００８７】図１７及び図１８は、鉛筆状のインジケー
タ装置を使用してキー選択を行う場合を示している。こ
のインジケータ装置は、軸部にスイッチボタンが有り、
このスイッチボタンを押したときに点灯するインジケー
タランプを先端に具備している。

【００８８】操作者は、選択するキーにインジケータ装
置の先端を当てて、指でスイッチボタンを押す。この操
作でインジケータランプが点灯し、キーが選択されたこ
とを表示する。

【００８９】また、図１９、図２０、図２１は、指先に
キャップを嵌めてキー選択を行う場合を示している。こ
のキャップは、下面側に感圧スイッチを備え、上面の爪
側に発光素子を備えている。

【００９０】操作者は、選択するキーに、このキャップ
を嵌めた指先を押し付ける。この操作で、感圧スイッチ
がオンになり、爪側の発光素子が発光して、キーが選択
されたことを表示する。

【００９１】図２２は、このキャップを各指に嵌めた手
袋を示している。操作者は、この手袋を嵌めることによ
って、各指を使って入力操作を行うことができる。

【００９２】（第５の実施形態）第５の実施形態では、
複数種類のコンピュータの入出力に使用することができ
る入出力装置について説明する。

【００９３】この装置は、図２３に示すように、装置
Ａ、装置Ｂ及び装置Ｃが共通のプロジェクター及び撮影
用ビデオカメラに接続している。各装置の基本構成は同
じであるが、図２４に示すように、装置Ａ、装置Ｂ及び
装置Ｃによって投影されるキーボードの形状はそれぞれ
異なり、また、それに合わせて各装置の入出力ソフトも
相違している。

【００９４】操作者は、業務に応じて、装置Ａ、Ｂ、Ｃ
のいずれかを選択し、電源スイッチをオンにする。電源
スイッチがオンされた装置は、起動して、その装置のキ
ーボード及び表示画面を机上に投影し、操作者がそのキ
ーボードからキーを選択すると、そのキー入力に従って
演算を行い、演算結果が表示画面に投影される。

【００９５】このように、この装置は、プロジェクター
及び撮影用ビデオカメラを共用して、複数の装置として
使用することができる。

【００９６】（第６の実施形態）第６の実施形態の入出
力装置は、バーコードや文字等の読み取り機能を合わせ
て有している。

【００９７】この装置は、図２５に示すように、投影用
の可視光表示投影装置31と、撮像用のカメラ32とを具備
し、画像解析部33が、入力を認識する入力対応認識解析
部34と、バーコードや二次元バーコードなどのマーキン
グコードを読取るマーキングコード読み取り認識解析部
35とを具備している。その他の構成は第１の実施形態
（図１）と変わりがない。

【００９８】この装置は、画像解析部33の入力対応認識
解析部34により、入出力装置としての機能を行う外に、
画像解析部33のマーキングコード読み取り認識解析部35
によりマーキングコードの読み取りを行う。

【００９９】この場合、マーキングコードが付された文
書やカードなどを机上の投影面に置き、撮影用カメラ32
で撮影する。画像解析部33のマーキングコード読み取り
認識解析部35は、撮影された画像からマーキングコード
の部分を切り出して解析し、ＣＰＵ18が、その解析結果
に基づいてマーキングコードを識別する。

【０１００】この装置では、管理番号等の入力をマーキ
ングコードの読み取りで行うことにより、入力操作を簡
略化することができ、また、入出力処理の迅速化及び正
確化を図ることができる。

【０１０１】また、図２６には、デジタル撮影用ビデオ
カメラ36と画像解析部33とで、入力対応認識の他に、文
字やマーキングコードの光学読み取りを合わせて行う装
置を示している。

【０１０２】この装置では、文字等が書かれた伝票や帳
票、手続き用書類等を投影面に置くと、その文字等が画
像解析部33によって読み取られる。従って、これらの情
報の入力操作を省略することができ、入出力処理の迅速
化及び正確化を図ることができる。

【０１０３】（第７の実施形態）第７の実施形態の入出
力装置は、肉眼では見えないステルスマーキングコード
を読み取る機能を有している。

【０１０４】この装置は、図２７に示すように、紫外線
や赤外線などの不可視光を照射する不可視光投光スキャ
ン装置42と、不可視光に感応して撮影する不可視光撮影
装置41と、不可視光撮影装置41で撮影された画像からス
テルスマーキングを読み取るステルスマーキングコード
読取装置43とを備えている。

【０１０５】ステルスマーキングは、肉眼では見えない
が、紫外線などを照射することによって撮影が可能にな
り、ステルスマーキングコード読取装置43で画像解析し
てそのマーキングコードを読み取ることができる。

【０１０６】この実施形態の装置では、管理番号等の入
力をステルスマーキングコードから読み取ることによっ
て、高いセキュリティを確保することができる。

【０１０７】（第８の実施形態）第８の実施形態の入出
力装置は、投影する表示操作画面のサイズの調整が可能
である。

【０１０８】この装置は、図２８に示すように、投影用
の表示画面投影装置44が表示画像サイズ調整手段46を具
備し、撮像用のカメラ45が撮像サイズ調整手段47を具備
している。その他の構成は第１の実施形態と変わりがな
い。

【０１０９】表示画面投影装置44の表示画像サイズ調整
手段46は、図２９に示すように、投影する表示操作画面
を、拡大または縮小して、適正サイズに調整し、また、
撮像用カメラ45の撮像サイズ調整手段47は、投影された
表示操作画面のサイズに合わせて撮像サイズを調整す
る。

【０１１０】（第９の実施形態）第９の実施形態の入出
力装置は、表示操作画面の投影位置や角度の調整が可能
である。

【０１１１】この装置は、図３０に示すように、投影用
の表示画面投影装置44が表示画像の位置、角度等を調整
する調整手段48を具備し、撮像用のカメラ45が撮像画像
の位置、角度等を調整する調整手段49を具備している。
その他の構成は第１の実施形態と変わりがない。

【０１１２】表示画面投影装置44の位置・角度調整手段
48は、図３１に示すように、投影する表示操作画面の位
置を上下左右に移動したり、回転したりすることがで
き、また、撮像用カメラ45の調整手段49は、投影された
表示操作画面の位置や角度に合わせて撮像画像を調整す
ることができる。

【０１１３】（第１０の実施形態）第１０の実施形態の
入出力装置は、表示操作画面の輝度の調整が可能であ
る。この装置は、図３２に示すように、投影用の表示画
面投影装置44が表示画像の輝度を調整する輝度調整手段
50を具備している。その他の構成は第１の実施形態と変
わりがない。

【０１１４】表示画面投影装置44の輝度調整手段48は、
投影する表示操作画面が見やすいように輝度を調整す
る。

【０１１５】（第１１の実施形態）第１１の実施形態の
入出力装置は、表示操作画面のサイズ、位置、角度、輝
度などを手の所作で調整することができる。

【０１１６】この装置は、図３３に示すように、投影用
の表示画面投影装置44が表示画像のサイズ、位置、角
度、輝度などを調整する調整手段51を具備し、撮像用の
カメラ45が撮像画像のサイズ、位置、角度、輝度等を調
整する調整手段52を具備し、また、画像解析部53が、入
力対応認識部55と、手指の所作や形を認識して調整やオ
ンオフの操作を識別する操作判別部54とを具備してい
る。

【０１１７】図３４には、手指の各種の形状及び所作を
例示している。操作者は、投影面の上で決められた手の
形を取り、あるいは所作を行うことによって、装置をオ
ンオフしたり、調整内容を指定して、その実行を指示し
たりする。

【０１１８】この手の形状及び所作は、撮影用カメラ45
で撮影されて画像解析部53に送られる。画像解析部53の
操作判別部54は、その画像を解析して、オンオフや調整
の指示を判別し、表示画面投影装置44及び撮像用カメラ
45の調整手段51、52に入力する。調整手段51、52は、入
力した指示に従って表示操作画面や撮像画像のサイズ、
位置、角度、輝度等を調整する。

【０１１９】このように、この実施形態の装置では、手
の形や所作によって表示操作画面のサイズ、位置、角
度、輝度などを自動調整することができる。

【０１２０】（第１２の実施形態）第１２の実施形態の
入出力装置は、表示操作画面のサイズ、位置、角度、輝
度などを音声で調整することができる。

【０１２１】この装置は、図３５に示すように、マイク
ロホン56と、マイクロホン56から入力する音を解析する
音解析部57とを備えている。

【０１２２】操作者は、マイクロホン56から、調整の内
容に応じて、予め決められた音声や、所定回数の手を叩
く音などを入力する。この音は音解析部57で解析され、
解析結果に基づいて、装置がオンオフされ、あるいは、
識別された調整の指示が、投影式表示画面表示制御部16
及び投影式操作キー表示制御部17を介して表示画面投影
装置44及び撮影用カメラ45の調整手段51、52に入力し、
表示操作画面や撮像画像のサイズ、位置、角度、輝度等
が調整される。

【０１２３】（第１３の実施形態）第１３の実施形態の
入出力装置は、偏光眼鏡を掛けた場合にだけ表示操作画
面が判読できる。

【０１２４】この装置は、図３６に示すように、表示操
作画面の偏光画像の表示を制御する偏光画像投影式表示
画面及び操作キー表示制御部58と、その偏光画像を投影
する偏光画像表示投影装置62と、この偏光画像を撮影す
る偏光画像撮像用カメラ63と、偏光画像撮像用カメラ63
で撮像された画像を解析する画像解析部59と、偏光画像
表示投影装置62の偏光と補完関係にある異相偏光での表
示操作画面の表示を制御する操作員用異相偏光画像表示
画面及び操作キー表示制御部60と、その異相偏光画像を
投影する異相偏光画像投影装置64と、この異相偏光画像
を撮影する異相偏光画像撮像用カメラ65と、異相偏光画
像撮像用カメラ65で撮像された画像を解析する画像解析
部61とを備えている。

【０１２５】この装置では、偏光画像表示投影装置62及
び異相偏光画像投影装置64から同時に異なる画像が投影
されるため、投影面を肉眼で見たのでは、画像の内容が
判読できない。しかし、偏光眼鏡67を掛けた操作者に
は、異相偏光画像投影装置64から投影された表示操作画
面の画像だけが見えるため、この表示操作画面によって
入力操作を行うことができる。

【０１２６】この異相偏光による画像は、異相偏光画像
撮像用カメラ65で撮像され、画像解析部61でその画像が
解析され、入力操作に応じた演算結果が、表示制御部60
の制御の下に、異相偏光画像投影装置64によって投影さ
れる。従って、偏光眼鏡67を掛けた操作者は投影面に表
示された演算結果を読むことができるが、肉眼では判読
できない。

【０１２７】このように、この装置では、窓口手続業務
の相手や第三者には判読できない状態で入出力処理を行
うことができ、守秘が必要な事項について高いセキュリ
ティを保つことができる。

【０１２８】（第１４の実施形態）第１４の実施形態の
入出力装置では、表示操作画面が不可視光で投影され、
不可視光を可視化する眼鏡を掛けた場合にだけ表示操作
画面が判読できる。

【０１２９】この装置は、図３７に示すように、不可視
光画像を投影する不可視光画像表示投影装置69と、その
画像の表示を制御する不可視光画像投影式表示画面及び
操作キー表示制御部68と、その画像を撮影する不可視光
画像撮像用カメラ70とを備えている。その他の構成は第
１の実施形態と変わりがない。

【０１３０】この装置の不可視光画像表示投影装置69か
らは、紫外線や赤外線等の不可視光によって表示操作画
面が投影され、これらの不可視光を可視光に変換するフ
ィルターで構成された眼鏡71を掛けた操作者でなけれ
ば、この投影画像を見ることができない。

【０１３１】従って、高いセキュリティを保って入力操
作を行うことができる。

【０１３２】（第１５の実施形態）第１５の実施形態で
は、投影位置を移動した場合でも、歪みの少ない画像を
投影することができる投影方法について説明する。

【０１３３】図３９に示すように、投影装置の真下に画
像を投影する場合には、画像の歪みは発生しないが、こ
の投影画像の位置を移動するために投影装置の向きを変
えると、図４０に示すように、投影画像が歪んでしま
う。

【０１３４】こうした現象を防止するため、この実施形
態の装置では、図３８に示すように、レンズ74を具備す
る投影装置72の内部に、光源73を平行移動可能に設置し
ている。

【０１３５】この装置では、投影画像の位置を移動する
場合には、その移動方向と反対の方向に光源73を投影装
置72内で平行移動する。光源73からの光線は、レンズ74
を通過した後、机上に達して投影画像を表示するが、机
上に表示される画像は、光源73を移動しても歪みが発生
しない。

【０１３６】そのため、この装置では、表示操作画面を
机上の所望の位置に移動して入力操作を行う場合でも、
歪みの無い表示操作画面を投影することが可能である。

【０１３７】（第１６の実施形態）第１６の実施形態の
入出力装置は、操作者が操作する表示操作画面と同じも
のを窓口利用者に見せることができる。

【０１３８】この装置は、図４１に示すように、窓口係
員76が向かう机の上に窓口係員用の操作用画面77を投影
する窓口係員操作用画面投影装置78と、窓口カウンター
テーブル75に窓口利用者80に見せるための操作用画面77
を投影する窓口利用者用画面投影装置79とを備えてい
る。

【０１３９】窓口利用者用画面投影装置79及び窓口係員
操作用画面投影装置78には、同一の画像データが入力
し、窓口利用者用画面投影装置79は、窓口係員操作用画
面投影装置78が投影する操作用画面77と同じ画面を窓口
カウンターテーブル75の上に投影する。

【０１４０】そのため、窓口係員76は、窓口利用者80に
同一内容の操作用画面77を見せながら、窓口受け付け業
務を行うことができるため、理解を速め、間違いを生じ
ること無く、手続きを進めることができる。

【０１４１】また、図４２には、窓口利用者及び窓口係
員にとって操作用画面が見易くなるように、この操作用
画面77が投影される窓口カウンターテーブル及び机上の
面を傾斜させた構成を示している。この構成により窓口
係員は、操作用画面の入力操作もし易くなる。

【０１４２】（第１７の実施形態）第１７の実施形態で
は、各入出力装置に通信手段を設け、相互の間でデータ
交換を可能にしたシステムについて説明する。

【０１４３】各入出力装置には、投影装置から投影する
表示操作画面の画像データを通信する通信手段を設け
る。各入出力装置では、通信手段を通じて受信した表示
操作画面の画像データを投影装置から投影することによ
って、通信相手先の入出力装置と同一画面を表示するこ
とが可能になる。

【０１４４】図４３は、こうしたシステムの利用例を示
しており、教師及び学生の机には、通信手段を具備する
入出力装置が設置されている。学生は、その入出力装置
を通じて、教師の机上に投影される画像データを受信
し、自らの机上に教師と同じ表示操作画面を投影させる
ことができ、また、教師は、必要に応じて、学生の入出
力装置から受信した画像データに基づいて、学生が見て
いる画面と同じものを教師の机上に表示させることがで
きる。

【０１４５】このように、各入出力装置が通信手段を持
つことにより、教室内や遠隔地に置かれた複数の装置に
おいて、同じ画面を表示することが可能になる。

【０１４６】（第１８の実施形態）第１８の実施形態の
入出力装置は、無線ＩＤ（ＲＦＩＤ）の読み取り機能を
備えている。

【０１４７】この装置は、図４４に示すように、ＲＦＩ
Ｄ機能が付加された書類等から無線送信されるＩＤを読
み取るＲＦＩＤ読み取り装置81を備えている。その他の
構成は第１の実施形態と変わりがない。

【０１４８】ＲＦＩＤ機能を持つ書類等は、ＲＦＩＤ応
答アンテナとメモリーとを具備しており、ＲＦＩＤ読み
取り装置81からの無線送信に応答して、メモリーに記憶
されているＩＤをＲＦＩＤ応答アンテナから送信する。
ＲＦＩＤ読み取り装置81は、このＩＤを受信し、データ
として取り込む。

【０１４９】また、図４５は、ＲＦＩＤ読み取り装置82
を投影面の位置に設けた場合を示している。

【０１５０】このように、手続き書類にＲＦＩＤ機能を
付加し、そのＩＤを入出力装置のＲＦＩＤ読み取り装置
で読み取ることによって、入力操作の手間を省き、迅速
かつ正確にＩＤ等を入力することが可能になる。

【０１５１】（第１９の実施形態）第１９の実施形態の
入出力装置では、入力したときの手応えを操作者に与え
ることができる。

【０１５２】この装置は、図４６に示すように、キーボ
ードが投影される投影面に、入力位置が窪んで入力操作
の感触を与えるクリック感付与装置84を具備し、また、
装置本体に、このクリック感付与装置84を駆動する操作
入力時クリック感付与装置83を具備している。

【０１５３】投影面の下のクリック感付与装置84には、
図４７に示すように、複数のピエゾ素子が２次元的に配
列されている。投影されたキーボード上で操作者がキー
の選択操作を行うと、その画像が解析され、選択された
キーの位置が識別される。ＣＰＵは、そのキーの位置を
操作入力時クリック感付与装置83に伝えてクリック感付
与の動作を指令し、操作入力時クリック感付与装置83
は、指定されたキーの位置のピエゾ素子に電圧を加え
る。その結果、操作者によって選択されたキーの位置が
窪み、操作者は、キーを押したためにその位置が凹んだ
ような感触を得ることができる。

【０１５４】このように、この入出力装置では、操作者
はキーを押した感触を得ることによって、キー入力を確
認することができ、誤操作を減らすことができる。

【０１５５】また、図４８に示す装置は、操作者によっ
てキーが選択されたときに音を発するスピーカまたはブ
ザー85を具備している。

【０１５６】この入出力装置では、画像解析によってキ
ーの選択が識別されると、ＣＰＵからスピーカまたはブ
ザー85に信号が出力され、スピーカまたはブザー85が音
を発生する。このように、この装置では、操作者はキー
入力を音声で確認することができ、誤操作を減らすこと
ができる。

【０１５７】（第２０の実施形態）第２０の実施形態で
は、表示画面のインジケータやアイコンを手の所作で移
動する方法について説明する。

【０１５８】図４９に示すように、投影された表示画面
に表示されているインジケータ（矢印）を一本だけ突き
出した指の先で指し示し、次いで、指先を移動する。こ
の所作で矢印は、指先の動きに合わせて移動する。矢印
を所定の位置まで誘導すると、図５０に示すように、矢
印を誘導した指の隣の指を突き出す。このように二本の
指を突き出すことによって矢印の位置は確定される。

【０１５９】また、図５１に示すように、投影された表
示画面に表示されているアイコン等のパターンを移動す
る場合は、二本の指先の間にパターンを挟み、その状態
で手を移動する。この所作により、パターンは手の動き
に合わせて移動する。次に、パターンを所定位置まで誘
導すると、図５２に示すように、片方の指を折り曲げ
る。この所作で、パターンの位置が確定される。

【０１６０】こうした所作をする手は、インジケータや
アイコンとともに撮像され、画像解析部で、その所作が
表している内容が解析され、解析結果に基づいてインジ
ケータやアイコンの移動が表示される。

【０１６１】このように、この装置では、インジケータ
やアイコンの移動を、手の所作だけで、簡単に、かつ、
迅速に行うことができる。

【０１６２】（第２１の実施形態）第２１の実施形態で
は、入出力装置のセキュリティ確保のための構成につい
て説明する。

【０１６３】図５３に示す装置は、装置本体に電子鍵読
み取り装置87を備えている。この装置は、操作者が、電
子鍵を電子鍵読み取り装置87に読み取らせた後でない
と、動作を開始しない。

【０１６４】従って、鍵を持たない他人の操作を防止す
ることができ、セキュリティを保つことができる。

【０１６５】図５４に示す装置は、操作者の名札89に付
与されたバーコード等を読み取る個人認証用マーキング
コード読み取り装置87を備えている。この装置は、操作
者の名札89より読み取ったコードから、装置の前に座っ
た操作者が適正な操作者であると識別できた場合にだけ
動作を開始する。

【０１６６】図５５に示す装置は、操作者の顔を識別す
る個人認識判定装置88を備えている。この装置は、個人
認識判定装置88で操作者の顔を識別し、装置の前に座っ
た操作者が適正な操作者であると識別できた場合にだけ
動作を開始する。

【０１６７】図５６に示す装置は、操作者が身に付けた
ＲＦＩＤのＩＤカード91からＲＦＩＤを読み取るＲＦＩ
Ｄ読み取り装置90を備えている。この装置は、操作者の
ＩＤカード91より読み取ったＲＦＩＤが、適正な操作者
のＩＤである場合にだけ動作を開始する。

【０１６８】これらの装置では、適正操作者以外の操作
を阻むことができ、セキュリティの向上を図ることがで
きる。

【０１６９】（第２２の実施形態）第２２の実施形態で
は、入出力装置の配置について説明する。

【０１７０】図５７は、机への配置例を示している。机
の下には印字装置92を配置し、装置本体は、机間のパー
ティション93に内蔵し、このパーティションに支柱を立
てて、その先に投影装置及び撮像装置を配置している。

【０１７１】また、図５８は、自立可能なパーティショ
ン94に装置本体の構成を内蔵し、このパーティションに
支柱を立てて、その先に投影装置及び撮像装置を配置し
た例を示している。図５７のパーティション93に代えて
図５８のパーティション94を使用することができる。

【０１７２】図５９は、受付カウンターに入出力装置を
配置した例であり、カウンターテーブル面を保持する側
板95に装置本体を内蔵し、この側板に支柱を立てて、そ
の先に投影装置及び撮像装置を配置し、また、カウンタ
ーテーブル96の下に印字装置92を配置している。

【０１７３】こうした配置により、机上には広いスペー
スを確保することができ、机上でのその他の作業を妨げ
ることも無く、また、美観を保つことができる。

【０１７４】

【発明の効果】以上の説明から明らかなように、本発明
の入出力装置及び入出力方法では、机の上などに様々な
表示器や操作キーボードなどを並べる必要が無く、机上
をシンプル化することができ、窓口カンターや机上の美
観を向上し、イメージアップを図ることができる。

【０１７５】また、一台の入出力装置によって複数種類
の機器に対応する入出力処理を行うことができる。ま
た、その機器群の仕様変更や増設が必要になった場合で
も、ソフトの変更やソフトの追加によって対応すること
ができ、自由度が高く、トータルコストが低い。

【０１７６】また、コンピュータ応用機器の操作性の向
上を図ることができるだけでなく、入力操作の意外性や
面白さが若者や子供の興味を惹くことができ、各種のデ
モンストレーションなどで遊び感覚での入力処理に利用
することもできる。

【０１７７】また、様々な二次機能を付加することによ
って、その応用範囲を広げることが可能である。

【図面の簡単な説明】

【図１】第１の実施形態の入出力装置の構成を示すブロ
ック図、

【図２】第１の実施形態の入出力装置の斜視図、

【図３】第１の実施形態の入出力装置の側面図、

【図４】第１の実施形態の入出力装置の動作を示すフロ
ー図、

【図５】第１の実施形態の入出力装置において指による
キー選択が行われる前の状態（ａ）と、キー選択が行わ
れた後の状態（ｂ）を示す図、

【図６】第１の実施形態の入出力装置において指が投影
面にタッチする前の状態を示す説明図、

【図７】第１の実施形態の入出力装置において指が投影
面にタッチした後の状態を示す説明図、

【図８】第１の実施形態の入出力装置において選択され
たキー位置を判定する方法を説明する図、

【図９】第１の実施形態の入出力装置において選択され
たキー位置を判定する他の方法を説明する図、

【図１０】第１の実施形態の入出力装置を壁面に投影し
た状態を示す図、

【図１１】第２の実施形態の入出力装置において２台の
カメラ位置を示す図、

【図１２】第３の実施形態の入出力装置での指を動かす
キー選択方法を示す図、

【図１３】第３の実施形態の入出力装置での指を曲げる
キー選択方法を示す図、

【図１４】第３の実施形態の入出力装置での指を重ねる
キー選択方法を示す図、

【図１５】第３の実施形態の入出力装置での指を重ねる
キー選択方法の選択前の状態を示す図、

【図１６】第３の実施形態の入出力装置での指を重ねる
キー選択方法の選択後の状態を示す図、

【図１７】第４の実施形態の入出力装置でのスティック
状の補助具を用いるキー選択方法を示す図、

【図１８】第４の実施形態の入出力装置でのスティック
状の補助具を用いるキー選択方法の選択時の状態を示す
図、

【図１９】第４の実施形態の入出力装置でのキャップ状
の補助具を用いるキー選択方法を示す図、

【図２０】第４の実施形態の入出力装置でのキャップ状
の補助具を用いるキー選択方法の選択前の状態を示す
図、

【図２１】第４の実施形態の入出力装置でのキャップ状
の補助具を用いるキー選択方法の選択後の状態を示す
図、

【図２２】第４の実施形態の入出力装置でのキャップ状
の補助具を具備する手袋を用いるキー選択方法を示す
図、

【図２３】第５の実施形態の入出力装置の構成を示すブ
ロック図、

【図２４】第５の実施形態の入出力装置により表示され
る複数のキーボードの種別を示すブロック図、

【図２５】第６の実施形態の入出力装置の構成を示すブ
ロック図、

【図２６】第６の実施形態の入出力装置の他の構成を示
すブロック図、

【図２７】第７の実施形態の入出力装置の構成を示すブ
ロック図、

【図２８】第８の実施形態の入出力装置の構成を示すブ
ロック図、

【図２９】第８の実施形態の入出力装置での画面サイズ
の調整例を示す図、

【図３０】第９の実施形態の入出力装置の構成を示すブ
ロック図、

【図３１】第９の実施形態の入出力装置での画面の移動
／回転の調整例を示す図、

【図３２】第１０の実施形態の入出力装置の構成を示す
ブロック図、

【図３３】第１１の実施形態の入出力装置の構成を示す
ブロック図、

【図３４】第１１の実施形態の入出力装置で用いる手の
形状及び所作を示す図、

【図３５】第１２の実施形態の入出力装置の構成を示す
ブロック図、

【図３６】第１３の実施形態の入出力装置の構成を示す
ブロック図、

【図３７】第１４の実施形態の入出力装置の構成を示す
ブロック図、

【図３８】第１５の実施形態の入出力装置における投影
装置の構成を示す図、

【図３９】従来の投影装置の投影状態を示す図、

【図４０】従来の投影装置により投影図形を移動したと
きの投影状態を示す図、

【図４１】第１６の実施形態の入出力装置を使用した窓
口カウンターを示す図、

【図４２】第１６の実施形態の入出力装置を使用した傾
斜面を有する窓口カウンターを示す図、

【図４３】第１７の実施形態の入出力装置を使用した教
室内を示す図、

【図４４】第１８の実施形態の入出力装置の構成を示す
ブロック図、

【図４５】第１８の実施形態の入出力装置の他の構成を
示すブロック図、

【図４６】第１９の実施形態の入出力装置の構成を示す
ブロック図、

【図４７】第１９の実施形態の入出力装置で用いるクリ
ック感付与装置を示す図、

【図４８】第１９の実施形態の入出力装置の他の構成を
示すブロック図、

【図４９】第２０の実施形態の入力操作方法でのインジ
ケータの移動方法を示す図、

【図５０】第２０の実施形態の入力操作方法でのインジ
ケータの位置決め方法を示す図、

【図５１】第２０の実施形態の入力操作方法でのアイコ
ンの移動方法を示す図、

【図５２】第２０の実施形態の入力操作方法でのアイコ
ンの位置決め方法を示す図、

【図５３】第２１の実施形態の入出力装置の電子鍵を用
いる構成のブロック図、

【図５４】第２１の実施形態の入出力装置の個人認証マ
ーキングコード読み取りを行う構成のブロック図、

【図５５】第２１の実施形態の入出力装置の身体的特徴
判定を行う構成のブロック図、

【図５６】第２１の実施形態の入出力装置のＲＦＩＤ読
み取りを行う構成のブロック図、

【図５７】第２２の実施形態の入出力装置の構成を示す
斜視図、

【図５８】第２２の実施形態の入出力装置の構成の変形
例を示す斜視図、

【図５９】第２２の実施形態の入出力装置の他の構成を
示す斜視図である。

【符号の説明】

11 記憶回路部 12 記憶媒体読取書込装置部 13 印字装置部 14 電源部 15 画像解析部 16 投影式表示画面表示制御部 17 投影式操作キー表示制御部 18 ＣＰＵ 19 プロジェクター 20 ビデオカメラ 21 キーボード 22 表示画面 23 装置本体 31 可視光表示投影装置 32 撮像用カメラ 33 画像解析部 34 入力対応認識解析部 35 マーキングコード読み取り認識解析部 36 デジタル撮影用ビデオカメラ 41 不可視光撮影装置 42 不可視光投光スキャン装置 43 ステルスマーキングコード読取装置 44 表示画面投影装置 45 撮像用カメラ 46 表示画像サイズ調整手段 47 撮像サイズ調整手段 48 位置／角度等調整手段 49 位置／角度等調整手段 50 輝度調整手段 51 表示画像のサイズ／位置／角度／輝度調整手段 52 撮像画像のサイズ／位置／角度／輝度調整手段 53 画像解析部 54 操作判別部 55 入力対応認識部 56 マイクロホン 57 音解析部 58 偏光画像投影式表示画面及び操作キー表示制御部 59 画像解析部 60 操作員用異相偏光画像表示画面及び操作キー表示制
御部 61 画像解析部 62 偏光画像表示投影装置 63 偏光画像撮像用カメラ 64 異相偏光画像投影装置 65 異相偏光画像撮像用カメラ 67 偏光眼鏡 68 不可視光画像投影式表示画面及び操作キー表示制御
部 69 不可視光画像表示投影装置 70 不可視光画像撮像用カメラ 71 不可視光可視光眼鏡 72 投影装置 73 光源 74 レンズ 75 窓口カウンターテーブル 76 窓口係員 77 操作用画面 78 窓口係員操作用画面投影装置 79 窓口利用者用画面投影装置 80 窓口利用者 81 ＲＦＩＤ読み取り装置 82 ＲＦＩＤ読み取り装置 83 操作入力時クリック感付与装置 84 クリック感付与装置 85 スピーカ／ブザー 86 電子鍵読み取り装置 87 個人認証用マーキングコード読み取り装置 88 個人認識判定装置 89 名札 90 ＲＦＩＤ読み取り装置 91 ＩＤカード 92 印字装置 93 パーティション 94 自立可能パーティション 95 側板 96 カウンターテーブル

───────────────────────────────────────────────────── フロントページの続きＦターム(参考） 5B087 AA06 AE00 BC05 BC17 BC19 BC26 BC32 CC09 CC12 CC15 CC20 CC21 CC25 CC26 CC33 DD03 DD06 DE03 5E501 AA02 BA05 BA17 BA20 CA03 CB07 EA02 FA02 FA04

Claims

【特許請求の範囲】

【請求項１】入力操作に応じて処理された結果が表示
される入出力装置において、表示画面及び操作キーを平面上に投影する投影手段と、平面上に投影された表示画面または操作キーに対して操
作者が行う入力操作を撮影する撮像手段と、前記撮像手段が撮影した画像を解析して、操作者が行っ
た入力操作を識別する画像識別手段と、識別した入力操作に応じた処理を行い、前記投影手段を
制御して前記表示画面の表示に処理結果を反映させる処
理手段とを備えることを特徴とする入出力装置。
【請求項２】前記投影手段が、机上面または壁面上に
前記表示画面及び操作キーを投影することを特徴とする
請求項１に記載の入出力装置。
【請求項３】前記画像識別手段が、操作者の指先の陰
の長さに基づいて入力操作を識別することを特徴とする
請求項１に記載の入出力装置。
【請求項４】前記撮像手段として、撮影方向を異にす
る複数の撮像手段を具備することを特徴とする請求項１
に記載の入出力装置。
【請求項５】前記画像識別手段が、操作者の１または
複数の指の形状または所作に基づいて入力操作を識別す
ることを特徴とする請求項１に記載の入出力装置。
【請求項６】操作者が、発光素子を有する補助具を使
用して入力操作を行い、前記画像識別手段が、前記補助
具の発光位置に基づいて入力操作を識別することを特徴
とする請求項１に記載の入出力装置。
【請求項７】前記補助具が、先端に発光素子を有する
棒状体から成り、棒状部分に設けられたプッシュボタン
を押すと、前記発光素子が発光することを特徴とする請
求項６に記載の入出力装置。
【請求項８】前記補助具が、指先に嵌めるキャップか
ら成り、前記キャップの爪側上面に発光素子を具備し、
前記キャップの下面側に、押圧されたときに前記発光素
子を点灯するスイッチを具備することを特徴とする請求
項６に記載の入出力装置。
【請求項９】前記補助具が、各指先に前記キャップを
具備する手袋から成ることを特徴とする請求項８に記載
の入出力装置。
【請求項１０】前記画像識別手段及び処理手段を複数
種類具備し、前記投影手段及び撮像手段を用いて、複数
種類の表示画面及び操作キーによる入出力を可能にした
ことを特徴とする請求項１に記載の入出力装置。
【請求項１１】前記撮像手段によって撮影された書面
等の画像からマーキングコードを識別する画像識別手段
を具備することを特徴とする請求項１に記載の入出力装
置。
【請求項１２】前記撮像手段によって撮影された書面
等の画像から文字を読み取る画像識別手段を具備するこ
とを特徴とする請求項１に記載の入出力装置。
【請求項１３】書面等に不可視光を投光する不可視光
投光手段と、不可視光画像を撮影する不可視光撮像手段
と、前記不可視光撮像手段が撮影した画像からステルス
マーキングコードを読み取る画像識別手段とを具備する
ことを特徴とする請求項１に記載の入出力装置。
【請求項１４】前記投影手段が投影する画像のサイズ
を調整する表示画像サイズ調整手段と、前記撮像手段が
撮影する画像のサイズを調整する撮像画像サイズ調整手
段とを具備することを特徴とする請求項１に記載の入出
力装置。
【請求項１５】前記投影手段が投影する画像の位置及
び角度を調整する表示画像位置／角度調整手段と、前記
撮像手段が撮影する画像の位置及び角度を調整する撮像
画像位置／角度調整手段とを具備することを特徴とする
請求項１に記載の入出力装置。
【請求項１６】前記投影手段が投影する画像の輝度を
調整する表示画像輝度調整手段と、前記撮像手段が撮影
した画像の輝度を調整する撮像画像輝度調整手段とを具
備することを特徴とする請求項１に記載の入出力装置。
【請求項１７】前記画像識別手段が、前記撮像手段に
よって撮影された画像から操作者の指の形状または所作
を識別し、前記表示画像サイズ調整手段、撮像画像サイ
ズ調整手段、表示画像位置／角度調整手段、撮像画像位
置／角度調整手段、表示画像輝度調整手段または撮像画
像輝度調整手段が前記画像識別手段の識別結果に基づい
て調整を行うことを特徴とする請求項１４、１５または
１６に記載の入出力装置。
【請求項１８】音声を捕捉する捕捉手段と、捕捉され
た音声を識別する音声識別手段とを具備し、前記表示画
像サイズ調整手段、撮像画像サイズ調整手段、表示画像
位置／角度調整手段、撮像画像位置／角度調整手段、表
示画像輝度調整手段または撮像画像輝度調整手段が前記
音声識別手段の識別結果に基づいて調整を行うことを特
徴とする請求項１４、１５または１６に記載の入出力装
置。
【請求項１９】前記投影手段が、補完関係にある偏光
画像と異相偏光画像とを投影する二種類の投影手段から
成り、操作者が偏光眼鏡を掛けて見ることができる偏光
画像を前記撮像手段が撮影し、前記画像識別手段が、前
記撮像手段によって撮影された画像を解析して、操作者
が行った入力操作を識別することを特徴とする請求項１
に記載の入出力装置。
【請求項２０】前記投影手段が、不可視光の画像を投
影し、前記撮像手段が、前記不可視光の画像を撮影し、
操作者が不可視光を可視化するフィルタの眼鏡を掛けて
入力操作を行うことを特徴とする請求項１に記載の入出
力装置。
【請求項２１】前記投影手段が、投影光の透過口を有
する筺体内に投影面に平行に移動することが可能な光源
を具備することを特徴とする請求項１に記載の入出力装
置。
【請求項２２】前記投影手段として、異なる机上に画
像を投影する複数の投影手段を具備し、前記各投影手段
が同一の画像を投影することを特徴とする請求項１に記
載の入出力装置。
【請求項２３】前記投影手段により画像が投影される
机上の面が、見やすいように傾斜していることを特徴と
する請求項２２に記載の入出力装置。
【請求項２４】前記投影手段より投影される画像デー
タを相互間で送受信する通信手段を具備することを特徴
とする請求項１に記載の入出力装置。
【請求項２５】ＲＦＩＤを読み取るＲＦＩＤ読取り手
段を具備することを特徴とする請求項１に記載の入出力
装置。
【請求項２６】前記ＲＦＩＤ読取り手段が、前記投影
手段から画像が投影される投影面の下に配置されている
ことを特徴とする請求項２５に記載の入出力装置。
【請求項２７】操作者の入力操作に応じて、入力操作
が行われた操作キーの位置に窪みを形成するクリック感
付与装置を具備することを特徴とする請求項１に記載の
入出力装置。
【請求項２８】操作者の入力操作に応じて、入力確認
用の音声を発生する音声発生手段を具備することを特徴
とする請求項１に記載の入出力装置。
【請求項２９】電子鍵読み取り手段を具備し、読み取
った電子鍵が適正であることを条件として動作を開始す
ることを特徴とする請求項１に記載の入出力装置。
【請求項３０】個人認証用のマーキングコード読取り
手段を具備し、操作者の名札から読み取ったマーキング
コードが適正であることを条件として動作を開始するこ
とを特徴とする請求項１に記載の入出力装置。
【請求項３１】人相などの身体的特徴を認識する個人
認識判定手段を具備し、認識した身体的特徴が登録され
ている身体的特徴と一致することを条件として動作を開
始することを特徴とする請求項１に記載の入出力装置。
【請求項３２】ＩＤカードからＲＦＩＤを読み取るＲ
ＦＩＤ読取り手段を具備し、操作者のＩＤカードから読
み取ったＲＦＩＤが適正であることを条件として動作を
開始することを特徴とする請求項１に記載の入出力装
置。
【請求項３３】前記投影手段及び撮像手段が、机の間
のパーティション上に立つ支柱に保持され、前記画像識
別手段及び処理手段が、前記パーティションの内部に配
置されていることを特徴とする請求項１に記載の入出力
装置。
【請求項３４】前記投影手段及び撮像手段が、受付カ
ウンターの側板上に立つ支柱に保持され、前記画像識別
手段及び処理手段が、前記側板の内部に配置されている
ことを特徴とする請求項１に記載の入出力装置。
【請求項３５】入力操作に応じて処理された結果を表
示する入出力方法において、平面上に表示画面及び操作キーを投影し、この表示画面
または操作キーに対して入力操作を行い、この入力操作
を撮影した画像を解析して入力操作内容を識別し、その
入力操作内容に応じた処理を行って、処理結果を前記表
示画面の表示に反映させることを特徴とする入出力方
法。
【請求項３６】前記画像に映る指先の陰の長さが所定
長さより短くなったとき、指先に位置するキーまたはア
イコンが選択されたと識別することを特徴とする請求項
３５に記載の入出力方法。
【請求項３７】前記画像に映る指が所定の所作を行っ
たとき、指先に位置するキーまたはアイコンが選択され
たと識別することを特徴とする請求項３５に記載の入出
力方法。
【請求項３８】入力操作を行う操作者の手を二方向か
ら撮影し、それぞれの撮影方向の画像から、異なる指の
動きを解析することを特徴とする請求項３５に記載の入
出力方法。
【請求項３９】発光素子を有する補助具を使用して入
力操作が行われ、前記画像に発光する発光素子が映った
とき、発光位置のキーまたはアイコンが選択されたと識
別することを特徴とする請求項３５に記載の入出力方
法。
【請求項４０】書面等を撮影した画像を解析してマー
キングコードや文字を識別し、入力情報として取り込む
ことを特徴とする請求項３５に記載の入出力方法。
【請求項４１】投影する画像のサイズ、投影位置や角
度、投影画像の輝度、撮影する画像のサイズ、撮影位置
や角度、または撮影画像の輝度を、前記画像に映る指の
形状または所作に応じて調整することを特徴とする請求
項３５に記載の入出力方法。
【請求項４２】前記平面上に前記表示画面及び操作キ
ーを偏光によって投影し、前記偏光と補完関係にある異
相偏光の画像をそれに重ねて投影し、操作者が偏光眼鏡
を用いた場合にのみ、前記表示画面及び操作キーが判読
できるようにしたことを特徴とする請求項３５に記載の
入出力方法。
【請求項４３】前記平面上に前記表示画面及び操作キ
ーを不可視光によって投影し、操作者が不可視光を可視
化するフィルタの眼鏡を用いた場合にのみ、前記表示画
面及び操作キーが判読できるようにしたことを特徴とす
る請求項３５に記載の入出力方法。
【請求項４４】入力操作が確認できるように、入力操
作が行われた操作キーの位置に窪みを形成することを特
徴とする請求項３５に記載の入出力方法。
【請求項４５】入力操作が確認できるように、入力操
作に応じて音声を出力することを特徴とする請求項３５
に記載の入出力方法。
【請求項４６】前記表示画面のポインターを指す一本
指の動きに従って前記ポインターを表示画面中で移動
し、指が二本になった位置に前記ポインターを位置決め
することを特徴とする請求項３５に記載の入出力方法。
【請求項４７】前記表示画面のアイコンを挟む指先の
動きに従って前記アイコンを表示画面中で移動し、この
指の一方が折り曲げられた位置に前記アイコンを位置決
めすることを特徴とする請求項３５に記載の入出力方
法。