JPS6134190B2 - - Google Patents

Description

【発明の詳細な説明】 本発明は対話形の画像表示システムに関するも
のであり、更に詳しくいえば、フライング・スポ
ツト走査装置を使つて入力された物体の透視像
を、投影装置を使つて表示面上に出力する、画像
表示システムに関するものである。

従来技術の説明 本発明の装置は従来いくつかの装置及びいくつ
かのテクノロジを必要としていた機能を１つの装
置で遂行するものである。これらはデイスプレ
イ、データ入力及び遠隔の接触感知に関するもの
であると見られていた。

まず、デイスプレイを考えてみると、個人用の
デイスプレイが必要とする机上空間を少なくする
ことがオフイスにおいて情報を表示する上での目
標であつた。このための従来のものはプラズマ放
電及び液晶のような平面表示テクノロジとデイス
プレイ及び作業机の一体化とを含むものであつ
た。このような邪魔にならないデイスプレイは主
要サポートのような分野におけるターミナルの受
容を促すものと考えられる。

次にデータ入力を考えてみると、コード化され
た情報の入力のためのキーーボードの他に、コン
ピユータ・システムへデータを入力する種々の手
段がある。これらは次のような質問をすることに
よつて評価することができる。即ち、そのテクノ
ロジは出力の像を入力データと同じ面に生じさせ
るものか。オペレータが地図のような印刷された
像又は写真をトレースすることによつてデータを
入力できるか。オペレータが紙の上に書くことに
よつて実時間でデータを入力できるか。指し示す
ために通常の筆記具又は手指を使用できるか又は
特別の装置を必要とするか。水平の机の上でその
入力装置を使用できるか。写真、本又は他の準備
されたものから像を入れることができるか。次
に、種々の入力テクノロジを検討する。ライトペ
ンは、フオトセルが棒の一端に取付けられ、
CRT又は同様のリフレツシユ装置と共に使用さ
れる。それを使用する場合、使用者が選択した像
の部分がそのフオトセルで指し示される。そこ
で、フオトセルはCRTの走査電子ビームがその
フオトセルの下を通過する時発生される光の点に
応答する。電子ビームの既知の位置に関するこの
応答の時間が像に関するライトペン（フオトセ
ル）の場所を示す。このテクノロジは像と同じ面
での相互作用を可能にし、もちろん本来の像登録
機能を持つている。しかしそれは図形のトレー
ス、手指の操作、紙による実時間エントリ、水平
な机上での使用あるいは図表、本又は写真の入力
等を可能にするものではない。

検討されるべき第２のテクノロジはデータ・パ
ツドである。通常のデータ・パツド・システムは
特別な構造の平らな、比較的薄いパツドと特別の
構造のペンとより成る。それらは多くのテクノロ
ジを使用しているが本発明と関係ないのでここで
は検討されない。しかしそれらの特徴は関連ある
ので以下で検討される。或る型のデータ・タブレ
ツトは透明な材料から作られ、それらをCRTの
ようなデイスプレイ上に置くことによつてほぼ同
じ面での相互作用が可能である。しかし、固有の
像登録機能はなく、パララツクスの問題は正確な
指示機能を妨げる。ほとんどのデータ・タブレツ
トは不透明であり、透明なタブレツトとは全く違
つた方法で使用される。不透明なタブレツトは図
形のトレース、紙による実時間エントリ、水平な
机上面での使用を可能にする。いくつかのものは
鉛筆又はペンのようなピツク即ち尖端部材を使う
時の正確さを犠牲にするが手指の操作を可能にす
る。多くのものは特別のペンを使用することを必
要とする。もちろん、それらはコンピユータの像
と同じ面での相互作用を可能にするものではな
く、図表、本及び写真から入力することはできな
い。考慮されるべき最終的な入力テクノロジは文
書を電子的像に変換するフアクシミリ走査器であ
る。この走査器は図表、本及び写真を入力できる
唯一のテクノロジであるが、一般にその他の特徴
は何も検討されていない。これを達成するための
テクノロジはビデコンのようなテレビジヨン・ピ
ツクアツプ管、センサのアレー及びシフト・レジ
スタを持つた電荷結合デバイス、機械的に回転す
るドラム又はフライング・スポツト走査器のテク
ノロジでよい。フライング・スポツト走査器が以
下で検討される。この装置は走査されるべき像を
横切つて投射光のフライング・スポツトが急速に
移動することからその名を得ている。一般に像に
向けられたフオトセルはスポツトが白い表面を通
過する時に多くの光を受け、そしてスポツトが黒
い表面を通過する時に少ない光を受けるので、シ
ーン即ち三次元の対象物の選択された領域を効果
的に走査する。最初のテレビジヨンの像はニポー
円板と呼ばれる機械的に回転するデイスクを使う
フライング・スポツト走査器によつて見られた。
現在のフライング・スポツト走査器は移動スポツ
トを発生するためにCRTを使つている。テレビ
ジヨンではこのような走査器でピツクアツプする
ことが一般的であり、フアクシミリ走査器では高
解像度のCRTからのフライング・スポツトを暗
箱内の文書上に焦点を合せて使用する。

最後に、物体と面との接触を遠隔的に感知する
には１つの面内の位置読取りとは別の問題を生ず
ることがわかる。例えば、ライトペンの場合、像
に触れるまでデータ入力は要求されないのが普通
である。実時間の手書き入力のためにデータ・パ
ツドを使用する場合、ペンが紙の上にわずかに持
ち上げられると線が途切れたことをコンピユータ
が知ることはもちろん必要なことである。この読
取りは一般にペンにおける機械的スイツチ又は電
子的装置によつて或いは入力が書き込まれるべき
データ・パツドにおける電子的装置によつて行な
われる。接触感知のもう１つの手段として、芸術
品を作つたり書いたりする時、人は触覚のフイー
ドバツクによつて及びゆつくりと正確な作業を行
なう場合には視差即ちパララツクスによつて接触
を感知する。パララツクスを使うと、ペンを含む
像は同時に２つの角度から見られる。２つの物体
が同じ面内にある時だけ、それらの分離状態が両
方の角度から等しく見える。パララツクスは距
離、角度を判断するために及び別個の物体の分離
状態を判別するためにも使用される。パララツク
スはコンピユータ・システムで行なうことが非常
に難かしい。なぜならば、それは高い解像度を必
要とするのみならず、物体を見つけそして分離す
るのに必要なパターン認識の技法は、人工頭脳の
問題と考えられるこの分野における多くの作業に
もかかわらず、まだ十分な質のものではないため
である。問題は表面の細部が相関関係を取り出す
ために使用されねばならないこと及びこれら細部
自体がその立体的な境界を不明瞭にしている。

前述のデイスプレイ、データ入力及び接触感知
の望ましい特徴をすべて結合することが可能であ
るならば、その結果得られる装置は、表示領域に
像発生又は感知ハードウエアを設けることなく接
触感知可能な像を机の上の普通の紙がデイスプレ
イとなり且つ普通の鉛筆又は手指との接触を感知
することを可能にする。従来技術では、そのよう
な装置は不可能であつた。

発明の概略 本発明は、物体の輪郭、その物体と面との接触
の有無、のようなその物体の物理的状態をオペレ
ータが容易に見ることができるよう、その物体に
関する画像を面上に投影するものである。

本発明では、物体を走査するためのフライン
グ・スポツト走査器が設けられ、更にそれの走査
領域の周辺には複数のセンサが設けられる。物体
が走査されることにより各センサが感知する映像
はその物体及び影をそれらセンサから、即ち相異
なる方向又は角度で、見た透視画像であり、そし
てそれら感知された各画像はコンピユータの記憶
装置に記憶される。然る後、それら記憶された画
像は１つの画像に合成され、投影器を使つて表示
面上に投影される。この合成の際、その物体を相
異なる方向から見た時の影の差異（シヤドウ・パ
ララツクス）を含んだ画像が得られるが、これを
利用することによつてその物体の物理的状態を表
示面上に投影することができる。例えば、物体の
影部分を除去することによつてその物体自体の輪
郭を明瞭に表示したい場合、各センサからの各画
像におけるそれぞれの対応するポイント（即ち、
画素位置）から得られた画像信号のうちそれぞれ
最も大きい信号（走査時に“白”に最も白い近い
ものとして得られた信号）でもつて構成された画
像を合成すればよい。一方、物体の尖端部分が背
景面と接触しているかどうかを示す画像を作るに
は、各センサからの画像信号のうち、それぞれ最
も小さい信号（走査時に黒に最も近いものとして
得られた信号）でもつて構成された画像から前記
の最も大きい信号で構成された画像を分離除去す
るように合成すれば、影部分だけの濃い画像が得
られるので、それら影における尖端部分の一致の
有無によつてその物体の尖端部分と背景面との接
触の有無が表わされる。

実施例の説明 第１図を参照すると、代表的な動作状態が示さ
れる。オペレータ１が作業域２に席を占め、投射
即ち投影された像３を見ている。その像は文書、
作業片又は他の任意の材料上に焦点を合わされて
いる。像は後で詳述するデイスプレイ・システム
及びセンサの両方を含む装置４から投射される。
装置４は中央処理装置及び貯蔵装置を含むコンピ
ユータ５に接続される。そのコンピユータは装置
４により何が表示されるかを制御し、装置４にお
けるセンサが受けた作業領からの情報を翻訳する
１つのシステムを形成する。本願は装置４の動
作、像３におけるその効果、作業域２からデータ
を入力するその能力に関するものであり、そして
装置４におけるセンサが受けたデータを翻訳する
ためにコンピユータ５において使用される方法に
関するものである。

第１図の装置４が第２図に示される。キネスコ
ープ即ち高強度のCRT１０により発せられる像
が鏡１１により反射され、レンズ１２により作業
面１３上に焦点を合わされる。作業面１３は第１
図における作業域２に等しい。CRT１０により
形成された像は通常のコンピユータ及び駆動回路
（図示されてない）から入力される位置信号１４
及び強度信号１５によつて制御される。もちろ
ん、高強度CRTはレーザ及び音響走査器或いは
他の同等のテクノロジにより置換されてもよい。
線１６に沿つた投射の方向は作業面１３に垂直で
ある必要はなく、一般に像に生ずるオペレータの
影を最小にするように垂直以外の角度が選ばれて
もよい。ランプとは異なり、その投射された像の
作業片からの鏡面反射が像の明るさ及びコントラ
ストを改善する。角度のある投射の幾何学的歪み
は偏光制御回路において修正可能であり、焦点は
ビユー・カメラ写真において一般に行なわれてい
るようにレンズ―像の傾きによつて修正される。
作業面１３上に形成された像は像の領域にデイス
プレイ・ハードウエアがない完全に非干渉型のも
のである。像は多くの材料の上に形成可能であ
る。例えば、用紙上に投射された場合、用紙挿入
機能が容易に遂行可能であり、投射された像及び
その用紙に印刷された像の両方が容易に見られ、
相互に区別される。

作業面１３上に投射された像を見るためにフオ
トセル１８が置かれ、フライング・スポツト走査
器型の感知素子として作用する。そのフオトセル
は種々の角度からその像を見るいくつかの同じ組
立体の１つである。その他の用途及び配置は後述
される。しかし、フライング・スポツト走査器と
異なり、投射された像からの感知は通常の作業域
の照明状況で動作しなければならない。即ち、そ
れは代表的には、オフイスにおける60ヘルツの電
力線の120ヘルツのサイクルで明滅する螢光灯の
光を含むものである。

次に、周囲の光の影響を抑止する方法を示す。
フオトセル１８により見る角度は面１３上の投射
された像のみを含むようにレンズ１９により制限
される。しかし、この角度を制限した後でさえ、
フオトセル１８に到達する周囲光の大きさは投射
された像から発する光の大きさよりも数倍も大き
いのが普通である。投射された色に一致し且つ周
囲光に対し反対色の色付きフイルタ２０は周囲光
の影響を減少させる。狭帯域の螢光体がCRT１
０に使用され且つそれらの帯域が螢光灯の光にお
ける水銀の帯域とは別個のものである場合、狭い
帯域の干渉フイルタ又はスペクトル分離器が大き
な効果をもつて使用可能である。主として周囲光
を意図的に受けるための背景センサ２１が加えら
れてもよい。そこで、この周囲光の信号がフオト
セル１８からの信号から差し引かれ、投射された
像のみから発する光の大きさを表わす信号を純粋
な形で残す。又、CRT１０への強度信号１５は
変調され、そしてそれは、CRT１０における高
速減衰螢光体と関連して、作業面１３上の走査さ
れつつある位置のレフレクタンスに対応する振幅
をもつて、フオトセル１８に振幅変調された信号
を受けさせる。螢光管からの高調波は120ヘルツ
以上で約６デシベル／オクターブに落ちるため、
変調は雑音の基本帯域以上の所望の信号をほとん
ど干渉のない周波数に上げる。その変調はハード
ウエアによつてあるいはビームを交互にオン・オ
フすること及び各状態における光を読取ることに
よつてソフトウエアで行なわれてもよい。要約す
ると、周囲光の影響は空間のフイルタ、スペクト
ル・フイルタ、背景無効、及び変復調の組合せに
よつて除かれる。

周囲光をフイルタすることに関連して、この装
置は通常の作業面上に置かれた文書、用紙、写真
及びその他のフアクシミリ源から像を入力するフ
ライング・スポツト走査器として働くことができ
る。更にそれは、情報を表示すると同時に、その
表示が生ずる同じ面から情報を入力することがで
き、そしてその入力及び出力の機能は同じフライ
ング・スポツトが両方の機能を遂行するため完全
に空間的に一致することを特徴とするものであ
る。この特徴を使用する適用例としては、関連の
データ及びその応答を投射している間又はその応
答の間挿入されるべき線をコンピユータが“強
調”するのを可能にする対話式の挿入である。も
う１つの例はコンピユータがパーツを見つけて
“強調”し、パーツが行くべき場所を正確に指し
示すことにより表示し、可視的にアセンブリを修
正するためにチエツクするのを可能にする対話式
アセンブリ・ステーシヨンである。

一般的なデータ・エントリを可能にするため
に、このシステムは鉛筆又は手指のようなポイン
タ又はピツクと観察されている作業面との間の接
触を遠隔的に感知することができなければならな
い。これは以下で説明する、“シヤドウ・パララ
ツクス”という名前を与えられた技法によつて達
せられる。

第３図を参照すると、投影CRT３１及びレン
ズ３２より成るフライング・スポツト走査器並び
にフオトセンサ３０が示される。コンピユータ３
３はCRT３１及びレンズ３２から見たシーン３
４の透視像を、フオトセンサ３０を介して入力さ
れることになる。

第４図では、２つのセンサが設けられる。シー
ン４０を映像化するためにセンサ４０及び４１の
どちらが選択されたかによつて、そのセンスされ
た映像を投影した時、その選択されたセンサを仮
想上の光源として投げられた濃い影が鉛筆４３の
左又は右に現われる。これらの像が第５図のａ及
びｂとして示される。それらを合成して投影する
と、いずれの影も互いに干渉し合うことなく独立
して且つ同時に見ることができる。複数の透視画
像が同じ影を持つことになる双眼視とは異なり、
フライング・スポツト走査器は、その性質上、複
数の独立した透視画像を生じさせることはなく、
複数の独立した影を生じさせる。シヤドウ・パラ
ラツクスと呼ばれるこの現象が本発明において利
用される。

第４図における２つのセンサから同時に得られ
た各信号のうち、大きい方の信号（即ち、白に近
い色を表わす信号）をとることによつて形成され
た画像が第５図のｅで示され、この場合全く影が
ないものが得られる。通常のパターン認識方法を
使つて鉛筆の位置を検出するのにこの方法を利用
することができる。又、２つのセンサからの信号
のうち、小さい方の信号（即ち、黒に近い色を表
わす信号）をとることによつて形成された画像が
第５図のｄで示され、鉛筆の両側に濃い影を持つ
た画像が得られる。鉛筆と作業面とが接触する
と、それら２つの影は第５図のｅのように合わさ
れる。このｅから鉛筆の位置が決定されると、第
５図のｄ及びｅの状態を区別することは簡単であ
る。３つ又はそれ以上のセンサを設けるとピツク
即ち尖端部材と作業面と任意の角度で接触しても
容易に感知することができる。

一般の透視パララツクスは物体とセンサとの距
離を参照するものであり、表面の細部が不明瞭な
純白な紙のその表面までの距離を測定することは
できない。一方、シヤドウ・パララツクスはその
表面に対する三次元を直接に測定するものである
ため、薄い紙、純白な紙、表面の不規則な物体等
でも同様に実施できる。又、シヤドウ・パララツ
クスは、センサが複数になるだけなのでコスト上
の利点もあり、種々な透視像の像相関が不要なの
でわずかな計算能力しか必要としない。

第５図を再び参照すると、ｃは鉛筆の二次元位
置（Ｘ―Ｙ位置）を知るのに便利な影のない映像
を表わす、c′のように複雑な背景面を持つたもの
ではそれが困難となる。ｄの像からｃの像を取り
除くことによつて、鉛筆等の物体、複雑な背景面
を消すことができるので、d′のように影だけを残
すことが可能となり、容易に物体と背景面との接
触を知ることができる。このような画像の合成は
それら画像をデイジタル的に記憶し、処理するコ
ンピユータでは容易に行なうことができる。

第６図及び第７図を参照すると、本発明の別の
物理的形式が示される。第６図は標準的大きさの
螢光灯モジユールに似た天井のくぼみに取付けら
れたシステムを示す。同様の別の方法としては空
間に置かれたレールに取付けられた追跡装置に似
たアセンブリを形成するものでもよい。いずれの
場合も、そのシステムは天井配線によつて電灯線
と同様に電力線を引かせ、天井のかくれた配線を
介してコンピユータに接続される。天井にシステ
ムを設けることは最も目障りにならない配置であ
る。第２の代替案が第７図に示され、それは垂直
の首部分の中に上向きのCRTが置かれ、２つの
鏡３０を持つたレンズが頭部分に保持されて像を
所望の角度で下へ方向転換させる。卓上灯に似た
このシステムは持ち運び可能であり、特別の据え
付けを必要としない。もちろん、その他の構造も
可能であり、これらは例として与えられたもの
で、本発明を限定するものではない。

今まで説明は１つの面に関するピツクのＺ方向
の移動及びその面とピツクとの接触を遠隔的に感
知するシヤドウ・パララツクスを使用した。シヤ
ドウ・パララツクスは、すべてのものが灰色に刷
られ電子顕微鏡写真を思わせるような表面アルベ
ド・パターンのない表面構造及び影しか含まない
像を得るために使用可能である。この理想化され
たすべて灰色の像はコンピユータ駆動される工業
用ロボツトがパーツを見つけそして操作する能力
を助けるものである。第８図に示されるように配
列された３つのセンサを使用して及び各々からの
像から、それらのうちの最も強い信号により形成
される像を分離し（第５図のａからｃを及びｂか
らｃを取り除くのと同じ）第９図に示される効果
を得ることによつて、周囲の３次元のマツピング
及び物理的境界の感知が容易に得られる。第９図
におけるａは従来の映像を表わし、ｂ〜ｄはシヤ
ドウ・パララツクスが取り出した映像を表わす。
それらのうち、ｂはセンサ１の結果、ｃはセンサ
２の結果、ｄはセンサ３の結果を示す。このよう
なマツピングはステレオ・パララツクス又は１つ
の像からのパターン抽出を使用しようと試みた長
年の研究を通して行なわれている。シヤドウ・パ
ララツクスは部品組立てから歯科医学までの広範
囲のアプリケーシヨンに対してコンピユータ駆動
のロボツトを使うためのキーである。

マイクロフイツシユは図書館の本にとつて代り
そうもないし、デイスプレイはオフイスの紙にと
つて代りそうもない。人々は保持するのに、機械
なしに翻訳するのに、及び机の上に広げるのに実
体的なものを欲している。本発明は普通の紙を対
話式タブレツト及びデイスプレイに変換でき、且
つ電子的文書を多くの機能的方法で普通の紙に似
た机上の像に逆変換できる唯一の装置を与えるも
のである。本発明はデイスプレイ、タブレツト又
は走査器の仕事を或いはこれら３つの仕事を同時
に、そして平らな、細工のない普通の机の上の面
で均等に遂行する装置を与えるものである。オペ
レータは、接触可能な像以外にデイスプレイ領域
において何も見ることなく、自由に普通の机の上
で普通の紙と普通の鉛筆を使うことができる。

【図面の簡単な説明】

第１図は本システムが動作する状況を示す図、
第２図は本発明の動作を示す図、第３図はフライ
ング・スポツトの走査による透視図を示す図、第
４図はシヤドウ・パララツクスのための２つのセ
ンサの配列を示す図、第５図は遠隔の接触感知に
おけるシヤドウ・パララツクスの使用を示す図、
第６図及び第７図は本発明の別の実施例を示す
図、第８図及び第９図は次元形式の感知における
シヤドウ・パララツクスの使用を示す図である。

Claims (1)

1. 【特許請求の範囲】 １ 選択された領域を遂次走査するためのフライ
   ング・スポツト走査装置と、 前記走査装置による走査に応答して前記領域に
   おける物体の透視像及び影を感知するために前記
   領域の周囲に配置された複数のセンサと、 前記センサの各々により得られた各画像をシヤ
   ドウ・パララツクス画像に合成する手段と、 前記手段により合成された画像を表示面の上に
   投影するための投影装置と、 より成る画像表示システム。