JPH09505138A - 位置及び姿勢を利用した電子光学式視覚システム - Google Patents

Abstract

(57)【要約】 本発明は、電子視覚装置及び方法に関し、特にナビゲーション、位置及び姿勢装置と組合わせたイメージのオーグメンテーション（増補）に関する。本発明の装置は、その最も簡単な形態において、以下の６つの主要な構成要素を備えると考えることができる。１）本物の景色に関する工学的情報を収集しかつその情報を電子信号として提供するカメラ、２）前記電子信号を受取るコンピュータプロセッサと、３）前記カメラの位置を測定する装置と、４）前記カメラの姿勢（光軸の方向）を測定し、それにより見ている景色を一意的に識別し、かつデータベース内の位置を識別する装置と、５）様々な景色に関連する情報を記憶させた前記データベースと、前記カメラ及び前記データベースからのデータを前記コンピュータプロセッサが結合して、１つのイメージを完成して表示させる表示装置とからなり、そのイメージは使用者が見ている本物の景色に連続的に整合されている。本発明は、現実を増補した装置及び方法からなる視覚装置であって、何らかの本物の景色のイメージがコンピュータプロセッサにより変更されて、その景色の、前記視覚システムのリアルタイムの位置及び姿勢によって識別される記憶位置における記憶された情報を有するデータベースからの情報を含むようにした視覚システムが提供される。本発明の視覚システム第１の機能及び従来技術と対照される点は、該視覚システム使用者が風景を自然に見るように、実際の風景に連続的に整合させたデータ及び増補された実際のイメージを提供することである。増補されたイメージは、本物の景色を表しているが削除、追加及び補足を含んでいる。

Description

【発明の詳細な説明】 位置及び姿勢を利用した電子光学式視覚システム 技術分野 本発明は、電子視覚装置及び方法に関し、特にナビゲーション、位置及び姿勢 装置と組合わせたイメージのオーグメンテーション（増補）に関する。 背景技術 歴史における最初の地図の使用を見つけるためには、相当古くまで記録を調査 しなければならない。地図は一般に、単に実際の景色を見ただけではユーザの位 置から容易に明らかでないものに対してユーザに注意を与える情報を提供する。 例えば、都市の道路地図の使用者は、７マイル離れた第１ストリート上にいて、 エルムストリートのトンネルの方向を見ても、そのトンネルを見ることはできな い。しかしながら、第１ストリートの位置であっても、道路地図から使用者はエ ルムストリートにトンネルがあることを判断できる。使用者は、そのトンネルが ３マイルの長さであり、第８ストリートから始まって第１１ストリートまで続い ていることを知ることができる。４本の自動車用レーンと１本の自転車用レーン の広さがあるようなトンネルの大きさを表す表示がある場合もある。 残念ながら、地図からの情報を実際の景色に、その情報が実際に見える景色を 表しているように変換することは常に可能なわけではない。地図の使用者にとっ て、実際の世界に関してものかどこにあるかをより良く「感じとる」ために地図 を現実に合わせようとすることは共通してい る。地図を良く知っている人たちは、関心のある景色に情報を変換する際に、地 図がその上端の向きが概ね北を指すように描かれているということは殆ど役に立 たないことを知っている。どこが北であるかに係らず、使用者は、実際の景色に おける前方即ち移動方向が地図上の方向と一致するように地図を回転させてみる 傾向がある。これは、地図を「上下逆」に見る結果となり、（ユーザが南へ移動 している場合）読みとることが非常に難しい。現実に対する地図の向きを変換す ることが非常に困難な作業であるにも係らず、地図上の記号を、それらが表して いる現実の対象物に変換することはより大きな問題である。地図上のトンネルの 記号は、本物のトンネルが実際にどのように見えるかを示していない。非常に多 くの場所から見たトンネルの姿を地図上に表すことはどうしようもなく困難なこ とであるという事実から、簡単な記号が使用されていることを説明できる。更に 、地図には、使用者が最初にどの視点からトンネルを見ることになるのかを示す 表示、又は使用者がトンネルに近付く際にとる経路を示す表示はない。 最近では、都市の道路地図情報をコンピュータ化し、かつ使用者がとる経路に 従って地図を表示することが可能である。この地図は、使用者が町の中の通りを 通過する進行状況に従って「リアルタイム」で交信される。従って、コンピュー タは、使用者が南の方向へ移動している場合でも該使用者に関して正しい方向に 地図及び文字部分を描き直すことができるので、地図を上下逆にするという問題 が解消される。コンピュータが作る地図は、使用者がその工程に沿って移動する につれて新しい情報で容易に交信することができるモニタに表示される。このタ イプの自動車用の地図は当業者に良く知られている。使用者が位置決定する際の 役に立つ印がコンピュータによって生成されるような非常に高度な地図が使用可 能であり、デジョン（Dejong）による米国特許第５，１１５， ３９８号等の特許明細書に記載されている。この装置は、その場所の景色を目に 見えるように表示し、かつ使用者がとるべき動作を示唆する情報を記号で重ね合 わせることができる。例えば、前記特許明細書の第３図に示されているような左 ターンである。このような高度なシステムにおいてさえ、高レベルの変換が使用 者に要求される。コンピュータが生成する地図は、表示されるイメージをそれら が表す実際の対象物に正確に整合させて提供使用とするものではない。 イメージを補強させた装置は、公知であり、ヘッドアップ表示装置即ちＨＵＤ 及びヘルメット装着表示装置ＨＭＤがある。ＨＵＤは、ユーザが通常ホログラフ ィックミラーや二色性ビームスプリッタのような工学イメージコンバイナを介し て本物の景色を見ることができ、その上に、例えば本物又は創造の対象物、車両 の速度及び高度等のデータ等のナビゲーション情報を重ね合わせることができる 有用な視覚システムである。ＨＵＤの第１の目的は、使用者が感心のある景色を 覗き込む時間を最大にすることである。戦闘機のパイロットにとって、計器板の 近くに配置された表示装置を見て、目の焦点を変えて該装置を読取りかつ関心の ある景色に戻すことは、非常に長時間を要し、かつ致命的な誤りを起こす可能性 がある。ＨＵＤによって戦闘機パイロットは、工学的無限延にある景色に集中力 を連続させながら、同様に無限延に位置するように目に映る景気を読みとること ができ、それによって目の焦点を合わせ直す必要が無くなっている。ＨＵＤによ って、パイロットは、常に「ヘッドアップ」位置を維持することができる。航空 会社の業界では、ＨＵＤが視界の悪い状態で航空機を着陸させるために使用され ている。特にＨＵＤは、滑走路の境界が霧によってパイロットの視野にぼんやり としている状態で着陸する場合に有用であり、模擬的な境界線がＨＵＤシステム の工学コンバイナ上に投影されて、使用者の視野のどこに本物の滑走路の 境界線があるかを示す。仮想滑走路の投影は、コンピュータとＶＨＦ電波を用い る空港の景気着陸方式即ちＩＬＳとの間の連絡によって生成されるデータに従っ て位置決めされる。このＩＬＳ方式は、コンピュータに２つのデータの数値を提 供する。第１はグライドスロープの数値であり、第２は横方向の位置を示す数値 であるローカライザである。これらのデータによって、コンピュータは工学的イ メージ（ソトン（phodon））を生成し、投影して前記コンバイナを通過した実際 の景色（ソトン）と結合させ、それにより例えば滑走路の境界線のような実際の 景色の特定の特徴を強調することができる。重ね合わせの位置決めは、ＩＬＳビ ーム及び他の物理的制限と整合させる航空機のボアサイトの精度に依存する。コ ンピュータは、本物の景色のイメージを認識することができず、かつその一部分 を強調表示することを除いて本物の景色を操作又は処理しようとするものではな い。ＨＵＤは特に、２つのソトンの景色を工学的に結合させたものであるという 点で特徴を有する。この組合せは、通常使用者の目に映る景色で工学コンバイナ を通過する第１の景色と、工学的要素で本物のイメージと結合される第２のコン ピュータ生成フォトンイメージとの結合である。ＨＵＤ装置では、コンピュータ が本物の景色における対象物をアドレスして、例えばそれらを変更し又は削除す ることができない。この装置は、本物のイメージの特徴を、その上に興味ある特 徴を描くことによって付加的に強調するたけてある。最後に、ＨＵＤは非常に大 型であり、通常航空機や自動車に搭載され、非常に大きな空間とホログラム及び 特別に設計されたレンズを含む複雑な工学機構を必要とする。 ヘルメット装着表示装置ＨＭＤは、本物の景色のフォトンイメージに補強した イメージを結合させる点でＨＵＤと類似しているが、一般に非常に携帯性のある 構成要素を有する。マイクロＣＲＤ及び小型コンバイ ナによって、システム全体をヘルメットに装着可能にしている。高速で移動する ヘルメットに関してコンピュータ生成イメージを本物の景色に合わせることは複 雑な問題てある。ＨＵＤは、滑走路に関してゆっくりと移動する航空機の移動が 遅い軸に、索引されたデータ生成イメージを適合させることができる。このため 、ＨＭＤは、姿勢及び対気速度のようなパイロットの頭の動きと共に変化しない データを表示する。ＨＭＤは本物のイメージの要素を取り除いたり増補する能力 が無いという点でＨＵＤと同じ制限がある。 急速に進歩しているコンピュータ試演視覚システムの分野において成果を上げ ている別の関連する概念は、バーチャルリアリティー（仮想現実）即ちＶＲとし て知られている。フィクションであるテレビ番組「スタートレック；ザネクスト ジェネレーション」においておそらく最高に具体化されている「ホロデッキ」は 、使用者がその周囲にあるもの全てをコンピュータで作り出して、該使用者が別 の場所又は別の場所及び時間にいるように思わせるために行く場所である。 仮想現実システムは、トレーニング手段として特に有用である。例えば、航空 機のシュミレーション装置である。学生のパイロットの周囲を本質的にコンピュ ータインターフェースである仮想の「コックピット」で取り囲み、本物の飛行機 内で非常に実際的に存在し、おそらくはコンピュータが作り出す音、イメージ及 び機械的刺激で強化された環境を使用者が「感じる」ことができる。使用者がと る動作はコンピュータによって解釈され、かつ該コンピュータがこれらの動作に 応答して、使用者の取り囲んでいる刺激を制御する。ＶＲ装置は、視覚的風景全 体を作り出すことができ、コンピュータ生成の風景を本物の風景に重ね合わせる ことはしない。一般にＶＲ装置は、現実における実際の位置と使用者に与えられ る刺激との間に全く連絡がない。ＶＲ装置の位置と生成されて いる風景の位置とは一般に物理的な関係がない。 ＶＲシステムを用いて、未だ存在しないものを視覚化することはできない。例 えば、コンピュータは家を、それが立てられる前であっても潜在的な買主が「歩 いて見る」ことができるように完全に立体化することができる。買主は、ＶＲ雰 囲気の中に入り、家が建てられたらこうなるであろうことを正確に表したコンピ ュータによるイメージ及び刺激の中を進むことができる。このようにして、特定 の形の家がどのようなものであるかをその多大な建築コストが発生する前に知る ことができる。設計者からの情報で完全にプログラムされているＶＲ装置は、現 在存在しているものを予想しないし、ＶＲシステム内に存在する要素と現実に存 在するそれらの要素との間に連絡はない。 従来技術のこれらのシステム及び発明は、特定の目的、特徴、利益及び目標を 達成するためのもので、それらの中には紛れもなく優れたものもあるが、これら のシステム及び発明は、本発明によってのみ可能であるようなやり方では使用す ることができない制限や欠点がある。従来のシステム及び発明を用いて、本発明 の利益及び目的を実現することはできない。 発明の開示 そこで、現実を増補した装置及び方法からなる視覚装置の発明であって、何ら かの本物の景色のイメージがコンピュータプロセッサにより変更されて、その景 色の、前記視覚システムのリアルタイムの位置及び姿勢によって識別される記憶 位置における記憶された情報を有するデータベースからの情報を含むようにした 視覚システムが提供される。本発明の視覚システム第１の機能及び従来技術と対 照される点は、該視覚システム使用者が風景を自然に見るように、実際の風景に 連続的に整合させ たデータ及び増補された実際のイメージを提供することである。増補されたイメ ージは、本物の景色を表しているが削除、追加及び補足を含んでいる。前記装置 のカメラは、簡単な「カムコーダ」（camcorder）型のビデオカメラにおけるよ うに見る方向を定義する光軸を有し、表示されるイメージが本物の景色を、前記 光軸に沿って見るときの視点で見えるように正確に表す。このようにして、表示 される情報を存在する通りの世界に向けることができる。本発明の視覚システム とカムコーダとの基本的な相違は、イメージのオーグメンテーションにある。カ ムコーダは、「バッテリ電力低下」インジケータ等のようなデータとイメージと の重ね合わせを提供できるが、見ている風景の「知識」は無い。通常表示される データは、視覚装置又は時間及び日付けのような景色と関係のない何かに関係す る。本発明によるイメージのオーグメンテーションは、本発明によって見ている 景色の特有の情報を含むことができる。 本発明の視覚システムには、様々な景色に関する情報を予め記憶させたデータ ベースを含むことができる。視覚システムの正確な位置及び姿勢によって、今見 ている景色がデータベースに指示される。コンピュータプロセッサは、前記デー タベースから特定の景色に関する情報を受取り、かつ該視覚システムのカメラに よって生成される景色のイメージを増補し、前記データベースに記憶されていた 情報と工学的入力からの情報との組合せからなる最終的なイメージを表示装置に 提供することができる。特に重要なことは、データベースからのデータと本物の イメージとの間における連絡の可能性である。分析及び処理ルーチンには、実際 の景色における項目の認識と、記憶されたデータのアーチファクトとの比較が含 まれる。これは、本物のイメージを呼び出されたデータに整合させる上で有用な ものになる。ある景色の工学的入力が、例えば深い霧によって視覚システムのカ メラから完全に遮断されるような状況では、 その景色のイメージが、データベースからの情報だけを含むように生成すること ができる。別の場合には、大きさが有限であるデータベースが、特定の景色に関 する情報を全くもっていない場合がある。この場合には、表示装置に表れるイメ ージは、全く本物の景色の工学的入力だけからのものになる。このような特別な 場合には、本発明の視覚システムは単純なカムコーダや電子双眼鏡と同程度のも のになる。また、非常に特別な場合として、本物の景色の特徴が選択的に除去さ れる場合がある。都市風景の明るい光によって海の通関港の比較的暗い航海灯が 遮られる場合には、処理ルーチンにおいて町の明かりと航海灯とを区別すること が可能である。好ましくない町の光は、最終的なイメージを表示する前に、前記 プロセッサにおいて除去することができる。最終イメージでは、重要な航海灯が 明確に示され、支部の明かりは全く存在しなくなる。従って、本発明の最終イメ ージは、２つのソースから様々に組合わせて、１つの高情報密度のイメージを形 成するように互いに重ね合わせた情報から構成することができる。前記２つのソ ースの情報は比較され、かつ結合されて、表示装置に提示されかつ使用者が見る 本物の景色に整合させた単一の増補イメージを形成する。 本発明の装置は、その最も簡単な形態において、以下の６つの主要な構成要素 を備えると考えることができる。１）本物の景色に関する工学的情報を収集しか つその情報を電子信号として提供するカメラ、２）前記電子信号を受取るコンピ ュータプロセッサと、３）前記カメラの位置を測定する装置と、４）前記カメラ の姿勢（光軸の方向）を測定し、それにより見ている景色を一意的に識別し、か つデータベース内の位置を識別する装置と、５）様々な景色に関連する情報を記 憶させた前記データベースと、前記カメラ及び前記データベースからのデータを 前記コンピュータプロセッサが結合して、１つのイメージを完成して表示させる 表示装置とからなり、そのイメージは使用者が見ている本物の景色に連続的に整 合されている。 前記カメラは、位置及び姿勢の測定が任意の基準に関して該カメラにおいて行 われるという点で、位置測定装置及び姿勢測定装置に関連する。前記位置及び姿 勢の測定手段は、その測定の値によって特定のイメージデータを記憶している特 定のデータベースの位置が特定されるという点でデータベースに関連する。前記 位置及び姿勢の測定は、二直交変数のデータベースポインタを定義するものとし て考えることができる。前記カメラは、該カメラにおいて生成されるイメージが 電子イメージであり、コンピュータプロセッサによって処理されるという点で、 コンピュータプロセッサに関連する。前記データベースは、該データベースが前 記プロセッサに処理ルーチンにおいて使用するためのイメージを含む情報を提供 するという点で、コンピュータに関連する。前記表示装置は、処理した最終イメ ージを受け取り、かつコンピュータの電気イメージ信号をユーザが見ることがで きる工学イメージに変換することから、コンピュータに関連する。前記表示装置 は、情報が現実に対応しかつ使用者対して、イメージを本物の景色の方向に変換 する必要性なしに最終的な増補イメージを使用者が見ることができる手法で表さ れるように、前記カメラの光軸に整合されたボアサイトである。 本発明の方法は、その最も簡単な形態において、次の７つの主要なステップを 含むものと考えられる。１）景色からの光をレンズでイメージ化する収集ステッ プ、２）前記収集ステップの工学情報を電気信号に変換する変換ステップ、３） 前記カメラの位置を測定する位置決定ステップ、４）前記カメラの姿勢を測定す る姿勢決定ステップ、５）データの位置が、前記ステップ３及び４における測定 並びに使用者入力したデータに従って選択され、かつコンピュータプロセッサに よって呼びだされ るデータ呼出しステップ、６）データ記憶装置からのデータ及び電子イメージを 結合させて処理する処理ステップ、及び７）処理した最終イメージを表示する表 示ステップである。 前記収集ステップの成果物即ち工学イメージは、変換ステップにおいて電気信 号に変換される。変換ステップの電子イメージは、処理ステップにおいてプロセ ッサに送信される。位置決定ステップ及び姿勢決定ステップにおける成果物は、 データ呼出しステップにおいて使用される値である。データ呼出しステップの結 果は前記プロセッサに送信されて、処理ステップにおいて変換ステップの電子イ メージと結合される。処理ステップの成果物即ち増補イメージの最終電子表示は 、表示ステップにおいて送信されかつ工学的フォーマッド（形式）で表示される 。 本発明は更に、その装置、方法及び用途が以下に記載されるような６つの実施 例を提供することによって要約することができる。 要約された本発明の第１の実施例において、船が通関港に接近し、かつ本発明 の使用者がその船の航海士である様なシナリオを考えることができる。航海士に とって船の水路の中でその航路を案内するために多くの助けが必要であることは 非常に一般的である。海図、コンパス、灯浮標、音波装置、無線航路標識、レー ダ、双眼鏡は、船を操るために使用する道具の一部である。位置決定技術におけ る最近の進歩、特にグローバルポジショニングシステム即ちＧＰＳによってナビ ゲーションの仕事が簡単化されている。ＧＰＳによって、航海士は船の位置を北 及び東に約±３００フィートの範囲内で、ある特別な場合にはそれ以下で知るこ とを期待することができる。このような優れた位置決定によっても、航海士はそ の位置に対応する海図上の位置を定め、海図上の記号を識別してその周囲にある ものの精神的なイメージを作り出さなければならない。そして、航海士は眼前の 実際の景色を見回して識別可能な対象物を探し、 自分の見るものが海図上の記号とどのように対応しているかを決定しなければな らない。視界が暗さや機構の状態によって制限され、海図の表示を識別するため に特定の光を認識しなければならないことが良くある。これには色付きのせん光 灯があり、町の地平線の明るい光と容易に間違えることがある。別の場合には、 標識が点灯されておらず暗い中で見つけることができないことがある。例えば沈 没船、ケルプ及び浅瀬のような危険なものは一般に海図上に表示されているがそ れらは部分的に又は完全に水没している場合があるので、航海士には見えないこ とがある。航海士は、頭の中で自分の位置を実際の景色におけるものと海図上の それらとに関して創造しなければならず、また海図が危険を警告している位置を 実際の景色の中で創造しなければならない。この処理には、実際の景色、海図の 標識、航海士が見た通りの景色、及び航海士が理解している海図の間で多くの複 雑な変換及び解釈が必要である。間違える可能性が非常に大きいことは明らかで ある。多くの非常に優れた熟練した海軍の航海長が、港の中へ安全に繰船すると いう複雑な仕事に失敗して、悲劇的な結果を生じている。本発明のシステムによ って、航海士は確信をもって景色を見て知っているマークを正確に定めることが できる。本発明のシステムによって、海図の記号が実際の景色で対応する位置を 決定する必要が無くなる。本発明の使用者は、表示装置を自分の目と実際の景色 との間に配置して、実際の景色のイメージをその上に海図の記号を重ね合わせて 見ることができる。航海士の頭の中では、さもなければ見ることができない浅瀬 が存在する位置及びどの光が本当の航海灯であるか、及びどの光が単なる町の光 であるかが非常に具体的になる。コンピュータは、本物の景色から記憶されてい るイメージから迷光のような情報を取り除き、かつ航行のために使用される光の みを表示装置に提供することができる。これが可能であるのは、本発明のデータ ベースが全 ての航海灯の存在を「知って」おり、かつプロセッサがそれ以外のものを排除で きるからである。使用者か見る表示装置は、複雑な好ましくないものを除去しか つ有用なデータを及び対象物を付け加えた景色を表したものである。航海士が本 発明の装置にいずれかの方向を指示すると、該装置は実際の景色の工学的イメー ジを記録し、かつ同時に該装置の位置及び姿勢を決定し、観察している景色に関 する情報をデータベース上で呼び出す。プロセッサがイメージ及び呼び出された データを分析し、これらを結合して最終的に表示されるイメージを形成する。 本発明の要約された別の実施例では、都市計両委員会が提案された建物が都市 の地平線でどのように見えるかを知りたい場合がある。当然ながら、地平線の写 真を作りかつ提案された建物を写真の中にエアブラシで書込むことが可能である 。この一般に用いられている方法では幾つか不十分な部分がある。これは、偏見 を持ったディベロッパが「最も良く見える」用に描いた（又は偏見を抱いた反対 者又は競争者が「良く見えないところで」描いた）建物の単なる円形を示してい るに過ぎない。この建物は、ディベロッパが描いた場合に市庁舎の次に非常に立 派に見えるように表される。写真には一般にただ１つの眺めが示されるだけであ るから、他の視点に関してその建物が与える全ての影響を決定することはできな い。準備された写真からでは、市庁舎の利用者により楽しまれている美しい湾の 景色が建物の建築後に遮られることは明らかでない場合がある。本発明によれば 、あらゆる眺めを詳細に見ることが簡単にできる。提案された建物を正確に表す データを本発明による装置データベースに入力することができる。本発明のカメ ラを新しい建物の方向に向けると、該カメラ部は見える通りの本物の景色を記録 し、かつその信号をプロセッサに送信する。前記装置は、その景色に関してカメ ラの位置及び姿勢を正確に決定し、かつその視点から建物の円形を適当に表した データをデータベースから呼び出す。次に、前記プロセッサは本物の景色を提案 された建物のデータと結合して、その特定の配景から建物の最終的なイメージを 作り出す。ヘリコプターが建物の位置の周囲を丸く飛んだり、使用者が建物を考 えられる全ての視点から見ることさえ可能である。諮問会のメンバーは、計画を 承認するかどうか投票する前に、将来の構造が実生活においてどのようなものに なるかをあらゆる面から見ることができる。 更に別の要約された実施例では、技術者が工学的問題の分析及び処理を行うた めに本発明の製品を利用するようなシナリオを選択する。特に、問題が潜水艦内 の配管に発見されたような場合である。潜水艦の配管、ポンプ、ケーブル、ワイ ヤ等を含む複雑な構造は、設計図を見てそれからの情報を実際の世界に変換する ことによって理解することは非常に困難な場合がある。特定の要素を即座にかつ 明確に識別することは、緊急時の船の生存にとって重大な問題である。以下に説 明する本発明の工学的な利用によって、工学的な特徴を明確に識別する非常に簡 単な方法が得られる。 潜水艦内の技術者には、魚雷室内で魚雷管を使用後に排水するために使用する 円錐ポンプについて作業する仕事がある。この仕事を準備する際に、携帯用電子 工学視覚装置のデータベースを船の中央コンピュータから、当該ポンプの詳細に 関する情報及びポンプが配置されている魚雷室の詳細な情報で交信する。先頭で 損害を受けた船の場合や、火事又は電力の供給停止により視界が制限される様な 場合には、前記視覚装置によって視覚的及び音響的糸口を介して前記ポンプの位 置に案内することができる。様々な配管が隔壁の中及び壁の裏側に設けられてい るので、前記視覚システムを用いて壁の中を見て、さもなければ隠れている配管 を連続的にかつ明確に辿ることができるように配管の位置を「補充」す ることができる。問題のポンプに到達すると、前記技術者は、視覚装置のカメラ の軸をポンプの方向に向ける。前記視覚装置の表示装置では、前記ポンプの本物 のイメージが、前記ポンプにより送られる材料のタイプ及び流れの方向のような ポンプの特徴の手掛かり及びポンプの部品番号のようなデータを重ね合わせる。 前記視覚装置は、使用者からの入力を受取って、ディスプレイモードへの進行を 選択することができる。この入力は、「マウス」又は単純なボタンのような機械 的装置によって行うことができ、又は音声認識手段によって電子的に認識される 言葉による命令で行うことができる。ポンプを分解使用とする場合には、使用者 は言葉で「ステップ」命令により視覚装置に指示を与えて、連続する分解ステッ プを表示させることができる。この場合、分解は前記視覚システムの表示装置に よって提供される手掛かりにより簡単化される。特定の部分を強調表示し、かつ その適正な取外しに必要な動作を、使用者がリアルタイムで正しい分解手順を学 ぶことができるようにシュミレートすることができる。同様に、組立直す場合も 、その順序に関する知識が予めデータベースに入っており、部品帳から現物への 翻訳を必要としない方法で使用者に容易に提示されるので、手早く片付けること ができる。強調表示された部分及びその部分を組立てる動作は、工作物の本物の イメージの上に重ね合わせることができる。 要約した更に別の実施例では、構造物の火災を消化するような複雑な場合が考 えられる。青写真から建物内部の詳細な特徴を読取り、かつその情報を無線で建 物の中にいる消防隊員に送信することは消防隊長に一般的な行動である。この方 法の問題点は、様々な媒体の間で行われる多数回の翻訳に依存していることであ る。各翻訳毎に、前記情報は何らかの変換関数に従って歪められて、その精度が 制限される。本発明によれば、構造物の詳細な情報が建物の内部にいる消防隊員 に直接表示させる ことができるような新たな方法が提供される。 ビデオカメラと必要な表示装置をその中に組込んだゴーグルセットを標準的な 消防士のヘルメットに組付けることができる。表示装置は、有線又は無線でコン ピュータプロセッサと連絡させ、該プロセッサも同様に構造物の特徴に関する情 報を予め記録させたデータ記憶装置と連絡させる。位置決めシステムによって消 防隊員がいる場所及び見ている場所を常に決定することができる。カメラからの 本物のイメージを記憶されたデータと結合させて、最終的に増補されたイメージ を実現することができる。本物のイメージにおける火災により発生する明るい光 がドアのハンドルのような重要な特徴を遮っている場合には、前記プロセッサは その景色から火災を削除しかつドアのハンドルを「書き入れる」ことができる。 消防隊員は、さもなければ進むことができないような煙と炎でいっぱいの複雑な 建物の中を容易に進むことができる。直接に得た情報が本発明の視覚システムに よって直接消防隊員に提供されることによって、消火作業の速度及び効果が大幅 に増大する。ヘルメットに取付けられた装置は必然的に小型で機能的なものでな ければならない。カメラ、表示装置及び位置決め（位置及び姿勢）手段は、大型 で離れた位置に配置されたコンピュータ及び処理手段と無線で連絡されるように 構成することができる。この可能性は、本発明の技術的範囲においてその実施対 応と考えることができる。 役に立つような本物のイメージがカメラで全く検出されずかつ表示されるイメ ージがデータ記憶装置からのデータのみからなるような酷い煙場合には、前記視 覚システムは仮想現実装置と非常に類似したものになる。大きな相違点は、表示 されるイメージが実際と正確に適合し、かつ使用者が見ている方向に向けられて いることである。消防隊員がドアを押した場合には、本物のドアが開く。ＶＲ方 式では、本物のドアが開い ているように見えかつ感じるだけでＶＲシステムのドアは全くのシュミレーショ ンであり、開けられた本物のドアは存在しない。 更に別の要約された実施例では、旅行者が過去の時間を「見る」ことができる ビューイング（viewing）装置を提供する。バスいっぱいに乗った旅行者がポン ペイの地に到着した場合を考える。携帯用視覚システムを装備した各旅行者は、 その土地を思うままに自由に歩き回ることができる。使用者が向かう場所を予め 決めておき、該使用者に提供される景色に対応するサウンドトラックを準備する ことができる。使用者は、前記視覚システムの非常時装置を覗き込むと、現に存 在する建物と、エトナ火山が噴火する前に見えていた景色のシュミレーションと を見ることができる。使用者は、古代のポンペイで日常生活を送る人々のシュミ レーションが見える。使用者には、警告無しに、建物に灰が降りそそぎかつ人々 が隠れる場所を求めて走り回る様子が見える。本発明を提供することによって、 シュミレートされた過去の出来事を現代において簡単に見ることができる。この 態様では、各携帯用装置は、共通のデータ及び処理センタと無線で連絡され、該 センタは各個人の装置と個別に通信させることができる。 本発明の最後の要約された実施例では、埋設された配管や電線の位置を決める ために測量技師が地面の中を「見る」ような用途について考える。建設プロジェ クトにこのような配管及び電線を取除き又は変更する必要がある場合、又は既存 の高速物に干渉しないように新しいプロジェクトを工事する場合、測量技師はこ れらの工作物の位置を決めなければならない。測量技師は、過去の建設プロジェ クトの書類を便りに、それらの地図に示されている様々な工作物の位置を現実の 世界で表示しようとする。同様に、測量技師が行う地図及び他の書類から現実の 世界及び掘削装置の運転者への翻訳には、技術と経験が必要である。最近の正確 な地図がある場合でも、この仕事は恐ろしいことになる可能性があり、かつ失敗 すると非常に高くつく。本物の景色に合わせて、その景色のイメージとその上に 重ね合わせた埋設された構造物の位置とを含む表示装置を見ることができれば、 注意すべき位置を示すことはつまらないことである。本発明の視覚システムによ れば、埋設された配管電線等をデータベースに記録することができる。この場合 、建設プロジェクトの位置は非常に短時間で調査することができる。従来の大部 分の地図作成システムは、データ及びイメージと結合させたデータの記号を有す る非常に精巧なコンピュータ化された地図であっても、提供されたイメージを使 用者が見る実際の世界のイメージに変換することが必要である。ＨＵＤは、本物 のイメージと現実に合わせたデータのイメージとを結合させるにも係らず、本発 明は、本物のイメージとデータ又はデータのイメージとの間で連絡する能力を有 する点て区別される。ＨＵＤによっては、本発明の認識、整合、好ましくない特 徴の抽出及び他の優れた特徴を提供することができない。本発明のみが、自然に 見える通りの景色に合わせた増補イメージを生成するシステムが提供される。本 発明の第１の目的は、従来のシステムについて全く知られていない能力を有する 汎用視覚システムを提供することにある。 本発明の別の主な目的は、測量、工学、旅行、航法その他の分野に対し、使用 者に本物の景色に関する追加情報を提供するオーグメンテイションをもって本物 の景色をイメージ化することにより現実を増補する装置及び方法を提供すること にある。 本発明の別の目的は、使用の時点では存在しないが、いつか将来に景色の一部 分となる対象物を含む地形を見るための視覚装置を提供することにある。 本発明の更に別の目的は、カメラ、双眼鏡、望遠鏡、ビデオレコーダ、 ヘッドアップ表示装置、ヘルメット装着表示装置等を含む従来の視覚システムで は見ることができない対象物を含む地形を見るための視覚システムを提供するこ とにある。 本発明の更に別の目的は、本物の景色の好ましくない対象物を取除き、かつコ ンピュータで生成した対象物と置き換えて、使用者にとって重要な対象物を表示 することができる視覚システムを提供することにある。 図面の簡単な説明 本発明のこれらの特徴及び他の特徴、側面及び利点については、以下の詳細な 説明、請求の範囲及び添付図面に基づいてより詳細に説明する。 第１図は、本発明の使用者、実際に見える景色、及び本発明の装置の増補表示 装置に映る景色を示す図である。 第２図は、埋設された配管及び下水管（２ｂ）のような本発明がなければ見え ない特徴を測量技師が見ることができるような町中の通りの場面を示す図である 。 第３図は、本発明の新規な組合せを説明する構成要素及びそれらの相互関係を 示すブロック図である。 第４図は、より詳細なブロック図である。 第５図は、前記システムの構成要素の幾つかを電子工学的に示す図である。 発明を実施するための最良の形態 本発明によれば、増補イメージを生成するために使用される知覚システムの装 置が提供される。第１図には、本発明の携帯用アセンブリ１を介して峡谷覗き込 んでいる使用者２が示されている。増補イメージ３がユーザに提示され、かつ本 物の景色と整合している。この増補イメージ ２は、例えば橋４の未だ存在しない本物の景色に付け加えられた情報を表す要素 と、実際の景色に存在するが、例えば橋の右側の木のように最終的なイメージに は表れず、削除された情報を表す要素と、実際の姿から変形された要素とが含ま れる。第２図には、建設現場での測量の実施例が示されている。通常に見える景 色は第２図（ａ）のようになるだ。第２図（ｂ）では、本発明の表示装置におい て家７と消火栓８とに向かう浄水管５及び埋設された下水管を容易に「見る」こ とができる。 本発明の第１の好適実施例では、カメラ９、位置決定手段１６、姿勢決定手段 １５、データ記憶装置１２、コンピュータ１４、及び表示装置１３とからなる電 子工学装置が提供される。前記カメラは、視野からのフォトン入力をイメージの 場（field）における工学イメージに変換するために使用され、かつそのフォト ンイメージを電子イメージに変換し、かつ該電子イメージをコンピュータに送信 する電子工学装置である。前記位置決め手段は、前記カメラの位置を決定するた めに使用され、前記姿勢手段は、カメラ視野の対象軸によって定義される。カメ ラを向けた姿勢を決定するために使用される。前記データ記憶装置は、前記位置 及び姿勢決定手段と、位置及び姿勢の値が更に前記コンピュータと、それにイメ ージデータを送信できるように連絡３９を有するデータ記憶装置内の位置を示す ように連絡しており、前記コンピュータは、前記カメラからの電子イメージと前 記データ記憶装置からの電子イメージ４とを比較し、分析し、処理して単一のイ メージとして表示されるように結合させる。前記コンピュータは、その景色に特 定されるカメラの位置及び姿勢の情報を用いて、該カメラの位置及び姿勢に特有 の景色の本物のイメージを増補するように前記表示装置と連絡している。前記装 置の主要な構成要素のそれぞれについて以下に詳細に説明する。 カメラ 本発明の好適実施例では、前記装置のカメラ部分は、使用者２が容易に保持す ることができる携帯用アセンブリ１の中に一体に組み込まれた４つの主要なサブ システムから構成される。これらは、光学式入力レンズアセブリ３８、イメージ 安定化システム、少なくとも１個の電化結合素子ＣＣＤ２０、及び光学式標定（ ranging）システム３４が含まれる。 フォトン入力イメージ化レンズアセンブリは、携帯用カメラユニット１に装着 することかできる。単一の軸即ち「一眼」システムは商業的に利用可能であり、 かつカムコーダやデジタル写真用カメラのような装置に一般に使用されている。 前記レンズがズーム機能及び自動焦点機能を有すると好都合であり、これらのシ ステムは従来技術において十分に開発されている。自動焦点システムは、コンピ ュータ駆動式とし、かつユーザのオーバライドによって開放できるようにするこ とができる。レンズのズーム操作は、動力駆動式にし、かつユーザが電子制御ス イッチによって手動で制御できるようにすることができ、又は選択した光景に特 定の知られた特徴に基づいてコンピュータにより駆動することができる。前記入 力レンズの物理的な寸法によって、該レンズのズーム特性と共に変化する前記装 置の視野が定義される。視野に関する情報は、イメージ結合ルーチンにおいて使 用されるように前記プロセッサに供給することができる。イメージ安定化システ ムも同様に電子イメージ化技術において十分に開発されており、公知のシステム を本発明の好適な実施例に用いることができる。イメージ安定化は、固体圧電素 子によって歪みを生じ易いプリズムを駆動することによって実現される。敏感な ジャイロ３５からの動作情報が動作を検出しかつ駆動信号を前記プリズムに供給 する。本発明のシステムは、前記各ジャイロからの出力が前記携帯用アセンブリ の位置及び姿勢の計算のために制御コンピュータにおいて利用可 能にすることができるように変形することができるように変形することができる 。これは、例えば潜水艦内部や、手術又は顕微操作のような微小な規模での用途 に設計されたシステムにおいて、ＧＰＳ信号へのアクセスがないシステムにとっ て特に重要である。機械的な安定化システムの代わりとして、電子イメージ安定 化システムわ用いることができるがイメージの品質を損失させる虞があり、かつ 動作が素早い特異の場合にはイメージの入力の連続性が失われる。また、電子イ メージ安定化システムは、制御コンピュータに動作情報を提供するように変更す ることが容易でない。 景色からのフォトン工学入力が、前記イメージ安定化システムによって安定化 させた後、前記入力レンズのイメージ平面内に位置するように少なくとも１個の 電化結合素子即ちＣＣＤ上に収束される。可能性がある代替物として、シリコン 増感（silicon intensified）カメラ又は他のイメージ変換（image-con）装置が あるが、ＣＣＤは、その出力がデジタルデータを用いて電子コンピュータに互換 性を有するので好都合である。景色からの光の場（light field）は、その景色 を表すデジタル電子イメージ信号に変換される。またねＣＣＤ装置は極めて一般 に入手可能であり、かつ最近のイメージ化装置に使用されており、標準的なＣＣ Ｄは、全く変更することなく又は小さな変更だけで本発明に十分に使用すること ができる。前記カメラは感触性を有し、色彩イメージを生成するために２つの一 般的な方法が可能である。また、人間の可視領域以外のスペクトルの部分に官能 するＣＣＤ装置が有用であることが分かる。例えば、或るシステムでは、赤外線 ＩＲイメージ化に調整されたＣＣＤ装置によって利益が得られる場合がある。Ｉ Ｒ装置の使用は、重要なイメージ情報が可視領域以外のスペクトルにあるような 耕種学及び消化のような用途において重要である。 標定システムは、前記システムの複数の複数の機能について有用である。第１ の機能は、入力レンズの焦点を提供することである。イメージがＣＣＤに適当に 収束するためには、イメージ化される対象物の距離に従って入力レンズを調整す る必要がある。第２の機能は、標定情報が処理ステップにおいて、データ記憶装 置からのデータに関する本物のイメージの尺度を適当に決定するためのヒントを 与えることから有用である。前記カメライメージ及びデータ記憶装置の入力が結 合されることによって、尺度は、最終的なイメージが適当に表れるための重要な 要件である。別の使用、即ち工学的標定の第３の使用は好ましくないイメージの 特徴を排除できることである。例えば、船の索具が海岸の景色を妨げるような場 合には、問題となる範囲をイメージプロセッサに入力することが可能である。こ の場合、前記プロセッサは、選択された前記範囲内にない対象物を除去すること ができる。例えば音波装置又は超音波装置のような標定システムは、前記カメラ から景色の対象物までの距離即ち範囲を測定することができる。また、レーザ又 はレーダシステムを用いることができるが、これらは非常に複雑で高価である。 前記コンピュータは、標定システムから直接範囲（距離）情報を受取ることがで き、又はコンピュータルーチンによって問い合わせを行うことができる入力レン ズの焦点位置決め及びズーム条件付け１８から範囲情報を受取ることができる。 これは、前記焦点及びズームレンズの条件をコンピュータによって読取り可能な 電子信号に変換する変換装置付きで前記レンズが設計されている場合に可能であ る。アクティブ標定システムに代わるもの又はそれに付加するものとして、景色 の対象物への距離を、イメージの特徴と該イメージの特徴に対応する前記データ ベース内の知られている要素との比較から決定することが可能である。この方法 は、ローリングス（Rawlings）による米国特許第５，０３４，８１２号明細書に 開示されてい る。携帯用カメラの位置及び姿勢が一旦確立されると、コンピュータによって本 物のイメージが入力され、かつ分析される。コンピュータ化された地形のデータ ベースを参照することによって、位置及び従って使用者が選択した特徴への距離 及び包囲を確立することができる。例えば、その高さが先にデータベースに記憶 されている灯台のような対象物を、範囲の決定が可能となるようにレンズの倍率 が知られている場合に、本物のイメージから測定することができる。各標定方法 は、個別に行うことができ、又は精度を増すように複数の他の方法を組合わせて 行うこともできる。 位置決定手段 本発明の好適な実施例によれば、前記装置の位置決定手段はグローバルポジシ ョニングシステムＧＰＳ受信機１６である。他の実施例について有効に用いるこ とができる別の位置決めシステムも多数存在する。これらには、ドラン（Ｌｏｒ ａｎ）、グロナス（Ｇｌｏｎａｓｓ）、及びオメガ（Ｏｍｅｇａ）があるがこれ に限定されるものではない。ＧＰＳは非常に高い精度を有し、かつ高度を測定す る能力を有するので、本発明に選択することによって、該システムの高い精度か ら利益を得られることは明らかである。地下又は潜水艦のような独立した環境下 では、位置決め手段は、既知の位置から三角測量の簡素化された様式又は他の位 置決定手段にしなければならない。例えば半導体の検査又はマイクロデバイスの 製造のような微小な規模での用途の場合には、ナノメータに近いレベルで精度を 有するレーザ干渉計による位置測定手段を有すると有用である。本発明は、位置 が測定されかつコンピュータプロセッサに入力されるだけで、いずれの位置決め 手段の特質に依存するものではない。 本発明の目的は、小型、軽量化かつ携帯性のカメラを備えることであ る。これを達成するために、かさの大きい演算能力は、携帯カメラと連絡される 別個の装置に入れる必要がある。この実施例では、ＧＰＳ受信機のアンテナ３６ が前記携帯カメラの中又はそれに近接する位置に設けられていると好都合であり 、前記ＧＰＳ受信機のより大きな処理部分が、背中に背負う形で又は地面に置く 装置として他のシステムの演算設備に結合させることができる。船が橋の中に入 っているようなＧＰＳ信号が使えないような遮られた位置で使用する場合には、 アンテナを携帯カメラに関していずれかの既知の位置に配置し、それらの間にお ける既知の一定の変位を電子的処理において取り除くことができる。 姿勢決定手段 本発明の好適実施例によれば、前記装置の姿勢決定手段は３つの選択肢のいず れかであると考えられる。そのいずれによっても、携帯カメラ装置の包囲、チル ト及びローリングが得られる。前記携帯カメラ内に配置されたフラックスゲート コンパス３７によって、±１度の精度で方位情報が提供される。このフラックス ゲートコンパスからの出力は、前記コンピュータに対して使用可能にされる。前 記イメージ安定化システム内に配置された圧電ジャイロからの出力も同様に前記 コンピュータにより使用されて、使用者によって確立されたデータから動作を計 算する。このデータは、既知の高さ位置にあるものからのもの、又は前記携帯カ メラを介して見ることによって地平線を観察することによって確立することがで きる。別の選択肢は、二軸電解伏角計に組込まれた三軸磁力計システムである。 この変換器は前記カメラ内に配置され、コンピュータに完全な姿勢の決定値を提 供するように使用される。更に別の選択肢は、圧電ジャイロを用い適地のデータ から姿勢（方位を含む）を計算することである。この選択肢を採用するの有は、 磁界によって正確な方位の読 取りが妨げられる（即ち、アーク用屈折装置、大型変圧器等に近接している場合 ）を容認できるような用途に加えてコストが安いことである。前記イメージ安定 化システムは既に必要な圧電ジャイロを備えているので、この選択肢を上述した 全ての選択肢の中で方位を確定するための任意の方法として提供することが可能 でありかつ望ましい。 コンピュータ 本発明の好適な実施例では、前記装置のコンピュータプロセッサは、非常に高 速の図形及びビデオ機能を有するマイクロコンピュータであると考えられる。 コンピュータ開発が進歩した状態にあるので、コンピュータの必要な要素の多 く、例えば高速フレームグラバー（grabber）２２及び容量の大きいキャッシュ メモリ２３は既に開発されている。テレビゲーム及びコンピュータ生成アニメー ションのアプリケーションで使用されるコンピュータ及びソフトウエアは手近な 仕事に適しており、かつそれらの仕事に容易に変換することができる。本発明の 機能が異常に独特のものであることから、それらの機能を達成するために必要な ソフトウエアは、同様に独特なものでなければならない。ＲＯＭのようなハード ウエア又はソフトウエアで実行されている複雑なシステムの命令セットの設計は 専用のものであると考えられる。タスク特定命令セットを有し、かつそれぞれに 独自の命令セットを有する本発明の装置が多くあると考えられる。 データ記憶装置 本発明の好適実施例では、前記装置のデータ記憶手段は、例えばＣＤ−ＲＯＭ のような大容量のメモリ装置であると考えられる。前記メモリ記憶装置は、特定 の使用者にとって関心がある特定の景色に関する予め プログラムされた情報をもつことができる。前記位置決定手段及び姿勢決定手段 によって、データ記憶装置のポインタが制御される。最も簡単な実施例では、デ ータ記憶装置は２個の変数からなる直交配列によって定義される位置を有する。 位置の値Ｐ_n及び姿勢の値Ａ_nによって対応する景色ＳＣＥＮＥ｛Ｐ_n，Ａ_n｝が一 意的に定義される。更に進んだ対応では、範囲が同様に重要であり、かつ範囲の 変数即ち第３の直交変数によって３次元の配列ＳＣＥＮＥ｛Ｐ_n，Ａ_n，Ｒ_n｝が 定義される。Ｒによって定義される変数は、前記カメラの軸に対して垂直などの 平面に問題の情報があるかをコンピュータに伝える。更に進んだ対応では、倍率 変数Ｍ_nを同様に用いて４次元の配列ＳＣＥＮＥ｛Ｐ_n，Ａ_n，Ｒ_n，Ｍ_n｝を提供 することができる。他の多くの要素を用いて、データを記憶させかつ呼出す方法 を制御することができる。現在係わっている仕事に特有の方法はそれぞれ、見て いる景色の識別に従ってデータ記憶装置から前記景色に関するデータを選択する 一般的な場合の部分集合である。 表示装置 本発明の好適な実施例では、前記装置の表示手段１３は一般的な濃度マトリク スＬＣＤ３２装置であると考えられる。これらは、現在入手可能な最も明るい高 速表示装置であり、表示用のアプリケーションと共に非常に一般的に使用されて いる。別のものとして、プラズマ表示装置、エレクトロルミネッセント、又は他 の幾つかの考えられる表示装置を用いることができる。特定のタイプの表示装置 は重要でなく、本発明の要旨から外れることなく特定の用途に用いることができ る。表示装置の重要な特徴は、コンピュータのビデオカード２８から生成される 電子信号が、前記カメラを向けている景色の増補された本物のイメージを表す光 学的に見ることができるイメージに変換され得ることである。また、本 発明の主な特徴は、表示装置を現実に向けさせて、第１図に示されるようなカメ ラの光軸に関して整合させることである。 その他 本発明の好適な実施例では、前記装置は更に、コンピュータルーチンと対話し 、かつ別のコンピュータルーチンを駆動する情報を特定する使用者入力用制御キ ー２９、コンピュータルーチンの制御及び情報の使用者への提供のためにマイク ロホンのようなタイプの入力用およびスピーカのようなタイプの出力用の双方の 音声変換キー３１のような装置を備えると考えられる。視覚装置を人間の使用者 に結びつけるものとして知られている標準的な設備及び三脚、レンズのシェード 、切断レンズ用取付具３０等のような物理的な条件は全て本発明の装置の適用で きると考えられる。 また本発明によれば、増補イメージを生成する方法が提供される。本発明の好 適実施例によれば、収集ステップ、変換ステップ、位置決定ステップ、姿勢決定 ステップ、データ呼出ステップ、処理ステップ、及び表示ステップとからなる視 覚システムの方法が提供される。イメージ化ステップでは、景色の対象物を、該 対象物から発生する光が少なくとも１個のレンズの中を伝搬して、２次元の平面 でイメージを形成するように前記平面上にイメージ化する。デジタル化ステップ では、２次元の光学的入力を電気信号に変換する。前記位置決定ステップでは、 前記カメラの位置を何か任意の基準点に関して決定し、姿勢決定ステップでは前 記カメラの姿勢を何か任意の方向に関して決定する。データ呼出ステップでは、 データベースからのデータを、先の２つのステップの測定値に従って呼出し、処 理ステップでは、デジタル化ステップのイメージ及びデータ呼出ステップのデー タを結合して、最終イメージを形成する。表 示ステップでは、最終的な電子イメージを光学的イメージに変換し、本当の景色 に対応しかつ整合するように表示する。これら主なステップのそれぞれについて 以下に詳細に説明する。 収集ステップ 収集ステップでは、前記装置のカメラを景色の方向に向け、かつフォトンイメ ージをレンズによって形成する。前記フォトンイメージは、前記カメラのレンズ のイメージ平面に配置されている電子機器上に形成される。所望の視野は、景色 の部分を選択的に選べるように前記レンズのズーム機能によって変更することが できる。収集ステップは、好適実施例では連続的に行われ、様々な対象物に向け ることによって、連続的に表示装置を交信できることになる。多くの収集ステッ プが素早く連続して行われるような「タニング」のようなリアルタイム機能が十 分に予想される。収集ステップは利用者の影響を受け易い。使用者の入力によっ て予め選択された範囲を採用した場合には、その入力に従ってコンピュータがレ ンズを調節する。このことは、使用者が遠く離れた対象物の特徴を見たいが、全 面に何か物があって自動標定を止めているような事例においてより明らかである 。選択した範囲によって、望ましくない全面の物の収集を排除できる。 変換ステップ 本発明の方法は、景色のフォトン表示がデジタルコンピュータで処理され得る 電子信号に変換されるという点で、ＨＵＤ及びＨＭＤのような方法と区別される 。本物の景色のイメージは、標準的なビデオ速度でイメージフレームに変換する ことができる。このようにして、既存のビデオ装置に変更を加える必要がなく、 かつその設備を本発明のシステムに 容易に組込むことができる。ＣＣＤのデジタル信号は、ＣＣＤと互換性がある多 くの処理ハードウエアが既に当該技術分野に存在することから特に望ましい。Ｃ ＣＤ装置のイメージのピクセル表示もまたＬＣＤ表示装置のイメージのピクセル 表示と互換性を有する。ＣＣＤのデジタルイメージは、コンピュータプロセッサ ルーチーンに直接送信することができる。 位置決定ステップ 前記カメラの位置は、全地球的（マクロ）用途ではＧＰＳ方法を用いて、及び 微細な用途にはレーザ干渉計を用いて決定することができる。位置決めステップ を用いて、任意の点に関してカメラを配置し、かつその測定結果を、前記カメラ を向けている景色に対応する情報がデータベースのどこに配置されているかをコ ンピュータが識別できるように該コンピュータに中継する。 姿勢決定ステップ ３本全ての回転軸に関するカメラの光軸の姿勢を測定して、該カメラが向いて いる方向を識別し、それによって更に前記カメラがどの景色に向けられているか 及びカメラの視野にはどのように映っているかを識別する。姿勢の値は、一般に データ記憶装置のポインタ変数の１つを駆動し、かつそれによって位置の数値と 組合わせた時に記憶されているデータを一意的に選択する。姿勢は、様々な用途 において様々に実現することができる。海での使用には、「方位」及び暗黙の水 平線によって景色を一意的に定義することができる。これは、３本全ての回転軸 における姿勢の特別な場合と考えられる。多くの用途では、景色が適当に識別さ れるためには高度を考慮する必要がある。位置及び姿勢ステップの第１ の機能はコンピュータに十分な情報を提供して景色をはっきりと識別させること である。 記録データ呼出ステップ 位置及び姿勢の決定が行われたことにより、データベース内の位置を特定する のに必要な最小の情報が得られる。幾つかの簡単な用途については、前記位置及 び姿勢の測定によって定められる形式を覗き込んでいるカメラによって生成され る本当のイメージを結合させる記憶データを呼出すのに十分な情報である。更に 進んだ用途では、目的物への距離及び倍率のような別の要素を特定して、呼出そ うとするデータを特定することが必要である。前記データは、呼出された後にプ ロセッサに送られて、本物のイメージのデータと結合される。 処理ステップ 本物のイメージのデータは前記変換ステップからプロセッサによって受取られ 、かつオーグメンテーションデータが前記データ呼出ステップからプロセッサ内 に受取られる。特徴認識技術及びイメージ加工ルーチーンを２つの形態の情報に 適用して最終的に前記２つの情報を所望の形に組合わせたイメージを作り出す。 所定の好ましくない情報は、本物の光景のイメージから取り除くことができる。 本物の景色のイメージに表れない重要な情報であって前記データの中に見つけら れた物は、最終的なイメージの中で強調することができる。 増補イメージの表示 本物のイメージの情報とデータ記憶装置からのデータとからなる増補された本 当のイメージが前記プロセッサで組み立てられ、かつ標準的な ビデオ形式で表示装置に送られる。次に、最終イメージは、観察者が他の視覚シ ステムでは見ることができないような物及び特徴、実際の景色と全く同じ向きに 「見る」ことができるように実際の景色に性格に合わせて表示される。増補され た本当のイメージは、リアルタイムで見る実際の景色にコンピュータが生成した オーグメンテーションを結合させた表示が得られるようなビデオ速度で生成する ことができる。 以上本発明についてその好適な対応に関連して詳細に説明したが、他の実施態 様が可能である。従って、請求の範囲に記載される技術的範囲は本明細書に記載 される実施態様に制限される物ではない。 本発明の好適な実施例によれば、視覚システムを実現するための装置及び方法 が提供される。上述した各実施例は方法及び装置の双方を含むものであり、かつ 或る公的実施例の装置及び方法は他の実施例の装置及び方法と異なるものである 。

【手続補正書】特許法第１８４条の８ 【提出日】１９９５年３月１３日 【補正内容】 請求の範囲 １０） 実際の景色のイメージとコンピュータにより生成されたイメージとから の増補イメージを生成することができる電子光学式装置において、前記増補イメ ージの上下左右の方向が前記景色の上下左右に直接対応しかつ前記イメージの平 面に垂直な方向が利用者から前記実際の景色への方向に向くように、前記増補イ メージが前記景色に整合し、前記増補イメージがデータ記憶装置から呼び出され た情報からなり、前記情報が前記装置によって決定される位置及び前記装置の姿 勢に特有のものである装置。 １１） 前記増補イメージがイメージ装置によって生成された情報とデータ記憶 手段から呼び出された情報とからなり、前記データ記憶装置からの前記情報が前 記装置によって決定される位置及び前記装置の姿勢に特有のものである請求項１ １に記載の装置。 １２） イメージ装置と、 位置決定手段と、 姿勢決定手段と、 データ記憶装置と、 コンピュータと、 表示装置とからなり、 前記イメージ装置が、対象軸でありかつ見る方向を定義する光軸と、前記軸に 関して対象であり、イメージの場（field）を定義するレンズと、前記イメージ の場にある電荷結合素子とを有し、 前記位置決定手段が前記イメージ装置に対応する基準点を有し、 前記姿勢決定手段が前記イメージ装置の見る方向と平行な基準方向を有し、 前記データ記憶装置が、予め記録されたデータを格納する記憶場所と、これら の記憶場所を識別する複数の直交変数と、前記位置決定手段及び姿勢決定手段か らの値に応答し、前記実際の景色に対応する特定の予め記録されたデータを含む 特定の記憶場所を選択するポインタとを有し、 前記コンピュータが、前記イメージ装置、位置決定手段、姿勢決定手段、デー タベース及び表示装置と電子的に連絡し、かつ、 前記表示装置が、表示面に対して直交する垂直方向を有し、前記垂直方向が前 記イメージ装置の対象軸と同一直線上にあり、かつ前記コンピュータと連絡して いる請求項１１に記載の装置。 １３） イメージ装置と、 位置決定手段と、 姿勢決定手段と、 データ記憶装置と、 コンピュータと、 表示装置とからなり、 前記イメージ装置がフォトン入力を感知可能であり、かつ光を前記コンピュー タで処理可能な電子信号に変換することができ、 前記位置決定手段が、前記イメージ装置の位置を決定することができ、かつそ の位置を表す値を前記コンピュータに提供し、 前記姿勢決定手段が、前記イメージ装置の軸によって定義される前記イメージ 装置の姿勢を決定することができ、かつその姿勢を表す値を前記コンピュータに 提供し、 前記データ記憶装置が、その現在の位置及び姿勢によって定義される前記イメ ージ装置の現在の視野の中にあることが知られている対象に対応しかつそれを表 す、予め記録されているデータを格納し、そのデータを呼び出して前記コンピュ ータに送信することができ、 前記コンピュータが、前記イメージ装置及びデータ記憶装置から信号を受け取 り、かつそれらの信号を複合イメージ信号が形成されるように結合させることが でき、かつ更に前記複合イメージを前記表示装置に送信することができ、 前記表示装置が、前記コンピュータの前記複合イメージ信号を変換し、かつ前 記イメージ装置が見ている前記軸に整合する、利用者が見ることができる物理的 信号に変換することができ、前記利用者がその周囲の状況を、前記利用者に通常 見える前記景色に整合したコンピュータ生成増補イメージと共に見ることができ る請求項１１に記載の装置。 １４） 全地球包囲方式位置決定手段と、全地球包囲方式受信アンテナと、フラ ックスゲートコンパス姿勢決定手段と、イメージ安定化手段と、音声変換器と、 ２個の液晶表示装置と、結合レンズを有する２個の接眼レンズとからなり、 前記全地球包囲方式受信アンテナが、前記イメージ装置と共に配置され、かつ 前記コンピュータと連絡している前記全地球包囲方式位置決定手段と連絡してお り、 前記三軸磁力計姿勢決定手段が、前記イメージ装置が向いている姿勢を決定す ることができ、かつ前記コンピュータと連絡しており、 前記イメージ装置が、前記実際の景色からイメージ装置の動作を取り除くこと ができるイメージ安定化手段と、アドレスされている前記景色及び該景色の特徴 に音声入力信号及び出力信号が関係する場合に利用者の前記コンピュータへのイ ンタフェースをとることができる音声変換器と、それぞれが２個の目の一方に対 応して前記コンピュータの前記増補イメージを表示することができる２個の液晶 表示装置と、前記増補イメージが前記実際の景色と同じ場所に配置されているか のように見えかつ感じられるように前記液晶表示装置を光学的無限遠に表すこと ができる 接眼レンズ及び結合レンズとを有する請求項１２に記載の装置。 １５） 前記実際の景色までの距離を決定する距離測定手段を更に備え、この距 離測定が、前記実際の景色のイメージの尺度に適合するように前記コンピュータ 生成イメージを基準化するように行うことができる請求項１２に記載の装置。 １６） 前記距離測定が、記憶装置からの情報の検索を指示することができる請 求項１５に記載の装置。 １７） 実際の景色のイメージとコンピュータにより生成されたイメージとから の増補イメージを生成する方法において、前記増補イメージの上下左右の方向が 前記実際の景色の上下左右に直接対応しかつ前記イメージの平面に垂直な方向が 利用者から前記実際の景色への方向に向くように、前記増補イメージが前記景色 に整合し、 前記実際の景色を表す情報をイメージ装置で生成するステップと、 前記イメージ装置の位置を決定するステップと、 前記イメージ装置の姿勢を決定するステップと、 前記実際の景色の特徴を表す情報を、前記位置及び姿勢の決定に従ってデータ 記憶装置から呼び出すステップと、 前記実際の景色を表す前記情報を前記記憶装置から呼び出した前記情報に結合 させて複合増補イメージを形成するステップとによって生成される方法。 １８） 前記情報生成ステップが更に、光学的イメージをイメージ平面上に形成 し、かつ前記光学的イメージを、アドレスされている前記実際の景色のイメージ を表す、コンピュータで処理可能な電子信号に変換すると定義され、 前記呼出ステップが更に、前記データ記憶装置内の前記イメージ装置の前記位 置及び姿勢に対応する場所から、アドレスされている前記実際 の景色に関連しかつ前記実際の景色のイメージを表す前記電子信号と結合させる のに有用なイメージ情報及びデータを呼び出すことによって定義され、 前記結合ステップが更に、呼び出した前記情報及びデータを前記実際の景色の イメージに結合させて、光学的イメージシステムには使用できないが前記景色に 関する情報で前記イメージを増補すると定義される請求項１７に記載の方法。 １９） 前記イメージ装置を実際の景色に向けることにより前記景色をアドレス し、それにより前記イメージ装置の姿勢を定義するステップと、 データ記憶装置をサーチし、前記サーチが、前記実際の景色の中にあることが 知られている対象及び特徴に関する情報及びデータに前記サーチを向けさせる位 置及び姿勢の測定に依存しているステップと、 前記実際の景色の期待される特徴に従ってデータを呼び出すステップと、 増補された前記イメージを、前記実際の景色に整合させかつ前記位置及び姿勢 の測定に固有の適当な見方で利用者に表示するステップとを更に含む請求項１７ に記載の方法。

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号 庁内整理番号 ＦＩ Ｈ０４Ｎ 7/18 8625−5Ｈ Ｇ０６Ｆ 15/62 ３８０ (81)指定国 ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＤＥ， ＤＫ，ＥＳ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，ＩＴ，ＬＵ，Ｍ Ｃ，ＮＬ，ＰＴ，ＳＥ)，ＯＡ(ＢＦ，ＢＪ，ＣＦ，ＣＧ ，ＣＩ，ＣＭ，ＧＡ，ＧＮ，ＭＬ，ＭＲ，ＮＥ，ＳＮ， ＴＤ，ＴＧ)，ＡＴ，ＡＵ，ＢＢ，ＢＧ，ＢＲ，ＢＹ， ＣＡ，ＣＨ，ＣＮ，ＣＺ，ＤＥ，ＤＫ，ＥＳ，ＦＩ，Ｇ Ｂ，ＨＵ，ＪＰ，ＫＰ，ＫＲ，ＫＺ，ＬＫ，ＬＵ，ＬＶ ，ＭＧ，ＭＮ，ＭＷ，ＮＬ，ＮＯ，ＮＺ，ＰＬ，ＰＴ， ＲＯ，ＲＵ，ＳＤ，ＳＥ，ＳＫ，ＵＡ，ＵＳ，ＵＺ，Ｖ Ｎ 【要約の続き】 テムのリアルタイムの位置及び姿勢によって識別される 記憶位置における記憶された情報を有するデータベース からの情報を含むようにした視覚システムが提供され る。本発明の視覚システム第１の機能及び従来技術と対 照される点は、該視覚システム使用者が風景を自然に見 るように、実際の風景に連続的に整合させたデータ及び 増補された実際のイメージを提供することである。増補 されたイメージは、本物の景色を表しているが削除、追 加及び補足を含んでいる。

Claims (1)

1. 【特許請求の範囲】 １） 実際の景色のイメージを生成することができる電子光学式装置において、 前記イメージの上下左右の方向が前記景色の上下左右に直接対応しかつ前記イメ ージの平面に垂直な方向が前記景色の中心の方向を向くように、前記イメージが 前記景色に整合し、前記イメージがデータ記憶装置から呼び出された情報からな り、前記情報が前記装置の位置及び姿勢に特有のものである装置。 ２）前記イメージがイメージ手段によって生成された情報とデータ記憶手段から 呼び出された情報とからなり、前記データ記憶装置からの前記情報が前記装置の 位置及び姿勢に特有のものである請求項１に記載の装置。 ３）イメージ手段と、 位置決定手段と、 姿勢決定手段と、 データ記憶装置と、 コンピュータと、 表示装置とからなり、 前記イメージ手段が、対象軸でありかつ見る方向を定義する光軸と、前記軸に 関して対象であり、イメージの場（field）を定義するレンズと、前記イメージ の場にある電荷結合素子とを有し、 前記位置決定手段が前記イメージ手段に対応する基準点を有し、 前記姿勢決定手段が前記イメージ手段の見る方向を定義する基準方向を有し、 前記データ記憶装置が、予め記録されたデータを格納する記憶場所と、これら の記憶場所を識別する複数の直交変数と、前記位置決定手段及び 姿勢決定手段からの値に応答し、前記実際の景色に対応する特定の予め記録され たデータを含む特定の記憶場所を選択するポインタとを有し、 前記コンピュータが、小型で利用者が人力で運搬可能なマイクロプロセッサを 主要部とするパーソナルコンピュータであり、前記イメージ手段、位置及び姿勢 決定手段、データベース及び表示装置と電子的に連絡しており、図形及び画像処 理能力を有し、かつ、 前記表示装置が、表示面に対して直交する垂直方向を有し、前記垂直方向が前 記イメージ手段の対象軸と同一直線上にあり、かつ前記コンピュータと連絡して いる請求項２に記載の装置。 ４）イメージ手段と、 位置決定手段と、 姿勢決定手段と、 データ記憶装置と、 コンピュータと、 表示装置とからなり、 前記イメージ手段がフォトン入力を感知可能であり、かつ光を前記コンピュー タで処理可能な電子信号に変換することができ、 前記位置決定手段が、前記イメージ手段の位置を決定することができ、かつそ の位置を表す値を前記コンピュータに提供し、 前記姿勢決定手段が、前記イメージ手段の軸によって定義される前記イメージ 手段の姿勢を決定することができ、かつその姿勢を表す値を前記コンピュータに 提供し、 前記データ記憶装置が、その現在の位置及び姿勢によって定義される前記イメ ージ手段の現在の視野の中にあることが知られている対象に対応しかつそれを表 す、予め記録されているデータを格納し、そのデータを呼び出して前記コンピュ ータに送信することができ、 前記コンピュータが、前記イメージ手段及びデータ記憶装置から信号を受け取 り、かつそれらの信号を複合イメージ信号が形成されるように結合させることが でき、かつ更に前記複合イメージを前記表示装置に送信することができ、 前記表示装置が、前記コンピュータの前記複合イメージ信号を変換し、かつ前 記イメージ手段が見ている前記軸に整合する、利用者が見ることができる物理的 信号に変換することができ、前記利用者がその周囲の状況を、前記利用者に通常 見える前記景色に整合したコンピュータ生成増補イメージと共に見ることができ る請求項２に記載の装置。 ５）前記表示装置が、２つの目のそれぞれに対応する光路を有する双眼鏡形式の 視覚装置に一体化されている請求項３に記載の装置。 ６）実際の景色の増補イメージを生成する方法において、前記イメージの上下左 右の方向が前記景色の上下左右に直接対応しかつ前記イメージの平面に垂直な方 向が前記景色の中心の方向を向くように、前記イメージが前記景色に整合し、 前記イメージ平面の位置及び姿勢に特有のデータ記憶装置からのデータからな るイメージを表示するステップからなることを特徴とする方法。 ７）前記イメージが更にイメージ手段からのデータからなり、かつ前記イメージ 手段及びデータ記憶装置からの前記データの複合物であり、前記データ記憶装置 からの前記データが前記イメージ平面の位置及び姿勢に特有のものである請求項 ６に記載の方法。 ８）収集ステップと、 変換ステップと、 位置決定ステップと、 姿勢決定ステップと、 データ呼出ステップと、 処理ステップと、 表示ステップとからなり、 前記収集ステップにおいて、実際の景色の対象が、レンズ及びイメージ平面を 有するカメラによってイメージ化され、収集された前記イメージが前記変換ステ ップにおいて電子信号に変換され、 前記変換ステップにおいて、前記カメラへの光学的入力が前記カメラのイメー ジ平面におけるフォトンイメージから前記処理ステップにおいてコンピュータ処 理可能な形式で電子信号に変換され、 前記位置決定ステップにおいて、前記カメラの位置が決定され、 前記姿勢決定位置において、前記カメラの姿勢が決定され、 前記データ呼出ステップにおいて、データベースからの特定のデータが前記処 理ステップにおいてコンピュータにより呼び出され、前記データが、前記位置決 定ステップ及び前記姿勢決定ステップにおいて決定される前記カメラの位置及び 姿勢に特有のものであり、 前記処理ステップにおいて、前記変換ステップの前記電子信号と前記データ呼 出ステップの前記データとがコンピュータにより処理され、かつ一体に結合され て複合イメージを形成し、 前記表示ステップにおいて、前記複合イメージが、人間の利用者が見ることが できる光学的２次元イメージに変換され、かつ表示されるイメージの上下左右の 方向が前記実際の景色の上下左右と直接対応し、かつ表示される前記イメージ平 面の垂直方向が前記景色の中心の方向を向くことにより、前記実際の景色に整合 しかつ対応するように表示される請求項７に記載の方法。 ９）実際の景色の増補イメージを生成する方法において、前記イメージの上下左 右方向が前記景色の上下左右方向に直接対応し、かつ前記イメージの平面に垂直 な方向が前記景色の中心の方向を向いているように前 記イメージを前記景色に整合させ、本明細書に記載されるステップからなる方法 。