JPH09508765A - 合成立体画像処理システムおよび方法 - Google Patents

Abstract

(57)【要約】 観察者は、眼鏡（３００）を介して、２Ｄビデオ信号（２０）から生成される、フィールド／フレーム多重化された合成３Ｄイメージ（２２）を、一台のモニタ（２００）上で提示される。フィールド／フレーム多重化された合成３Ｄイメージは、変換装置（１００）で生成される。コントローラ（１４０）は、遮るものがない経路（３０）に沿って眼鏡（３００）の左右の視野を、接続ワイヤを必要とせずに、制御する。幅広い範囲の入力ソースが、変換のために２Ｄ入力信号（２０）を提供することができる。結果として生じる合成３Ｄイメージは、特に、ビデオ・イメージのリアルで正確かつ視覚的に快い３Ｄ視覚化を必要とする医療その他の目的に適しており、例えば、極微手術などにおいて、長時間連続して実施される複雑なナビゲーションおよび手技による処置を可能にするのに適している。

Description

【発明の詳細な説明】 合成立体画像処理システムおよび方法 技術分野 本発明は、医療環境での使用を含めた多くの使用のため、２次元ビデオ画像か ら３次元画像を合成するシステムを目的とし、特に、デジタル処理を使って２次 元ビデオ信号をリアルな３次元イメージに変換するシステムに関する。さらに特 定すると、本発明は、単独のカメラのようなソースから正確な３次元イメージを 医療スタッフに視覚的に提示することを目的とする。本発明は、特に、空間的理 由から、腹腔鏡手術（laparoscopic surgery）で使用される内視鏡カメラ（endo scopic camera）のような一台の小型カメラしか使用できない場合に有効である 。 発明の背景 リアルで高精度の３Ｄビデオは、娯楽、ビジネス、産業および研究において有 用である。極微侵襲性手術（minimally invasive surgery）、例えば、内視鏡及 び腹腔鏡手術の分野では、これらの処置を実行する外科医は、ビデオ・モニタ上 で見る画像によって完全に誘導されるため、リアルで高精度な３Ｄ画像は特に重 要である。産業、研究および医学における精度は、医療上の切開および縫合処置 のような複雑な操作を実行するため、ならび に組織および器官構造の中および間で安全にナビゲートするために必要となる。 等しく重要な点は、３Ｄビデオ画像は、視聴装置（viewing system）によるスト レスや目の緊張なしに、長時間（ビジネス、産業および研究分野での８時間、及 び、手術処置による大きなストレス下での最高３〜４時間またはそれ以上）見る のに快いものでなければならない。さらに、複数の人、またはオフィス、工場、 実験室若しくは手術室内の（またはそれらから離れた）複数の場所で見ることが できる、１台または複数台のカラー・モニタで３Ｄ表示を見ることができるのが 望ましい。また、テレビ会議、工場監視、研究協力のため、および遠隔の専門家 による医療相談のため、あるいはライブで医学生が見るために必要となるであろ う、離れたところで見るために３Ｄ信号を伝送できることも優位点である。 従来の立体知覚（stereoscopy）は、２枚のレンズまたは２台のカメラのよう な双眼システム（binocular system）を一般に利用し、２チャネルの視覚情報を 生成する。これらのシステムで深さ知覚（depth perception）を生み出す重大な 要因とは、２つの入力チャネルの空間的なオフセット（offset）によりもたらさ れる空間的なパララックス（parallax）である。「パララックス」とは、互いに 空間的にオフセットされる（人間の目のような）２枚のレンズで同じオブジェク トまたは場面を見るときに遭遇する空間的な向きと配景（perspective）の差異 の ことである。視聴者がかける眼鏡に「受動的に」偏光した又は異なる色が付けら れたビュー・レンズを使ったツイン・スクリーン・ディスプレイを活用するシス テムや、シングル・ディスプレイ・スクリーンを利用するフィールドまたはフレ ーム多重化システム、デュアル液晶スクリーン又はデュアルＣＲＴが視聴者の頭 に付けられるアセンブリに内蔵される「バーチャル・リアリティ」システムで一 般的に使用されるもののようなヘッドマウント・ディスプレイ、投射（projecti on）システム、および眼鏡を必要としない自動立体画像システムを含む、立体画 像システムの多くの異なる実施例がこれまで開発されてきた。 また、入力２次元（２Ｄ）ビデオ信号を立体表示に適した形式に変換するシス テムを開発する試みもなされてきた。これらは、入力イメージを視覚情報の２つ の別個のチャネルに分割するために働くさまざまな機械的、電気的、および電気 光学的な装置並びに手順を活用してきた。 今までのところ、立体３次元（３Ｄ）ビデオを作成するために開発された従来 技術による方法およびシステムが、娯楽や、多くのビジネス、製造及び研究使用 、並びに生物医学分野で許容できるものになっているとは言えない。この状況は 、通常、高性能ワークステーション・コンピュータで実行されるソフトウェアを 利用して、複雑な分子構造のコンピュータ・グラフィックス・イメー ジの立体視覚化が日常的となっている生化学分野などで商業的な成功をおさめた コンピュータ生成グラフィックスの立体表示と対照的である。 前記した許容されていない理由は多面的であり、システムの複雑度、費用およ びこれらのシステムを利用する視聴者により経験されることがある生理的な困難 性が含まれる。 入力に２枚のレンズを利用するシステムでの高品質立体画像ビデオを作成する のに必要な重要な技術的な要因は、イメージ情報の２つのチャネルの適切な位置 合わせ（alignment）の維持である。既知システムの外部レンズまたはカメラは 、適切に位置合わせされなければならず、信号は、システム・エレクトロニクス またはオプティクスにより処理される際、その正確な位置合わせ関係を維持しな ければならない。ツイン・スクリーン表示システムは、特に、ミスアラインメン ト問題に陥りやすいことが知られている。ツイン・スクリーン・システムは、巨 大で扱いにくい傾向もある。フィールド／フレーム多重化方法のようなシングル ・スクリーンによる解決策は、デュアル・ディスプレイ・モニタの利用に付随す る問題を最小限に抑えるが、依然として入力カメラの位置合わせの精度に依存す る。 多重化シングル・スクリーン・ステレオ映像を娯楽分野で実現したものの１つ が、日本のセガ社（SEGA Corp.）により最近市場に出されたステレオ・ビデオ・ ゲーム・ システムである。このビデオ・ゲーム・システムは、従来のアナログ・テレビ・ モニタでの６０ヘルツ・ディスプレイの使用に基づいている。このようなシステ ムは、片方の目で毎秒１５ビデオ・フレームしか受け取らないため、深刻なフリ ッカーが生じやすい。フリッカーおよびそれに伴う痙攣的な動きは、ストレスと 目の緊張につながり、ビジネス、産業、研究および手術室などで使用するには適 さない。 高品質ステレオ映像を作るのに直接関連する他の変数には、ピクチャ解像度、 明度、および色再生、ディスプレイ又は処理構造の存在、ならびに視野の幅およ び深さが含まれる。例えば、自動立体画像方法は、まだ解像度の問題およびビジ ネスや医療でしばしば必要とされる複数の視聴者に満足の行く視野領域（viewin g zone）を提供するという問題を克服していない。 従来の立体知覚の商業的な成功を制限する要因は、これらのシステムを利用す る視聴者の内の非常に多くのものが体験する目の緊張、頭痛、および吐き気を含 む不都合な身体反応であった。例としては、１９５０年代および６０年代に一時 的に人気のあった３Ｄ映画が挙げられる。今日でも限られた数の３Ｄ映画の製作 は続いており、テーマ・パークや類似した場所で人気があるが、これらの映画は 、一般的には約３０分以内の長さに制限されている。これは、平均的な視聴者の これらのメディアに対する忍耐力が限られているためである。視聴者の忍耐力 の問題は、従来の立体知覚の方法論に本質的なものであり、これらのシステムが 人間の視覚系の動作をリアルにエミュレートできないことから生じる。このよう なシステムは、人間の脳の中心的な役割、および効果的な視覚処理のために脳の 中で利用される神経の協力を説明できないことによっても制限される。この点の 本発明への関連については、以下に詳説する。 本発明の効率的な変換システムは、非常にリアルで正確かつ視覚的に心地よい ３Ｄビデオ・イメージを単独カメラ・ソースから実質上リアルタイムで作成する ことができる。これは、いくつかの理由から有利である。まず第１に、本発明は 、従来の立体知覚に付随する前記の制限を受けづらい「合成された」立体画像ビ デオ提示を作成する。第２に、この合成ステレオに基づいたシステムは、ビジネ ス、産業、および研究で使用されるようなほとんどすべての既存の単独カメラ・ ビデオ・システム、特に既存の生物医学ビデオ（つまり、内視鏡検査、顕微鏡検 査、その他）システムと自動的に互換性を有する。というのも、これらは、通常 の２Ｄディスプレイ・モニタを駆動するのと同じ２Ｄビデオ入力信号を入力信号 として必要とするからである。 ２次元ソースから３次元イメージを合成する別の方法には、英国ロンドンのデ ルタ・システムズ・デザイン社（Delta Systems Design，Ltd.）およびアベスコ （Avesco）の部門であるＡＶＳの「ディープビジョン」システ ムが含まれる。このシステムは、２次元ビデオ・ソースから３次元ビューを作り 出すために、３つのメカニズム：連続ビデオ・フレームの空間オフセットからの 空間パララックス（spatial parallax）と、隣接フレームから空間的パララック スへの運動転位オブジェクト（motion-displaced objects）の変換（translatio n）から生じる「時間パララックス（temporal parallax）」と、連続するビデオ ・フレーム間で課される時間遅延から生じる「短期視覚メモリ（short-term vis ual memory）」とを利用すると考えられている。 以前のディープビジョン・システムで利用されたビデオ・イメージの処理は、 従来のビデオ立体知覚で利用されたものと対照的である。前記のように、従来の 立体知覚は、一般的に、２枚のレンズや２台のカメラの使用などの双眼システム を利用し、２つのチャネルの視覚情報を作成してきた。これらのシステムで深さ 知覚を作り出す重大な要因は、２つの入力チャネルの提示の空間オフセットによ り引き起こされる空間パララックスである。双眼パララックスが、深さが改善し たイメージを作成するための十分条件であることは明かであるが、ディープビジ ョン処理アプローチは、それが必要条件ではないことを示している。ディープビ ジョンは、今までのところは真価を認められていない「深さキュー（depth cues ）」を操作することで、深さが改善されたイメージを１つの単眼ソース（monocu lar source）から作成する。特に、 これらの「深さキュー」には動きおよび視覚の持続性、つまり「記憶」が含まれ る。初期のディープビジョン方式は、深さ知覚において活発である双眼パララッ クス情報の処理に含まれるものに加えて、人間の目−脳システムに神経機構が明 らかに存在することを示している。 初期のディープビジョン・システムで作り出されたビデオ・イメージの品質は 、いくつかの点で双眼ステレオ・ビデオ・イメージとは異なることが観測されて いる。多くの観測者は、単眼ソースから導出される３Ｄディープビジョン・ビデ オ・イメージと、双眼ソースからの従来の３Ｄビデオ・イメージとを区別できな かったが、ある種の場面で深さが少なく見える、又は、ディープビジョンのイメ ージは、表示スクリーンの面上または面の後ろにあるように見えるが、双眼ステ レオでは有り得るように、スクリーンの前にあるようには決して見えないとコメ ントした人達もいる。これらの相違点は、やはりこれらの２つの様式での３Ｄイ メージを作り出す際に利用される異なる方法に起因する。 双眼ステレオの強みは、「集束のゾーン（zone of convergence）」、つまり ２つのビュー要素（レンズやカメラ）のそれぞれのビュー・ゾーンの重複部分に より規定される領域内で一貫した深さの改善を作り出すその能力にある。しかし 、両眼の焦点をすばやく適応させ、別のビュー深さに対して連続して軸方向の調 整ができる人間の視覚とは異なり、双眼ステレオビジョンの２つのカメ ラ軸は固定されており、このような軸方向での調整機能はこれらのステレオ・ビ ジョン・システムには見られない。したがって、集束ゾーン外で見られるオブジ ェクトは歪んで見える可能性があり、視聴者に目の緊張を生み出す。 対照的に、単眼ディープビジョン・ビデオは、固定された集束ゾーンは提供し ない。このため、目の緊張なく、所定場面内で自由に視聴者の集中を移動させる ことができるが、認識された深さ感は、必ずしも一貫しているようには見えない ことがあり、特に、視野に急速なシフトがあったり、急速な動きがある場面にお いてそうである。 見られているイメージにおける動作の不自然な痙攣や断続的な表れとして見ら れる「運動構造（motion artifacts）」は、以前のディープビジョン・システム において連続するビデオ・フレーム・イメージ間で急速な動作が発生するときに 、ときおり観測することができる。３次元効果の差異は、ＮＴＳＣ方式を実装す るシステムと比較して、ＰＡＬ仕様を実装するシステムで見られるとき、同じ場 面のイメージでも変化する場合がある。これは、この２つのシステムでのフレー ム間での遅延がさらに長いためである。 既存のビデオ・ステレオ・システムの更なる制限は、これらのシステムと現代 コンピュータ技術との統合の欠如である。これらのシステムは、３Ｄ機能を有し た完全なデジタル・コンピュータ・ベースのシステムとしてと いうよりは、「改善された」テレビ・システムとして作られてきた。 発明の要約 本発明は、研究および生物医学のような重大な使命を帯びたアプリケーション 用、特に極微侵襲性手術のようなリアル高精度分野用の２Ｄ−３Ｄシステムを最 適化するため、前記ディープビジョン・ビデオ処理システムに対する改良に基づ いている。これらのシステムは、本明細書中のいくつかの実施例において記載さ れているが、当業者には、３Ｄ立体画像ビデオ出力の生成に対する根本的に異な るアプローチを提供するものとして理解されるであろう。本発明は、単独チャネ ルのビデオ入力信号を、２チャネルの処理された信号出力に変換するデジタル処 理を利用する。そして、これらの信号は、従来のビデオ立体知覚の技術で一般的 ないくつかの技法の１つを使用して表示される。 本発明は、デジタル・ビデオ処理に基づいているが、従来のステレオ・ビデオ は、限られたデジタル方式を利用することもあるが、基本的にはアナログ・ビデ オ処理に基づいている。本発明は、３Ｄシステムの完全にデジタル化された実施 例の構築を意図する。この本発明の実施例については、以下に詳細に説明する。 単独ソースの２次元イメージをカラー・モニタで表示される３次元イメージに 変換できることは、顕微鏡検査、 医学教育、医学テレビ会議、および遠隔放射線学を含む関連する生物医学分野で もきわめて望ましいものである。 本発明により可能とされる、標準的なビデオ・ソースから３Ｄへのリアルタイ ム変換機能のもう一つの優位点とは、ＶＨＳビデオテープ、レーザディスク、お よびＣＤ／ＣＤ−ＲＯＭ媒体等、ほとんどすべての従来のビデオ記憶媒体とイン タフェースすることができることである。入力２Ｄビデオ信号は、実質上「リア ルタイム」モードで、変換のため、圧縮、（電話回線によってのような）伝送、 および解凍（decompressed）されることもできる。他の既知立体画像ビデオ・シ ステムでは、標準記録媒体での記録および再生を可能とするために複雑なエレク トロニクスが必要となる。これは、従来のステレオ・システムが２チャネルのビ デオ信号情報に基づいているためである。したがって、例えば、従来のＶＨＳビ デオ・レコーダで録画・再生するために、２つのチャネルを単独のチャネルに圧 縮するマルチプレクサおよびデマルチプレクサ回路が必要となる。対照的に、本 発明により標準ビデオ記憶媒体や通信装置からのビデオ信号を処理するのに、エ レクトロニクスを追加する必要はない。ビジネスおよび研究においては、会議や 実験が従来のＶＴＲ機器で録画されることがある。医療用の使用の場合、極微侵 襲性手術を行う外科医等は、通常通り、２Ｄビデオ信号を使用して処置を単に記 録することができる。その後で、この同じ２Ｄビデオ信号は、処置が実施されて いる際、ライブのリアルタイム３Ｄ表示用に変換される。手術処置の完了後（あ るいは希望するときには、処置中の任意の時点で）、医療担当者は、ビデオ・カ メラからライブ信号を受信するのではなく、ＶＴＲ上でビデオ録画を単に再生す るだけでＶＨＳで記録されたビデオを見ることができる。また、本発明を使用す ることにより、すべての既存のＶＨＳテープ媒体の再生、変換、および３Ｄ表示 を行うことができる。 生物医学への応用に限定された実施例と、ビジネス、産業および科学などに幅 広く応用できる他の実施例を含め、本発明の複数の実施例が開示される。一般に 、これらの実施例は、以下に示す３つの主要な機能要素に関して記述される。 （ａ）（標準的な）ビデオ入力信号の高解像度デジタル取得用モジュール （ｂ）後の表示のため、デジタル化された入力信号を３Ｄビデオ・イメージとし て変換するデジタル・プロセッサ・モジュール （ｃ）合成された３Ｄビデオを見るためのディスプレイ装置 当業者は、機能モジュール（ｂ）および（ｃ）は、多岐に渡るやり方で実現で きることがわかるであろう。デジタル・プロセッサ・モジュール（ｂ）は、以下 で詳細に記述される方法に従い、２Ｄ入力ビデオ信号を変換してから、変換され たビデオをそれ以降の３Ｄディスプレ イ用にフォーマットする。ある実施例では、デジタル・プロセッサ・モジュール （ｂ）は、それ以降の３Ｄ表示のために、プログラム命令セット制御下で変換さ れたビデオをフォーマットする。 デジタル・プロセッサ・モジュールは、専用デジタル・ハードウェアや、マイ クロコンピュータおよびワークステーション・コンピュータ用に現在入手できる もののような汎用画像またはイメージ処理カード上でのソフトウェア処理、およ びハードウェアとソフトウェアの両方を活用するハイブリッド・エレクトロニッ ク実装を含むさまざまな方法で実現できる。特殊な例について、以下で説明する 。同様に、ディスプレイ・モジュール（ｃ）は、例えば、ツイン・スクリーン／ ビーム・スプリッタ・オプティクス、シングル・スクリーン・フィールド／フレ ーム多重化自動立体画像システム、投射ディスプレイ、およびバーチャル・リア リティ・システムで使用されるもののようなヘッドマウント・ディスプレイを含 めた、従来の２枚のレンズまたは２台のカメラによる立体画像ビデオ・システム という一般的に知られた形態を取る。 従来技術による装置の前記制限および短所、並びに特に前述されていない他の 不利な点から考えて、正確で、信頼性が高く、非常にリアルな３次元イメージを 単独のカメラのような１つのソースから作り出すためのシステムおよび方法に対 するニーズが、本技術分野において依 然として存在することは明らかなはずである。これは、内視鏡および腹腔鏡を用 いる手術で利用される単独カメラ・ソースから、リアルで高精度な３Ｄイメージ を医療担当者へ提示することにより、救命処置およびライフスタイル救済処置が 可能となる、生物医学分野に特に当てはまる。 したがって、本発明の主要な目的はそのニーズを満たすため、幅広い設定で２ 次元ビデオ・イメージからそれらしい３次元またはステレオ・イメージを合成す るシステムを提供することである。本発明のもう一つの目的は、２次元ビデオ信 号を、単独カメラを用いる腹腔鏡手術に必要とされるような正確かつリアルな３ 次元イメージへ変換できるようにすることである。これは、実質上リアルタイム で達成されなければならない。 簡単に説明すると、前記目的は、本発明に従って、その実施例において、２次 元ビデオ信号のソースと、ソース・ビデオ信号をフィールド（またはフレーム） 多重化された３次元シングル・スクリーン・ディスプレイ信号に変換する装置と 、フィールド多重化ビデオ信号を人間が見ることができる形式で画像化するビデ オ・ディスプレイ装置と、交互に遮断することによりビデオ・ディスプレイを左 目、右目で交互に見るために適用された（帽子やヘルメットに取付けられる）液 晶光伝導眼鏡と、眼鏡の左目、右目の交互の遮断を制御する装置とを含む立体画 像処理システムを提供することにより達成される。 これは、（標準的なＰＡＬ、ＮＴＳＣまたは同等なビデオのような）２次元ソ ース・ビデオ信号の取得およびデジタル化のステップと、デジタル・エレクトロ ニクス実装および深さ情報を改善するためのディープビジョン・プロセスに加え られる改良のステップと、一方が見るために交互に右目に伝達され、他方が続い て左目に伝達される、２つのチャネルの電子的処理がされたビデオを作成するス テップと、電子的に処理されたビデオ信号をフレームまたはフィールド多重化さ れた立体画像ディスプレイ信号に変換するステップと、人間が見ることができる 形式でシングル・スクリーン・ビデオ・ディスプレイに多重化されたビデオ信号 を表示するステップと、左目・右目で交互に見るために適合された眼鏡または類 似物を用いてビデオ・ディスプレイを見るステップと、フレームまたはフィール ド多重化されたビデオ信号の表示と同期して眼鏡の左目と右目の交互の遮断を制 御するステップとを含む方法により達成される。 計器のスイッチの設定を選択することにより、通常の２Ｄで画像を見ることが できることは、本発明の利点である。つまり、２Ｄ−３Ｄ変換装置に障害が生じ た場合にも、医療処置は従来の２Ｄ表示を使用することにより続行できる。 完全デジタル３Ｄビデオ画像処理システムの重要性は、従来のビデオ技術とデ ジタル・コンピュータ技術の統合に向かう現在の傾向を想起させる。現代のコン ピュータ ・プラットホームに基づいた３Ｄビデオ機能を備えた合成立体画像処理システム （synthesized stereoscopic imaging system）は、新しいハードウェアのモジ ュール的な追加か、あるいはソフトウェアのみの更新により、技術の進展ととも に継続的に更新することができる。さらに、このような「マルチメディア」コン ピュータ・ベース・システムは、認識されている将来のビジネス、産業、研究お よび生物医学の分野でますます重要になると考えられる、拡大を続ける一連の新 技術に統合が可能な実際的な技術として３Ｄビデオ画像処理を提供する。これら の分野は、１０年以上に渡ってコンピュータ化された技術を適用してきており、 この傾向は続いている。例えば、極微侵襲性手術は、ロボットにより制御される 計装、位置および動きの追跡調査用のいわゆる「スマート・センサ」、医療上の 記録および患者の記録へのオンライン・アクセスなどのためのデジタル・ネット ワーク接続、コンピュータ断層撮影像（ＣＴ）等の複数の様式からの画像化レコ ードを統合するイメージ情報フュージョン、磁気共鳴画像処理（ＭＲＩ）、およ び超音波を含む多様なコンピュータ化された技術を近い将来取り入れることがで きる。これらの機能は、強力な小型ＰＣやワークステーション・コンピュータに より手術室用に調整することができる。３Ｄ画像機能は、このコンピュータの特 徴的な機能にもなりうる。 以下に明らかになるであろう本発明の前記およびそれ 以外の目的、優位点および特徴と共に、本発明の性質は、以下に示す本発明の詳 細な説明、添付される請求の範囲、および添付図面に示される複数の図面を参照 することによりさらに明確に理解できる。 図面の簡単な説明 図１は、使用時の本発明の簡略図である。 図２は、本発明の１つの実施例の簡略化したブロック図である。 図３は、本発明の別の実施例の簡略化したブロック図である。 図４は、３Ｄへ変換せずに処理された２Ｄビデオの通常のシーケンスを図によ り表したものである。 図５は、それぞれの目に別個のストリームを提供するためのビデオの時間多重 化を図解するものである。 図６は、フレームからフレームへの時間表示を取り入れて、格納バッファでの ビデオ・フレーム取得、コピー・バッファ、および、表示バッファからの空間オ フセットのある多重表示を時間的に図解したものである。 図７は、図６のプロセスに関連するプログラム命令セットのステップの記述で ある。 図８Ａ、図８Ｂ、および図８Ｃは、異なる時間オフセットを有するビデオ・フ ィールドの時間多重化を図解するものである。 図９は、図７のプロセスを実現するための循環キュー 構造の状態空間記述である。 実施例の詳細な説明 本発明の３次元医療用画像処理システムは、本発明の第１の実施例１０の一般 的な使用が図解される図１および図２を参照することにより大まかに理解できる 。 ビデオ信号ソース１２は、イメージ、特にイメージのシーケンスを表す２次元 （２Ｄ）アナログ出力信号をシステムに提供する。一般的なソース装置は、出力 信号を作り出すビデオ・レコーダ１４と、腹腔鏡、内視鏡または他の医療用カメ ラを含む、場面１８を見るビデオ・カメラ１６と、ビデオ・スキャナ（不図示） あるいは２Ｄソース・ビデオ信号２０を作り出す機能を持つ他の同等な装置とを 具備する。なお、ここでの説明はおもにＮＴＳＣ形式またはＰＡＬ形式のアナロ グビデオ信号を対象としているが、当業者には既知であるように、アナログおよ びデジタルの両方を含む他の信号形式も使用することができる。 アナログビデオ信号２０は、モニタ２００で表示するために、ソース・ビデオ 信号２０をフィールド多重化された３次元シングル・スクリーン・ディスプレイ 信号２２に変換する変換装置１００に向けられる。変換器１００要素の構成およ び動作の変形に向けられる、本発明の異なる実施例については、以下に詳細に説 明する。 特殊な液晶光伝導／遮断眼鏡（liquid-crystal light -conducting/shuttering viewing glasses）３００をかけていない人は、ぼんや りした、みかけ上焦点が合っていない従来の２Ｄイメージを見る。変換装置ユニ ット１００上にあるスイッチ（不図示）により、ユーザは、通常の２Ｄビデオ・ イメージとして場面を見るために、２Ｄ−３Ｄ変換を迂回することができる。し かし、眼鏡３００をかけている観測者２６は、眼鏡３００の左目のレンズと右目 のレンズの遮断、したがって、観測者の視界を、観測者２６および眼鏡３００に 向けられる信号３０に従って制御する特殊な液晶デバイス・コントローラ１４０ の制御のもと、表示経路２８に沿って見られるシミュレートされた３次元（３Ｄ ）イメージとして、モニタ２００のイメージを見ることができるようになる。 眼鏡３００は、当業者には既知であり、条件にあうと考えられる液晶光伝導眼 鏡の出所の一つは、カリフォルニア州サンラファエルにあるステレオグラフィッ クス社（Stereograhics Corporation）である。米国特許番号４，８８４，８７ ６は、眼鏡３００の動作を説明する。個々のレンズは、ヘルメットや類似したビ ュー装置のような他のヘッドギヤに取り付けることもできる。 ここで、図２に示される本発明の第１実施例１０において図解される変換装置 １００の更なる詳細に目を向けると、アナログ−デジタル（Ａ／Ｄ）ビデオ信号 変換回路１１０が、ソース・ビデオ信号２０を受け取るのが示されている。８ビ ットまたは２４ビットのＡ／Ｄ変換を 使用することができ、２４ビット変換は、従来のアナログ・テレビ受像器で提供 されるフルカラー表示と同等な「真の色の（true-color）」デジタル表示を提供 する。当業者は、ビデオ技術の発展に伴い、図２に記述される電子モジュールが スタンドアロンの商業的に利用できる電子製品として存在する場合もあれば、カ スタム回路として実装される場合もあることを認識するであろう。 信号ライン１１２上の変換装置１１０からのデジタル化された出力は、ディー プビジョン信号プロセッサ１２０に向けられる。デルタ・システム・デザイン社 （英国ロンドンＷＣ２）からのライセンスの下で生産され、英国ロンドンのアベ スコの部門であるＡＶＳから入手できるディープビジョン制御装置モジュールが 適していることが実験的な使用でわかった。この装置は、特許協力条約の規定の 元で出版された世界知的所有権機関の刊行物ＷＯ９２／１１７３５、ＷＯ９２／ ０３０２１、およびＷＯ９０／１３８４８にさらに詳細に説明されている。ディ ープビジョン・プロセッサ１２０は、デジタル化されたビデオ・フレームの記憶 のためのイメージ・バッファ、並びにライン１１２上の入力デジタル・ビデオ信 号を、時間転位され（time displaced）、イメージ・シフトされたビデオ情報に 変換する回路を具備するデジタル画像処理回路である。変換装置１１０の適切な 同期された動作を保証するために必要となるタイミング信号は、同期パルス生成 器（ＳＰＧ）などの特殊化されたプログ ラマブル・タイミング・チップまたはマイクロプロセッサにより提供される。 ディープビジョン・プロセッサ１２０と協力して、さまざまな時間関係を判断 し、プロセッサ１２０により必要とされるある種の時間ベースのクロック信号を 生成するための時間ベース訂正回路１２２がある種の実施例で必要となる。本発 明では、カリフォルニア州キャンベルのＨＯＴＲＯＮＩＣＳ、ＡＰ−４１型時間 ベース訂正器が使用された。機能上、時間ベース訂正器は、特にＶＨＳビデオ信 号向けに、フレーム登録訂正（frame registration correction）を行う。プロ セッサ１２０からの入力信号が、ライン１１４で受信され、処理され、フレーム 登録訂正出力信号がライン１１６上をプロセッサ１２０へ送られる。ディープビ ジョン・プロセッサ１２０の出力は、ライン１１８上に提供される。 フィールド／フレーム多重ビデオ・コントローラ１３０は、ライン２２を経由 してディスプレイ・モニタ２００用のデジタル電子インタフェースおよびドライ バ回路として働く。当業者にはわかるように、このモジュールはビデオ・フィー ルドにて動作する場合もあれば、フル・ビデオ・フレームにて動作する場合もあ る。フィールド／フレーム多重コントローラは、ディスプレイ・モニタ２００へ の読み出しの前にデジタル・ビデオ信号を記憶するビデオ・フレーム・バッファ から構成される。フィールド／フレーム多重ビデオ・コントローラ１３０は、 ビデオ信号の一部として、通常の垂直リフレッシュ速度の２倍の速度（例えば、 ＮＴＳＣビデオに対して毎秒１２０ヘルツ）でディスプレイ・モニタ２００を駆 動するために必要なライン２２上のタイミング信号も生成する。ビデオ・コント ローラ１３０は、各標準表示間隔で左チャネル出力および右チャネル出力に対し て、２つまたはそれ以上の完全なイメージを記憶する。フィールド多重化ビデオ ・コントローラ１３０からエミッタ制御出力として接続されるステレオ・ビデオ ・ディスプレイ・コントローラ１４０（米国サンラファエルのステレオグラフィ ックス社）は、ライン２４で制御信号を受信する。液晶デバイス・コントローラ １４０は、次いで、視聴者の眼鏡３００の左目／右目シャッター切替えのために 液晶レンズを制御するエミッタ装置（emitter device）である。 フィールド多重化されたビデオ信号は、見るために信号ライン２２上を、モニ タ２００に出力される。水平スキャニングおよび垂直スキャニングのさまざまな 組み合わせを本発明とともに使用できるが、左チャネル出力および右チャネル出 力が毎秒６０フィールドまたは毎秒３０フレームとなる１２０ヘルツ垂直および ３７．５キロヘルツという典型的なスキャン速度が有効であると考えられている 。ソニーの２０３６Ｓ型や２０３８型のようなマルチ・シンク・モニタは、本発 明１０により２Ｄイメージから合成される３Ｄイメージを見るのに適当であ ると考えられる。（対角線の測定で）２０インチのモニタ２００は、大部分のビ ジネス、製造、研究および、手術室での場合のような医療用の使用に適切である と考えられる。複数のモニタ２００を利用することができる。当業者には既知で あるように、個々で見るためには、小型の個別ビデオ・ディスプレイが使用され 、グループで見るには、大型モニタやプロジェクション・ビューア（projection viewers）が使用される。 変換処理を最適化し、表示されるイメージの解像度を改善するためにマイクロ コンピュータおよびデジタル・イメージ・プロセッサを使用する、本発明の３次 元医療用画像処理システムの別の実施例４０が、図３に詳細に示される。汎用小 型コンピュータやワークステーションをもとにして構築できるこのシステムは、 ソフトウェア制御によりさらに最適化することができる。 ２Ｄビデオ・イメージ信号、特にイメージのシーケンスのソース１２は、前記 の第１の実施例での場合のようにシステムに供給される。ここでも、典型的なア ナログ・ビデオ・イメージ・ソース装置は、出力信号を生成するビデオ・レコー ダ１４、ビデオ・カメラ１６または２Ｄソース・ビデオ信号２０を生成する機能 を持つ他の同等な装置を具備する。アナログ・ビデオ信号は、ＮＴＳＣまたはＰ ＡＬ（あるいな同等な）形式で提供され得る。ここでも、当業者には既知である ように、アナログおよびデジタルの両方を含む他の形式を使用することができ る。 アナログ・ビデオ信号２０は、モニタ２００で表示するために、ソース・ビデ オ信号２０を時間多重化された３次元シングル・スクリーン表示信号２２に変換 する２Ｄ−３Ｄ変換装置４００に向けられる。 ３次元医療用画像処理システム４０のこの第２実施例では、完全デジタル処理 （all-digital processing）が２Ｄ−３Ｄ変換装置４００のデジタル化された２ Ｄ信号に適用される。デジタル画像処理プロセッサ４０２は、通常、プログラマ ブルであり、自己のオンボード中央処理装置（ＣＰＵ）によるローカル制御の下 に動作するか、あるいは、ホスト・コンピュータ４０８の制御の下に動作する。 このアーキテクチャは一般的であり、従来のマイクロコンピュータやワークステ ーション・コンピュータへのアドイン回路としてさまざまな回路モジュールによ り実現できる。 ２Ｄアナログ・ビデオ信号２０は、ＮＴＳＣ、ＰＡＬ、Ｓ−ＶＨＳまたはＹ／ Ｃ互換信号入力から２４ビットのカラー・デジタル化を行う高解像度ビデオＡ／ Ｄ変換回路４０４でデジタル化される。出願人は、ビデオ信号のリアルタイム・ カラー空間変換（ＲＧＢ−ＨＳＩ−ＹＩＱ）は、適切に装備されたデジタイザで も実行できることを注記する。デジタイザ４０４での変換後、デジタル・ビデオ 信号４０６がデジタイザから出力される。 デジタル・ビデオ信号４０６は、デジタル画像処理プ ロセッサ、通常は、プログラマブル・デジタル画像処理プロセッサ４０２で処理 される。現在説明中の実施例の場合、カナダ、モントリオールのマトロックス社 （Matrox Co.）のＩＭ−１２８０型または同等なイメージ・プロセッサが、多数 の製造メーカーからのインテル４８６またはペンティアム・シリーズ（あるいは 当業者には既知の同等なもの）のマイクロプロセッサ・チップで提供されるよう な、３２ビット以上のバス容量を持つマイクロコンピュータ４０８であり得る高 速小型コンピュータの制御下で使用される。ＩＭ−１２８０イメージ・プロセッ サは、マイクロコンピュータ・バスを経由してホスト・マイクロコンピュータ４ ０８のＣＰＵと通信する標準サイズのＰＣマイクロコンピュータ・カード上に供 給され得る。動作中、画像処理プロセッサ・カード自体は、ホスト・コンピュー タのデータ格納領域４１２からメモリ４１４へ読み出されローカルに記憶され得 るプログラム命令セット４１０に従い、命令を実行する。これらの命令は、イメ ージ・プロセッサ・ボード上にあるＣＰＵのローカル制御の下で実行される。ボ ード上の命令およびデータは、高バンド幅のローカル・バスで伝送される。バス 幅が３２ビット以上のバスが望ましい。当業者には、それ以外の通信チャネルも 適切なバス規格で使用できることがわかるであろう。デジタル化された信号４０ ６は、画像処理プロセッサ４０２への入力に伝達される。ライン４０６上のデジ タル化されたビデオ出力は、連続する ビデオ・フレームのデータのストリームを構成する。 デジタル画像処理プロセッサ４０２は、制御入力およびそれ以外の信号を信号 線４１６にてマイクロコンピュータ４０８から受信する一方、制御出力およびそ れ以外の信号を信号線４１８にてマイクロコンピュータに伝達する。信号線４０ ６にて受信される連続的なデジタル化されたビデオ・フレームのストリームはコ ンピュータ制御のもと処理され、ビデオ・ディスプレイ・モニタ２００で表示す る前に、ビデオ表示出力バッファ４２０に記憶される時間的および空間的にオフ セットされた一連のビデオ・フレーム・イメージを提供する。ある実装形式では 、ソフトウェア・ベースの信号処理が、循環キュー（circular queue）として知 られるデータ構造を活用するが、これは後に説明される。フレーム・イメージ・ データは、循環キューに一時的に記憶されるデータの中から選択され、信号線４ ２２上の出力としてビデオ・フレーム・バッファ４２０へ提供される。 前記したように、液晶光制御眼鏡３００を介して左目／右目の遮断を制御する 液晶デバイス・コントローラ１４０を制御するためのデバイス・コントローラ信 号も、信号線４２４上に（画像処理プロセッサ４０２により）提供される。 マイクロコンピュータ４０８は、通常通り、メモリ４１４、（ディスク・ドラ イブなどの）記憶装置４１２、並びにキーボードおよびローカルＰＣモニタ４２ ８を含 む入出力機能４２６が装備される。通常は、マイクロコンピュータ内のプログラ ム命令セットに対して準備が行われ、ここで、このデータ・セットは、長期間、 容易にアクセスできるように、ディスクまたはその他の同等な記憶装置に常駐で きる。当業者には既知であるように、揮発性または不揮発性のいずれか、又はそ の両方である長期記憶領域を含むことを意図されたデータ記憶装置４１２は、信 号線４３０にてマイクロコンピュータ４０８と通信し、メモリ４１４はライン４ ３２にて通信する。ヒューマン・マシン・インタフェースを含む他の通信は、こ こではＩ／Ｏブロック４２６により表わされ、特に、マイクロコンピュータ４０ ８の操作のためのキーボード（不図示）およびローカル・モニタ４２８を含む。 信号線４０６では、連続デジタル化ビデオ・フレームの（ＮＴＳＣビデオに対 して）毎秒３０フレーム（Ｆｐｓ）のストリームがアナログ・デジタル変換装置 ４０４から出力される。図４に図示される通常の２Ｄ表示の場合、入力ビデオ・ フレームのストリーム、Ｆ１、Ｆ２、Ｆ３．．．は受信され、格納バッファ４５ ０に記憶され、表示バッファ４５２に転送されてから、モニタ２００にスキャン ・アウトされる前に、デジタルからアナログ・データに再変換される。各フレー ムが２つの交互のフィールドから構成されるため、ＮＴＳＣビデオ信号の表示速 度（display rate）は毎秒６０フィールド（ｆｐｓ）である。すなわち、第１イ メージを形成するすべての （例えば）奇数番号が付けられた水平トレース・ラインが通信されてから、すべ ての偶数番号が付けられた水平トレース・ラインが通信される。第１フィールド および第２フィールドのラインはディスプレイにおいて６０ヘルツでインターレ ースされ、３０ヘルツの速度で表示される完全な高解像度フレームを提供する。 言うまでもなく、ＰＡＬ速度は、それぞれ５０ヘルツと７５ヘルツである。フィ ールドは、順々にディスプレイ・バッファからモニタにスキャン・アウトされる だけである。 「ライン二重化（line-doubling）」またはそれ以外の匹敵する技法を使用し て、インターレースされたビデオ信号を、インターレースされていない信号に変 換する機能を提供する高性能ビデオ・デジタイザが知られている。ライン二重化 法は、実際上、ビデオ・システムのフレーム速度を２倍に、つまり、３０Ｆｐｓ ではなく６０Ｆｐｓにする。これらのシステムを用いると、イメージ・データの フル・フレームが格納バッファ４５０から表示バッファ４５２に移動され、アナ ログ・データへの再変換後にモニタにスキャン・アウトされる。 本発明は、時間多重化表示法を活用する。従来のステレオ・ビデオ画像処理に 適用される表示の時間多重化方法では、双眼視覚装置（binocular vision appar atus）内の各レンズまたはカメラから来る２つの入信（incoming）ビデオ・スト リームがあるので、双眼視覚装置（binocular vision apparatus）内の各レンズ またはカメラ 及びそれぞれの目は、ビデオ情報の１つのストリームを受け取る。時間多重化シ ステムにおいては、２つのフィールドまたはフレームのビデオ情報が表示バッフ ァに記憶され、ディスプレイにスキャン・アウトされ、ディスプレイは、その通 常の２倍のリフレッシュ速度で駆動される。したがって、１スキャン間隔、つま り１フィールドまたはフレーム期間中に、２フィールドまたはフレームのビデオ が、それぞれ目に１つづつ、スキャン・アウトされる。これらのシステムには、 例えば、左目が常に時間多重化イメージの最初のイメージを見て、２番目の目が 各表示間隔で第２イメージを見るように、表示されたビデオを適切に復号化する ための同期シャッター眼鏡が必要となる。本発明は時間多重化も使用するが、図 ５に図示されるように、本発明では、それぞれの目が、本発明の３Ｄ合成処理方 法に従って変更される、つまり空間的にオフセットおよび時間的にオフセット（ つまり時間遅延）される、単独入力ビデオ・ストリームのその自身のコピーを見 る。 次に、合成３Ｄ立体ビデオ・システムを実現するために使用される基本的な処 理方法を、ビデオの時間多重化を示す図（図５）、時間図（time-line diagram ）（図６）、処理シーケンスのステップの表形式のリスティング（図７）、およ びフィールド多重化形式の処理を利用して、左目ストリームと右目ストリームの 間の時間遅延を変更する基本的な処理方法の変型の説明（図８）を参照して 説明する。 この処理に必要とされる基本的要素は図５に示され、同図は、連続ビデオ・フ レーム、Ｆ１、Ｆ２、Ｆ３．．．から成る入力ビデオ・ストリームと、入力ビデ オ・ストリームが事前に決定された順序でその中を通過する、格納バッファ４５ ０、コピー・バッファ４５４、およびディスプレイ・バッファ４５２として示さ れる３つの別々のイメージ・バッファを示す。図６は、ビデオ・フレームの入力 シーケンスに適用される処理の時間的表示を表す。この処理を調整する「クロッ ク」は、入力ビデオ信号のタイミング、つまりＮＴＳＣビデオの場合は３０Ｆｐ ｓ、つまり入力ビデオ・フレームごとに１／３０秒（ＰＡＬビデオの場合は２５ Ｆｐｓ、つまりＰＡＬ入力ビデオ・フレームごとに１／２５秒）、から導出され る。利用される特定のハードウェア・エレクトロニクス構成（第１実施例）また はソフトウェア処理技法（第２実施例）に応じて、３Ｄディスプレイ用にビデオ ・データを符号化し、３Ｄディスプレイ用にビデオ・データをフォーマットする ために使用される動作は、ビデオ・フィールド（１／２フレーム）または完全な ビデオ・フレームのどちらかを、このような処理が実行される基本的なイメージ ・エンティティとして使用できる。合成立体ビデオ画像の生成に利用される基本 的な処理シーケンスについての以下の説明は、フィールド処理またはフレーム処 理のいずれにもに等しく当てはまる。 ３Ｄディスプレイの提示用に結果として生じる信号を符号化するため、２つの 基本的操作が入信ビデオ・データに実行される。これらの操作は、通常は、左目 により見られるイメージと右目により見られるイメージの間の１フレームである 、時間的な遅延と、それぞれの目により見られるイメージの間の水平の空間的な シフトとからなる。これらの基本的操作は、図６に示されるように、固定された 時間的なシーケンスで進む。シーケンスは、時間Ｔ１での格納バッファ４５０に よるビデオ・データの第１フレームＦ１の取得とともに始まる。時間Ｔ２で、フ レームＦ１はコピー・バッファ４５４へコピーされる。シーケンスはＴ３からＴ ５に続き、第２フレームＦ２が取得され、コピーされる。時間Ｔ５で、次の入力 ビデオ・フレームＦ３が取得されている間に、以前に取得され、記憶されたフレ ーム、つまりＦ１およびＦ２が表示バッファから、時間多重化されたディスプレ イ・モニタ２００にスキャン・アウトされる。２つのイメージが表示される際、 互いに水平に転位して見えるように空間的なオフセットが適用される。同期電子 眼鏡３００を通して見ると、左目は、一つのイメージ、つまりフレームＦ１を負 の空間転位で見て、右目は他のイメージ、つまりフレームＦ２を、反対の空間転 位で見る。この基本的な処理シーケンスは、それから無限に繰り返される。 表示される一対のフレーム中の各イメージ間の空間的な転位（spatial displa cement）は、スクリーン幅の約 ０〜２５％（つまり、１水平トレース・ライン）で、スクリーン幅の１０〜２０ ％であるのが望ましい。スクリーン幅の約１５％の空間的な転位が望ましく、使 用される特定のサイズのモニタに対して較正される。オフセットは、与えられた トレース・ラインの最初で第１ピクチャ要素を取除き、ラインを黒いピクチャ要 素で完了させることにより、左目の提示用に達成される。右目の提示のためには 、トレース・ラインが、トレース・ラインの最初で黒いピクチャ要素を取り入れ て開始し、終了ピクチャ要素が取除かれる。それぞれの目に対するフレームのた めに、各トレース・ラインから同じ数のピクチャ要素が取除かれる。同じように して、同じ数の黒いピクチャ要素が、それぞれの目に対するフレームのために、 各トレース・ラインに追加される。 各表示間隔で表示される一対のビデオ・イメージの間の時間遅延は、例えば、 １フィールド遅延期間、２フィールド遅延期間（つまり１フレーム期間）、また は３フィールド遅延期間（１．５フレーム期間）に等しい期間によって変更され うる。イメージ対遅延期間を変えると、エミッタ制御眼鏡２００をかけた視聴者 に提示される視界での３Ｄ効果が変更される。遅延が長くなると３Ｄ深さ効果は 増すが、知覚されるイメージにある種の不整合が、特に、場面内にかなりの動き がある場合に、生じる結果となる。一方、イメージ間遅延が短くなると深さ効果 は減じられるが、動くオブジェクトに対してより一貫 した視覚的な知覚が提供される。 図８Ａ、図８Ｂ、および図８Ｃは、フィールド多重化された処理および表示を 活用することにより１、２、または３フィールドの期間に等しい時間遅延を提供 するために利用される技法をおおまかに図解するものである。 それぞれが２つのフィールド（１Ａ，１Ｂ；２Ａ，２Ｂ；３Ａ，３Ｂ；４Ａ， ４Ｂ．．．）である一連のフレームＦ１、Ｆ２、Ｆ３、Ｆ４．．．が受信される と、コンピュータ制御の下、変換装置１００（第１実施例）またはデジタル画像 処理プロセッサ４０２は、図８Ａに示すように、フレームあたり４セットのイメ ージ・データを作り出さなければならない。ここで使用される識別スキームは、 以下の通りである。フィールドおよびフレームの識別は、与えられたフレーム中 で、左から右へ、そして上から下へ読まれる。第１フィールド１Ａは、左（Ｌ） 目ストリームからの第１フレーム（Ｆ１）の第１フィールドを表し、第２フィー ルド１Ｂは、左目ストリームからの第１フレームの第２フィールドを表す。第１ フィールド１Ａおよび第２フィールド１Ｂは、右（Ｒ）目のフレーム１（Ｆ１） に対しても生成される。類似したフィールドが、それぞれの目に対して、続くフ レーム、フレームＦ１−Ｆ４のそれぞれに生成される。これは、それぞれの目に 対して、１ｆ、つまり１フィールドに等しい時間遅延があるフィールド多重化さ れたビデオ・ストリームを表す。 また、空間的なオフセットは、それぞれの目ストリームに対して、各フレーム （Ｆ１−Ｆ４）の各フィールドにも生成される。図８Ａでは、これは、フィール ド識別の後に続く正の記号（＋）または負の記号（−）により表される（例えば 、１Ａ＋，１Ａ−、および１Ｂ＋，１Ｂ−）。したがって、水平にオフセットさ れた第１フィールド１Ａは、左目に提示され、左目オフセットから、右目に提示 される。次に、左目及び右目の第２フィールドが提示される。その後で、フレー ム２は、このフィールド多重化形式で表示される。次々に、図８Ａのフレーム１ のフレーム・データが、１Ａ＋、１Ａ−、１Ｂ＋、１Ｂ−の順番でビューアーに 読み出される。 １Ｆ（つまり、２ｆ）の期間だけ遅延される各左目／右目ストリームからの連 続フィールドの提示は、図８Ｂに図解される。ここでも、ビデオ・ストリームは 、左目、右目に分割され、フレームの中のフィールドは時間遅延される。 初めに、（先行するフレームの第１フィールドであるかもしれない）フィール ド０Ａが、左目に対して、水平に転位（つまり、０Ａ＋）されて表示されてから 、最初の新しいフレームＦ１の第１フィールドが、やはり水平で、反対方向（１ Ａ−）にオフセットされて表示される。次に、先行するフレームの第２フィール ドが、左目に対して、水平にオフセットされて（０Ｂ＋）表示され、そして、最 初の新しいフレームＦ１の第２フィールドが、 やはり水平に、反対方向（１Ｂ−）にオフセットされ表示される。１Ｆ（２ｆ） 時間遅延はこのようにして行われる。次のフレームでは、第１フィールド１Ａ＋ が左目に提示されてから、フィールド２Ａ−が右目に提示され、次にフィールド １Ｂ＋が左目に、フィールド２Ｂ−が右目に提示される等々である。 １.５Ｆ（つまり３ｆ）期間だけ遅延された各左目／右目ストリームからの連 続するフィールドの提示が図８Ｃに示される。やはり、ビデオ・ストリームは左 目、右目に分割され、フレーム中のフィールドが遅延される。フィールド１Ａ＋ が最初に、左目に対して、水平に転位されて表示されて、そして、第２フレーム Ｆ２の第２フィールドが右目に対して、やはり水平に、反対方向（２Ｂ−）にオ フセットされ、表示される。次に、第１フレームの第２フィールドが左目に対し て、水平にオフセットされ（１Ｂ＋）表示され、、次に第３フレームＦ３の第１ フィールドが右目に対して、やはり水平に、反対方向（３Ａ−）にオフセットさ れて表示される。１.５Ｆ（３ｆ）時間遅延は、このようにして行われる。次の フレームでは、第１フィールド２Ａ＋が左目に提示されてから、３Ｂ−が右目に 、次に、２Ｂ＋が左目に、４Ａ−が右目に提示される等々である。 「循環キュー」データ構造は、３Ｄ処理ステップの実装するための１つの構造 である。このデータ構造は、前記の本発明のコンピュータ・ベースのデジタル実 施例に、 特によく適している。というのも、循環キューの動作を支配する規則はソフトウ ェアで完全に実現できるからである。循環キューの動作に「状態空間」記述を使 用すると便利である（図９）。 循環キューは、メモリ中に３つのイメージ・バッファとして（ビデオ・バッフ ァ４２０中でわかれて、又は、マイクロコンピュータ４０８のメモリ４１４の一 部として）存在する。この例の場合、循環キューは、ハードウェアで、例えば、 ビデオ・フレーム・バッファ４２０内で割り当てられるデジタル・メモリの３つ の別個の領域として実現されるとして説明される。各イメージ・バッファは、図 ９において、２つの変数ｘおよびｙにより定義される「状態」を有し、ここで、 ｘはイメージがバッファ内に存在するか否かを示し、ｙは、バッファ内にあるイ メージに正の空間オフセットが適用されるのか、負の空間オフセットが適用され るのかを示す。アスタリスク「＊」は、不定状態を示す。 動作中、各イメージ・バッファの状態は、クロック・サイクルごとに更新され る。この場合のクロック速度は、入力ビデオ・フレーム速度、例えば、ＮＴＳＣ ビデオ信号に対する毎秒３０フレーム（Ｆｐｓ）、により決定される。本発明は 時間多重化ディスプレイを使用するので、利用できる３つのバッファの内の２つ の内容が、各クロック期間で表示される。これは、与えられた状態で表示のため に使用されている２つのバッファをつなぐ矢印に より示される。 状態１では、データが受け取られる前、バッファの内容は、それぞれ０＊、０ ＊、および０＊である。状態２では、バッファの内容は１０、０＊、および０＊ である。状態３では、バッファの内容は１０、１１、および０＊である。状態４ では、バッファの内容は１０、１０および１１である。状態５では、バッファの 内容は１１、１０、および１０である。状態６では、バッファの内容は１０、１ １、および１０である。それ以降の状態は４、５および６パターンが続く。 図９からわかるように、実際のシステム表示動作は、イメージ・バッファの内 の２つがフル（図７のＴ１からＴ４）になってから始まる。循環キューは、４ク ロック・サイクル後、つまり「状態４」で、完全に動作可能になる。この時点以 降、定常動作が状態４，５，６；４，５，６；４，５，６；...等の反復シーケ ンスによって進行する。 以上、本発明の現時点で望ましいある種の実施例について説明したが、本発明 に係る当業者には、本発明の精神および範囲から逸脱することなく、説明された 実施例の変型および修正が行えることは明かであろう。したがって、本発明は、 添付された請求の範囲および適用される法律により要求される範囲でのみ限定さ れることとする。

───────────────────────────────────────────────────── フロントページの続き (81)指定国 ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＤＥ， ＤＫ，ＥＳ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，ＩＴ，ＬＵ，Ｍ Ｃ，ＮＬ，ＰＴ，ＳＥ)，ＯＡ(ＢＦ，ＢＪ，ＣＦ，ＣＧ ，ＣＩ，ＣＭ，ＧＡ，ＧＮ，ＭＬ，ＭＲ，ＮＥ，ＳＮ， ＴＤ，ＴＧ)，ＡＰ(ＫＥ，ＭＷ，ＳＤ，ＳＺ)，ＡＭ， ＡＴ，ＡＵ，ＢＢ，ＢＧ，ＢＲ，ＢＹ，ＣＡ，ＣＨ，Ｃ Ｎ，ＣＺ，ＤＥ，ＤＫ，ＥＥ，ＥＳ，ＦＩ，ＧＢ，ＧＥ ，ＨＵ，ＪＰ，ＫＥ，ＫＧ，ＫＰ，ＫＲ，ＫＺ，ＬＫ， ＬＲ，ＬＴ，ＬＵ，ＬＶ，ＭＤ，ＭＧ，ＭＮ，ＭＷ，Ｎ Ｌ，ＮＯ，ＮＺ，ＰＬ，ＰＴ，ＲＯ，ＲＵ，ＳＤ，ＳＥ ，ＳＩ，ＳＫ，ＴＪ，ＴＴ，ＵＡ，ＵＺ，ＶＮ

Claims (1)

1. 【特許請求の範囲】 １．ａ）２次元ソース・ビデオ信号と、 ｂ）ソース・ビデオ信号を時間多重化された３次元シングル・スクリーン・ ディスプレイ信号にデジタル変換する手段と、 ｃ）多重化されたビデオ信号を人間が見ることができる形式で画像化するビ デオ・ディスプレイ手段と、 ｄ）交互に遮断することにより、左目、右目で交互に前記ビデオ表示を見る ために適合された眼鏡と、 ｅ）前記眼鏡の左目および右目の交互の遮断を制御する手段と から構成されるシミュレートされる立体画像の画像処理システム。 ２．ソース・ビデオ信号がフィールド・インターレースされたビデオ信号であり 、 前記フィールド・インターレースされた３次元ディスプレイ信号をフィールド 多重化する手段を更に含む請求項１に記載のシステム。 ３．ソース・ビデオ信号がインターレースされていないビデオ信号であり、 前記インターレースされていない３次元ディスプレイ信号を多重化する手段を 更に含む請求項１に記載のシステム。 ４．前記変換する手段は、 ２次元ビデオ信号のデジタル−アナログ・プロセッサと、 メモリ、記憶装置およびそれに付随するビデオ入出力機能を有するコンピュー タと、 前記コンピュータ手段内での２次元−３次元信号変換を制御するプログラム命 令セット手段と、 時間ベースの訂正器と を具備する請求項１に記載のシステム。 ５．前記眼鏡が液晶切替え眼鏡であり、 前記制御する手段が切り替え赤外線送信機である請求項１に記載のシステム。 ６．ａ）電子的な２次元ソース・ビデオ信号を作成するステップと、 ｂ）ソース・ビデオ信号を時間多重化された立体画像ディスプレイ信号に変 換するステップと、 ｃ）時間多重化されたビデオ信号を人間が見ることができる形式でシングル ・スクリーン・ビデオ・ディスプレイに表示するステップと、 ｄ）前記ビデオ表示を、左目、右目で交互に見るのに適合された眼鏡で見る ステップと、 ｅ）時間多重化されたビデオ信号の表示と同期して、前記眼鏡の左目、右目 交互の遮断を制御するステップと を具備する２次元ソース・ビデオ信号の立体画像処理をシミュレートする方法。 ７．前記ステップｂ）およびｃ）が、 第１フレームＦ１を取得し、格納バッファに記憶するステップと、 フレームＦ１をコピー・バッファにコピーするステップと、 第２フレームＦ２を取得し、格納バッファに記憶するステップと、 フレームＦ２をコピー・バッファにコピーするステップと、 第３フレームＦ３を取得し、格納バッファに記憶し、 表示のため、フレームＦ１、Ｆ２に左及び右空間オフセットを適用するス テップと、 フレームＦ３をコピー・バッファにコピーするステップと、 第４フレームＦ４を取得し、格納バッファに記憶し、 表示のため、フレームＦ２、Ｆ３に左及び右空間オフセットを適用するス テップと、 フレームＦ４をコピー・バッファにコピーするステップと、 第５フレームＦ５を取得し、格納バッファに記憶し、 表示のため、フレームＦ３、Ｆ４に左及び右空間オフセットを適用するス テップと、 フレームＦ５をコピー・バッファにコピーするステップと、 第５フレームＦ５を取得し、格納バッファに記憶し、 表示のため、フレームＦ４、Ｆ５に左及び右空 間オフセットを適用するステップと から成る追加連続ステップを更に含む請求項６に記載の方法。 ８．時間多重化されたビデオ信号を人間が見ることができる形式でシングル・ス クリーン・ビデオ・ディスプレイに表示するステップが、実際上リアルタイムで 達成される請求項６に記載の方法。 ９．２次元ソース・ビデオ信号が記録された信号であり、 時間多重化されたビデオ信号を人間が見ることができる形式でシングル・スク リーン・ビデオ・ディスプレイに表示するステップが、記録された２Ｄビデオ信 号を再生することから達成される請求項６に記載の方法。 １０．時間多重化されたビデオ信号を人間が見ることができる形式でシングル・ スクリーン・ビデオ・ディスプレイに表示するステップが、複数のシングル・ス クリーン・ビデオ・ディスプレイで繰り返される請求項６に記載の方法。 １１．２次元ソース・ビデオ信号の立体画像化をシミュレートする方法であって 、 ａ）第１ロケーションで電子的な２次元ソース・ビデオ信号を作り出すステッ プと、 ｂ）電子的な２次元ソース・ビデオ信号を第１ロケーションから離れた第２ロ ケーションに伝送するステップと、 ｃ）伝送された電子的な２次元ソース・ビデオ信号を 第２ロケーションで受信するステップと、 ｄ）受信されたビデオ信号を時間多重化された立体画像ディスプレイ信号に変 換するステップと、 ｅ）時間多重化されたビデオ信号を人間が見ることができる形式で、少なくと も１つのシングル・スクリーン・ビデオ・ディスプレイに表示するステップと、 ｆ）左目、右目で交互に見るために適合された眼鏡で前記ビデオ・ディスプレ イを見るステップと、 ｇ）時間多重化されたビデオ信号の表示と同期して、前記眼鏡の左目、右目の 交互の遮断を制御するステップと から構成される方法。 １２．シミュレートされた立体画像の医療用画像処理システムであって、 ａ）２次元ソース・ビデオ信号と、 ｂ）ソース・ビデオ信号を時間多重化された３次元シングル・スクリーン・デ ィスプレイ信号にデジタル変換する手段と、 ｃ）多重化されたビデオ信号を人間が見ることができる形式で画像化するビデ オ・ディスプレイ手段と、 ｄ）前記ビデオ・ディスプレイを、交互の遮断により、左目、右目で交互に見 るために適合された眼鏡と、 ｅ）前記眼鏡の左目、右目の交互の遮断を制御する手段と を具備するシステム。 １３．ソース・ビデオ信号は、フィールド・インターレースされたビデオ信号で あり、 前記フィールド・インターレースされた３次元ディスプレイ信号をフィールド 多重化する手段を更に含む請求項１２に記載のシステム。 １４．ソース・ビデオ信号は、インターレースされていないビデオ信号であり、 前記インターレースされていない３次元ディスプレイ信号を多重化する手段を 更に含む請求項１２に記載のシステム。 １５．前記変換手段は、 ２次元ビデオ信号アナログ−デジタル・プロセッサと、 ハイブリッド・アナログ・デジタル２次元−３次元プロセッサと、 時間ベース訂正器と から構成される請求項１２に記載のシステム。 １６．前記変換手段は、 ２次元ビデオ信号アナログ−デジタル・プロセッサと、 メモリ、記憶装置、及びそれに結び付いたビデオ入出力機能を有するコンピュ ータと、 前記コンピュータ手段での２次元−３次元信号変換を制御するプログラム命令 セット手段と、 時間ベースの訂正器と から構成される請求項１２に記載のシステム。 １７．前記眼鏡が液晶切替え式眼鏡であり、 前記制御する手段が切り替え赤外線送信機である請求項１２に記載のシステム 。 １８．２次元ソース・ビデオ信号の医療用立体画像化をシミュレートする方法で あって、 ａ）電子的な２次元ソース・ビデオ信号を作成するステップと、 ｂ）ソース・ビデオ信号を時間多重化された立体画像ディスプレイ信号に変換 するステップと、 ｃ）時間多重化されたビデオ信号を人間が見ることができる形式でシングル・ スクリーン・ビデオ・ディスプレイに表示するステップと、 ｄ）左目、右目で交互に見るために適合された眼鏡で、前記ビデオ・ディスプ レイを見るステップと、 ｅ）時間多重化されたビデオ信号の表示と同期して、前記眼鏡の左目、右目の 交互の遮断を制御するステップと から構成される方法。 １９．前記ステップｂ）およびｃ）が、 第１フレームＦ１を取得し、格納バッファに記憶するステップと、 フレームＦ１をコピー・バッファにコピーするステップと、 第２フレームＦ２を取得し、格納バッファに記憶するステップと、 フレームＦ２をコピー・バッファにコピーするステッ プと、 第３フレームＦ３を取得し、格納バッファに記憶し、 表示のため、フレームＦ１、Ｆ２に左及び右空間オフセットを適用するス テップと、 フレームＦ３をコピー・バッファにコピーするステップと、 第４フレームＦ４を取得し、格納バッファに記憶し、 表示のため、フレームＦ２、Ｆ３に左及び右空間オフセットを適用するス テップと、 フレームＦ４をコピー・バッファにコピーするステップと、 第５フレームＦ５を取得し、格納バッファに記憶し、 表示のため、フレームＦ３、Ｆ４に左及び右空間オフセットを適用するス テップと、 フレームＦ５をコピー・バッファにコピーするステップと、 第５フレームＦ５を取得し、格納バッファに記憶し、 表示のため、フレームＦ４、Ｆ５に左及び右空間オフセットを適用するス テップと、 から成る追加連続ステップを更に含む請求項１８に記載の方法。 ２０．時間多重化されたビデオ信号を人間が見ることができる形式でシングル・ スクリーン・ビデオ・ディスプレイに表示するステップが実際上リアルタイムで 達成される請求項１８に記載の方法。 ２１．表示される時間多重化されたビデオ信号が手術処置のものであり、 表示が、手術処置が実施されるのと同時に達成される請求項１８に記載の方法 。 ２２．２次元ソース・ビデオ信号は、記録された信号であり、 時間多重化されたビデオ信号を人間が見ることができる形式でシングル・スク リーン・ビデオ・ディスプレイに表示するステップが、記録された２Ｄビデオ信 号を再生することから達成される請求項１８に記載の方法。 ２３．時間多重化されたビデオ信号を人間の目で見ることができる形式でシング ル・スクリーン・ビデオ・コンピュータに表示するステップが、複数のシングル ・スクリーン・ビデオ・ディスプレイ上で繰り返される請求項１８に記載の方法 。 ２４．２次元ソース・ビデオ信号の医療用の立体画像化をシミュレートする方法 であって、 ａ）電子的な２次元ソース・ビデオ信号を作り出すステップと、 ｂ）電子的な２次元ソース・ビデオ信号を第１ロケーションから離れた第２ロ ケーションに伝送するステップと、 ｃ）伝送された電子的な２次元ソース・ビデオ信号を第２ロケーションで受信 するステップと、 ｄ）受信されたビデオ信号を時間多重化された立体画 像のディスプレイ信号に変換するステップと、 ｅ）時間多重化されたビデオ信号を人間が見ることのできる形式で、少なくと も１つのシングル・スクリーン・ビデオ・ディスプレイに表示するステップと、 ｆ）前記ビデオ・ディスプレイを、左目、右目で交互に見るために適合された 眼鏡で見るステップと、 ｇ）時間多重化されたビデオ信号の表示と同期して、前記眼鏡の左目、右目の 交互の遮断を制御するステップと から構成される方法。