JP2003109042A

JP2003109042A - 三次元画像高速演算方法

Info

Publication number: JP2003109042A
Application number: JP2001301474A
Authority: JP
Inventors: Takesumi Doi; 健純土肥; Ichiro Sakuma; 一郎佐久間; Koon Ryo; 洪恩廖; Makoto Iwahara; 誠岩原
Original assignee: University of Tokyo NUC
Current assignee: University of Tokyo NUC
Priority date: 2001-09-28
Filing date: 2001-09-28
Publication date: 2003-04-11

Abstract

(57)【要約】【課題】大部分が静止した患者の体表や内部臓器の三
次元画像と、刻々変化する手術器具の画像の合成された
三次元画像を、高速に演算し、リアルタイムに表示す
る。また、患者の体表や内部臓器の三次元画像も、書き
換えが必要になった場合には高速書き換えを可能にする
演算方式を提供する。【解決手段】マイクロ凸レンズ二次元アレイと、凸レ
ンズアレイの各レンズの略々焦点面に位置する平面ディ
スプレイと、実体ある三次元物体または仮想三次元物体
の三次元構造データから前記レンズアレイと組み合わせ
て目的の三次元画像が表示されるように前記平面ディス
プレイの二次元画像を演算する画像演算部からなる、三
次元画像表示装置に於いて、全画像変更時を除き、表示
すべき三次元画像の一部を変更する場合に、変更する三
次元物体の平面ディスプレイ用二次元画像のみを演算
し、既に演算された静止画像部分の平面ディスプレイ用
二次元画像とを、二次元画像同士で合成することで、三
次元画像の高速演算を可能にする。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明はリアルタイム三次元
表示装置に係り、部分動画の立体画像の高速演算方法に
関する。中でも、特に、手術用三次元画像ナビゲーショ
ンのための画像演算方法に関する。

【０００２】

【従来の技術】マイクロ凸レンズ二次元アレイと感光体
を組み合わせると、三次元的な光線の記録再生能力があ
ることを、フランスのＭ．Ｇ．Ｌｉｐｐｍａｎｎ
が見いだし、１９０８年に論文として提案した。現在こ
の方法は“ＩＰ”（ＩｎｔｅｇｒａｌＰｈｏｔｏｇｒ
ａｐｈｙ）と呼ばれている。

【０００３】その原理を、まずは、最もシンプルな条件
である、「空中に置かれた一個の点光源を記録再生する
場合」について説明する。

【０００４】図１はＩＰの記録の状態を示す図である。
１のマイクロ凸レンズ二次元アレイの各レンズの大き
さ、互いの間隔は、目的に応じて、０．１ミリから数ミ
リ程度が選ばれる。２の感光体は、前記レンズアレイ１
の各レンズの略々焦点面にあり、３の点光源は、前記各
レンズの大きさ程度の直径を有するものとする。

【０００５】点光源３から出た光は、前記レンズアレイ
１の各凸レンズにほぼ平行光として入射し、感光体２を
配した焦点面では、各凸レンズ毎に集光し小さな点像
（４ａ、４ｂ、４ｃ・・・）として記録される。感光体
全体としては点像群４として記録される。

【０００６】図２は図１の様に記録されたＩＰの再生状
態を示す図である。現像済みの点像群（４ａ’、４
ｂ’、４ｃ’・・・）が記録された感光体２’を、再度
レンズアレイ１と同じ位置関係に置く。その後方から拡
散性面光源５で照明すると、光の可逆性から、現像され
た感光体の各点像（４ａ’、４ｂ’、４ｃ’・・・）は
各凸レンズの焦点面にあるわけで、各点像から出た光は
各凸レンズを介して、各々ほぼ平行光として射出する。
各凸レンズから出たたくさんの平行光は、もと点光源が
あった三次元的な位置に集光し、後は発散する。

【０００７】この発散する光のコーンの範囲では、もと
の点光源があった場合とほぼ同等の光線が存在する。こ
の発散する光のコーン中に観察者が目を置くと、もとの
点光源があった場合とほぼ変わらない点光源を認識する
ことになる。範囲内であれば、観察者が目を移動して
も、両眼視しても、常にもとの点光源の位置点光源が存
在するように感じることになり、点光源の三次元画像
３’が記録再生されることになる。

【０００８】但し、この点光源像３’を再生している個
々の光線はレンズアレイ１の各レンズから射出されるほ
ぼ平行光なので、個々のレンズの寸法より小さな画像を
再生することは出来ない。この発散する光のコーンの範
囲を「視域」６と呼ぶ。

【０００９】見方を変えればＩＰとは、記録時は、前記
マイクロ凸レンズアレイの各レンズと感光体で形成され
る微小カメラ群（アレイ）により、各カメラ（凸レン
ズ）の位置から見た被写体の像の集合としての二次元画
像が得られ、再生時は、現像済の感光体と前記マイクロ
凸レンズアレイの各レンズとで形成される微小スライド
プロジェクタ群（アレイ）により、撮影時と逆の光線群
が空間に射出され、もと被写体のあった三次元的な同じ
位置に実像を結ぶことにより、三次元像の記録再生を行
う方式である。

【００１０】図３はピンホールアレイを用いたＩＰの記
録の状態を示す図である。７のピンホール二次元アレイ
の各ピンホールの互いの間隔は、目的に応じて、０．１
ミリから数ミリ程度が選ばれる。２の感光体は、前記ピ
ンホールアレイと所定の間隔を隔てて配置される。３の
点光源は、前記ピンホールアレイのピンホール間隔程度
の直径のものとする。

【００１１】点光源３から出た光は、ピンホール二次元
アレイの各凸ピンホールに入射し、そのまま直進して、
感光体を配した焦点面では、各凸レンズ毎に集光し小さ
な点像（４ａ、４ｂ、４ｃ・・・）として記録される。
感光体全体としては点像群４として記録される。

【００１２】図４は図３のようにピンホールアレイを用
いて記録されたＩＰの再生状態を示す図である。現像済
みの、点像群（４ａ’、４ｂ’、４ｃ’・・・）が記録
された感光体２’を、再度ピンホールアレイ７と同じ位
置関係に置く。その後方から拡散性面光源５で照明する
と、光の可逆性から、現像された感光体の各点像（４
ａ’、４ｂ’、４ｃ’・・・）は各ピンホールを通って
直進し、もと点光源があった三次元的な位置に集光し、
後は発散する。この発散する光のコーンの範囲では、も
との点光源があった場合とほぼ同等の光線が存在する。

【００１３】この発散する光のコーン中に観察者が目を
置くと、もとの点光源があった場合とほぼ変わらない点
光源を認識することになる。範囲内であれば、観察者が
目を移動しても、両眼視しても、常にもとの点光源の位
置点光源が存在するように感じることになり、点光源の
三次元画像３’が記録再生されることになる。この発散
する光のコーンの範囲を「視域」６と呼ぶ。

【００１４】図５は前記マイクロ凸レンズ二次元アレイ
１の一例を示す斜視図である。この例では各凸レンズは
碁盤の目状に並んでいるが、蜂の巣状やランダム等、任
意の配列が使用可能である。

【００１５】図６は前記ピンホール二次元アレイ７の一
例を示す斜視図である。この例では各ピンホールは碁盤
の目状に並んでいるが、蜂の巣状やランダム等、任意の
配列が使用可能である。

【００１６】図７はマイクロ凸レンズ二次元アレイ１の
各レンズより大きい寸法の不透明物体８を撮影する様子
を示したもので、前記マイクロ凸レンズ二次元アレイ１
の各凸レンズの位置から見た被写体の像群４が感光体に
記録される。ただし、被写体は不透明なので、各凸レン
ズから見える側のみが撮影される。

【００１７】図８はその再生の様子を示したもので、前
記不透明物体のレンズアレイから見える側のみではある
が、もと被写体があったと同じ位置に三次元像と８’と
して再生される。ただ、この画像を三次元像として観察
できる視域は、この図において当然三次元画像の右側に
なるので、その視域からもとの被写体を眺めた場合見え
るはずの被写体の右側の面ではなく、本来見えないはず
の被写体の左側の面だけが再生される、という問題点を
持っている。

【００１８】この問題点は、コンピュータグラフィクス
（ＣＧ）を用いることで解決できる。前述のように、Ｉ
Ｐの記録時は、マイクロ凸レンズ二次元アレイの各レン
ズの位置から見た被写体の像の集まりが得られれば良い
のであるから、実際に被写体を置かなくても、被写体の
三次元データさえあれば、演算によって各レンズの背後
の画像を求めることができることは説明を要しないであ
ろう。

【００１９】一般的なＣＧの演算方法を用いるなら、隠
面処理により、視点から最も近い面が演算され、図７の
状態と同じ画像群４を演算で求められる。ここに、隠面
処理を視点から最も遠い面を演算するように変更すれば
この問題を解決できる。この演算方法については、例え
ばＰＣＴ／ＪＰ９９／０５６６９に詳しく述べられてい
る。

【００２０】図９は隠面処理を視点から最も遠い面を演
算するように変更したＣＧを用いて、図７と同じ被写体
からの感光体上の二次元画像を演算で求めている状態を
示した図である。ここに、被写体は８’’は実物ではな
く被写体の三次元データであり、マイクロ凸レンズ二次
元アレイもコンピュータ内部のみにある仮想レンズアレ
イで１’’で、そのパラメータは再生時に使用されるマ
イクロ凸レンズ二次元アレイ１に合わせる。そして、仮
想の感光体の２’’の上に生ずるであろう二次元画像を
４’’をＣＧソフトで演算する。

【００２１】つまり、この図は実物があるのではなく、
すべてコンピュータ内部での演算により仮想的に行われ
る。

【００２２】図１０は図９のように演算された二次元画
像を４’を用いて、三次元画像を再生している様子を示
す図である。この図の上で仮想の被写体の右側の面のみ
が、三次元像として再生されているが、この再生像を
８’を観察するのはこの図の上で再生像８’より右側に
なるので、仮想の不透明な被写体を８’’を右側から眺
めた場合と同じく、被写体の右側の面のみが見えている
ことは全く自然である。

【００２３】所詮、不透明な実物であれば、実際にそれ
を右側から眺めた場合には、裏側（左側）の面は決して
見えないわけで、再生された三次元画像に被写体の見え
ない裏側の情報が無いことは情報の欠落にはならず、全
く自然な三次元像を再生していることになる。

【００２４】実物の被写体を直接撮影する方法で、ＩＰ
と三次元画像をこのような位置関係にすることはできな
いが、ＣＧを用いてコンピュータ内部で仮想的に演算す
るなら可能になる。図１１はその様子を示している。

【００２５】同様に、ＣＧを用いてコンピュータ内部で
仮想的に演算するならば、三次元画像の一部がレンズア
レイから飛び出し、一部はレンズアレイと同じ奥行き
に、一部が奥にあるような配置も可能である（図１
２）。

【００２６】図９のところでは、「隠面処理を視点から
最も遠い面を演算するように変更したＣＧを用いる」と
説明したが、図１１、図１２の場合まで含めると、「レ
ンズ（または、ピンホール）アレイと二次元ディスプレ
イ（または、感光体）の配置を基準に、レンズ（また
は、ピンホール）アレイから平面ディスプレイ（また
は、感光体）に向かう光線の上で最もレンズ（または、
ピンホール）アレイ側の面を演算するように変更したＣ
Ｇを用いる」と表現し直した方が一般的である。

【００２７】図１３は医用ボクセルデータ画像の構造を
示す図である。画像を構成する基本単位はボクセル１１
と呼ばれる、縦・横・高さを持った三次元的な画素で、
例えばＸ線ＣＴにより得られた画像なら各ボクセルはＸ
線の吸収率を表す「ＣＴ値」とよばれる数値を持ってい
る。ボクセルデータ領域９は、この様なボクセル１１が
縦・横・高さ方向に積み重なっていて、ボクセルの数値
の分布として立体画像１０を内包している。

【００２８】この図１３は人体頭部のＸ線ＣＴ画像を示
したもので、体表や内部臓器も各部の「ＣＴ値」を持つ
ボクセルの集まりで、特に骨はＸ線の吸収率が高く、そ
れらのボクセルは数値が高い。この様なボクセルデータ
画像は、Ｘ線ＣＴの他に、ＭＲＩや三次元超音波診断装
置等からも得られ、それぞれの計測法に基づいた数値を
持つボクセルの三次元的な集合である。

【００２９】図１４はそのようなボクセルデータ画像か
らＩＰを演算する方法と、レンズアレイの設計から決ま
る視域を説明した図である。まず、レンズアレイの設計
から決まる視域について説明すると、レンズアレイの個
々のレンズが扱える二次元画像は、互いに隣のレンズと
干渉しないためにレンズピッチＬＰとほぼ同じ範囲に限
られ、レンズの焦点距離との組み合わせで視域が決定さ
れる。

【００３０】次に、ＩＰの演算方法であるが、図１３に
示したＸ線ＣＴのボクセルデータ画像１０から骨を表示
する例で説明する。仮想レンズアレイ１’’のレンズピ
ッチＬＰ内の仮想感光体２’’の上の画素（Ｐａ、Ｐ
ｂ、Ｐｃ・・・）とレンズの基準点を結ぶ直線に沿っ
て、ボクセルデータ画像９の最もレンズアレイから遠い
ボクセルを表示三次元画像の表示面探索の開始点（Ｓ
ａ、Ｓｂ、Ｓｃ・・・）とし、レンズの基準点に向かう
直線上を描きたい臓器（骨）の値を持つボクセルを１ボ
クセルずつ見つけるまで探索し、見つかったところで探
索を終了し、探索終了点のボクセル（Ｆａ、Ｆｂ、Ｆｃ
・・・）に対応した画像を仮想感光体２’’の上の画素
（Ｐａ、Ｐｂ、Ｐｃ・・・）とする。

【００３１】同様の演算を仮想レンズアレイ１’’の全
レンズについて行う。重複するが、この演算方法につい
ては、例えばＰＣＴ／ＪＰ９９／０５６６９に詳しく述
べられている。

【００３２】手術の三次元画像ナビゲーションでは、Ｘ
線ＣＴやＭＲＩ等により撮影された患者の体表や内部臓
器のボリュームデータから作成される三次元画像と、手
術中に刻々変化する手術器具の三次元的な位置や姿勢を
示す三次元画像とを合成した画像を表示する必要があ
る。

【００３３】

【発明が解決しようとする課題】前述の、手術の三次元
画像ナビゲーションでは、Ｘ線ＣＴやＭＲＩ等により撮
影された患者の体表や内部臓器のボリュームデータから
作成される三次元画像に対する、手術中に刻々変化する
手術器具の三次元的な位置や姿勢を三次元画像として高
速に演算し三次元画像を更新する必要があったが、その
ための高速演算方法は考えられていなかった。

【００３４】本発明では、大部分が静止した患者の体表
や内部臓器の三次元画像と、刻々変化する手術器具の画
像の合成された三次元画像を、高速に演算し、リアルタ
イムに表示すること目的とする。また、本発明の別の目
的は、ほぼ静止画と考えてよい患者の体表や内部臓器の
三次元画像も、書き換えが必要になった場合には高速書
き換えを可能にする演算方式を提供することである。

【００３５】

【課題を解決するための手段】上記課題を解決するため
に、本発明では以下の手段を提供する。

【００３６】三次元的に位置が変化する手術器具の平面
ディスプレイ用二次元画像のみを演算し、患者の体表や
内部構造を示す画像等の既に演算された平面ディスプレ
イ用二次元画像とを、二次元画像同士で合成する、演算
手段や、手術器具の画像を演算不要範囲の情報を基に演
算する手段。

【００３７】さらに、患者の体表や内部構造等を示すボ
リュームデータから、平面ディスプレイ用の二次元画像
を演算するに当たって、描くべき物体像の表面を探査す
ることを、ボクセルの間隔より大きい間隔で探査し、探
査した点が描くべき物体の内部に到達したら、一個前の
探査点との間を、改めてボクセルの間隔で表面を見つけ
る演算方法を提供する。

【００３８】より具体的には次のように構成することで
本発明の課題を解決できる。

【００３９】（１）マイクロ凸レンズ二次元アレイと、
前記凸レンズ二次元アレイの各レンズの略々焦点面に位
置する平面ディスプレイと、実体ある三次元物体または
仮想三次元物体の三次元構造データから、前記レンズア
レイと組み合わせて目的の三次元画像が表示されるよう
に、前記平面ディスプレイの二次元画像を演算する、画
像演算部からなる、三次元画像表示装置に於いて、全画
像変更時を除き、表示すべき三次元画像の一部を変更す
る場合に、変更する三次元物体の平面ディスプレイ用二
次元画像のみを演算し、既に演算された静止画像部分の
平面ディスプレイ用二次元画像とを、二次元画像同士で
合成することを特徴とする三次元画像高速演算方法。

【００４０】（２）ピンホール二次元アレイと、前記ピ
ンホール二次元アレイと所定の間隔を隔てて位置する平
面ディスプレイと、実体ある三次元物体または仮想三次
元物体の三次元構造データから、前記ピンホール二次元
アレイと組み合わせて目的の三次元画像が表示されるよ
うに、前記平面ディスプレイの二次元画像を演算する、
画像演算部からなる、三次元画像表示装置に於いて、全
画像変更時を除き、表示すべき三次元データの一部を変
更する場合に、変更する三次元物体の平面ディスプレイ
用二次元画像のみを演算し、既に演算された静止画像部
分の平面ディスプレイ用二次元画像とを、二次元画像同
士で合成することを特徴とする三次元画像高速演算方
法。

【００４１】（３）二次元画像同士の合成方法として、
変更部分を静止部分に上書きすることを特徴とする
（１）または（２）記載の三次元画像高速演算方法。

【００４２】（４）二次元画像同士の合成方法として、
変更部分と静止部分を重み付け加算することを特徴とす
る（１）または（２）記載の三次元画像高速演算方法。

【００４３】（５）患者の体表や内部構造等を示す画像
の変更が必要な場合を除き、刻々三次元的に位置が変化
する手術器具の平面ディスプレイ用二次元画像のみを演
算し、患者の体表や内部構造を示す画像等の既に演算さ
れた平面ディスプレイ用二次元画像とを、二次元画像同
士で合成することを特徴とする（１）または（２）記載
の三次元画像高速演算方法。

【００４４】（６）三次元位置・姿勢測定装置によって
測定される、手術器具の三次元的な位置・姿勢データと
して、手術器具の先端の一点、および先端と他端を結ぶ
線上の一点からなる二点のみの位置データからその二点
を結ぶ直線を軸とする、所定の太さの棒として表示する
ことを特徴とする（５）記載の三次元画像高速演算方
法。

【００４５】（７）目的に応じた三次元画像表示範囲を
定め、その範囲外の手術器具の画像を演算しないことを
特徴とする（５）または（６）記載の三次元画像高速演
算方法。

【００４６】（８）手術器具の二次元画像を演算するに
当たって、表示する手術器具の三次元画像の両端の点の
視域を示す多角錐が、それぞれ平面ディスプレイと交わ
る二つの多角形内部、および手術器具の三次元画像の両
端が前記レンズアレイの前後にある場合には、前記二つ
の多角形を結ぶ内接線で囲まれた範囲にほぼ等しい範囲
の二次元画像のみを演算し、手術器具の三次元画像の両
端が前記レンズアレイの同じ側にある場合には、前記二
つの多角形を結ぶ外接線で囲まれた範囲にほぼ等しい範
囲の二次元画像のみを演算することを特徴とする（６）
または（７）記載の三次元画像高速演算方法。

【００４７】（９）患者の体表や内部構造等を示すボリ
ュームデータから、平面ディスプレイ用の二次元画像を
演算するに当たって、描くべき物体像の表面を探査する
ことを、レンズアレイから最も飛び出した位置にあるボ
クセルから始め、ボクセルの間隔より大きい間隔で探査
し、探査した点が描くべき物体の内部に到達したら、一
個前の探査点との間を、改めてボクセルの間隔で表面を
見つける演算方法により、患者の体表や内部構造等を示
す三次元画像の演算を高速に行うことを特徴とする
（５）ないし（８）のいずれかに記載の三次元画像高速
演算方法。

【００４８】

【発明の実施の形態】以下、本発明の実施の形態を詳細
に説明する。

【００４９】図１５は、本発明の一実施例を示す図であ
る。まず、患者の体表や内部臓器を示す医療用ボクセル
データ画像１０からは、図１４で説明した演算により仮
想感光体２’’の上の二次元画像が得られる。

【００５０】次に、手術中に使用される手術器具は、メ
ス、鉗子、吸引管、等、棒状の物が一般的で、ナビゲー
ション用の画像では先端の三次元的な位置と器具の方向
を示す直線で表現するのが一般的である。この手術器具
１２の三次元的な位置や姿勢は、この図には示していな
いが、磁界や光学的なセンサーによる三次元位置・姿勢
測定装置によって測定され、先端１２ａの位置および軸
の方向等の情報が得られる。

【００５１】手術器具の先端１２ａの位置情報から仮想
感光体２’’上の二次元画像群を演算するに当たって、
仮想レンズアレイ１’’の設計から決まる視域６はその
演算量に対して重要な意味を持つ。つまり、図１５に於
いて手術器具の先端１２ａを頂点とした多角錐の視域６
の中に含まれる仮想レンズアレイ１’’の個々のレンズ
に対応した仮想感光体２’’の部分にしか画像はあり得
ず、その演算は手術器具の先端１２ａとその視域６に含
まれる個々のレンズの基準点を結ぶ直線を伸ばした直線
が仮想感光体２’’の上のどの画素に対応しているかの
みを演算すればよいことになる。

【００５２】図１５に於いて１２ａからの直線は３本示
されているが、仮想レンズアレイ１’’が、図５に示し
たような碁盤の目状配列の場合は、縦３本、横３本とい
う僅か９本の直線演算をすればよいことを示している。

【００５３】次に、手術器具の方向を示す画像の演算に
ついて説明する。手術ナビゲーション用の画像に於いて
は、手術する患部近傍の画像のみが必用であって、不必
要に患部から遠い画像はむしろ邪魔になることが分かっ
た。本発明では三次元画像表示（演算）領域ＤＡを定め
る。この三次元画像表示領域ＤＡの寸法や位置は各手術
に対応してケースバイケースに決定される。このよう
に、手術器具の三次元画像表示範囲を限定することは演
算の速さにも寄与し、例えば半分の長さを表示するなら
演算時間はほぼ半分になり、高速演算の点からも重要で
あった。

【００５４】手術器具の軸を示す直線上で、前記三次元
画像表示領域ＤＡ内で手術器具先端１２ａから最も遠い
点を１２ｂと表し、点１２ａと点１２ｂ間の直線を仮想
被写体として仮想感光体２’’上の二次元画像を演算す
れば手術器具を示す三次元画像が得られるはずである
が、ここで重要なことはその仮想被写体の太さである。
ＩＰの原理を図２で説明したように、ＩＰではレンズア
レイの個々のレンズ寸法より小さな三次元画像は再生出
来ないので、本発明では手術器具１２を前記個々のレン
ズ寸法より太い棒として表現する。つまり、点１２ａか
ら点１２ｂを結ぶ直線に前記太さを与えた仮想手術器具
の各点の仮想感光体上の画像を、点１２ａの二次元画像
を演算したと同じ方法で演算する。

【００５５】最後に、こうして得られた手術器具１２の
仮想感光体２’’上の二次元画像群を、既に演算されて
いる患者の体表や内部臓器を示す医療用ボクセルデータ
画像１０の仮想感光体２’’上の二次元画像群に上書き
（オーバーライト）する。つまり、医療用ボクセルデー
タに対応した二次元画像群の内、手術器具に対応した二
次元画像のある部分のみが書き換えられる。この演算
は、二次元画像同士の単なる上書きなので、二つの三次
元物体を三次元的に合成した後、仮想感光体２’’上の
二次元画像群を演算することに比べると、非常に高速に
実行できる。

【００５６】その結果、本来患者の臓器の奥深くに入っ
ている手術器具の三次元画像が、手前の臓器の画像を一
部消して完全に見えているような三次元画像が得られ
る。これは一見、隠面消去が正しく行われていないＣＧ
のようで、間違ったＩＰ演算と思われるが、手術用ナビ
ゲーションにおいてはそもそも患者の内部にあって見え
ない手術器具の画像を見ることが目的であり、その目的
を達成するための画像である。

【００５７】臓器内部に進入している手術器具をより自
然な三次元画像として表現するならば、前述のように、
手術器具１２の仮想感光体２’’上の二次元画像群を、
既に演算されている患者の体表や内部臓器を示す医療用
ボクセルデータ画像１０の仮想感光体２’’上の二次元
画像群に上書き（オーバーライト）するのではなく、仮
想感光体２’’上のある画素の手術器具１２を表す画像
の数値と医療用ボクセルデータ画像１０を表すの数値を
ある比率で重み付加算するのも有効である。

【００５８】例えば、仮想感光体２’’上のある画素
の、手術器具１２を表す画像の赤、緑、青の成分の数値
がＲ１２、Ｇ１２、Ｂ１２で、医療用ボクセルデータ画
像１０の赤、緑、青の成分の数値がＲ１０、Ｇ１０、Ｂ
１０の場合に、仮想感光体２’’上のその画素の赤、
緑、青の成分の数値を（ｔ×Ｒ１２＋（１−ｔ）×Ｒ１
０）、（ｔ×Ｇ１２＋（１−ｔ）×Ｇ１０）、（ｔ×Ｂ
１２＋（１−ｔ）×Ｂ１０）、（ここに０＜ｔ＜１）と
演算すれば、重なり合っている画像が半透明表示にな
り、より自然な三次元像が見える。これとて、三次元画
像同士の合成と比べると格段に簡単な演算であり、高速
演算の目的は十分達せられる。

【００５９】図１６は手術器具１２の先端１２ａが仮想
レンズアレイ１’’より手前の場合（点１２ａと点１２
ｂがレンズアレイの同じ側にある場合）の、仮想感光体
２’’上で手術器具１２の二次元画像が存在する範囲を
説明した図である。点１２ａの視域６を表すところの、
点１２ａを頂点とする多角錐が仮想感光体２’’と交差
する多角形をＡａとし、点１２ｂの視域６を表すところ
の、点１２ｂを頂点とする多角錐が仮想感光体２’’と
交差する多角形をＡｂとすると、多角形Ａａの内部と多
角形Ａｂの内部およびそれら二つの多角形の外接線で囲
まれた領域ＡＴがほぼ手術器具１２の二次元画像が存在
する範囲になる。前述のように、手術器具の三次元像に
はある太さを与えるので、実際にはこの範囲ＡＴの周囲
に手術器具像の太さの半分を拡大した領域になる。

【００６０】図１７は手術器具１２の先端１２ａが仮想
レンズアレイ１’’より奥の場合（点１２ａと点１２ｂ
がレンズアレイの裏表に位置する場合）の、仮想感光体
２’’上で手術器具１２の二次元画像が存在する範囲を
説明した図である。点１２ａの視域６を表すところの、
点１２を頂点とする多角錐が仮想感光体２’’と交差す
る多角形をＡａとし、点１２ｂの視域６を表すところ
の、点１２ｂを頂点とする多角錐が仮想感光体２’’と
交差する多角形をＡｂとすると、多角形Ａａの内部と多
角形Ａｂの内部およびそれら二つの多角形の内接線で囲
まれた領域ＡＴがほぼ手術器具１２の二次元画像が存在
する範囲になる。前述のように、手術器具の三次元像に
はある太さを与えるので、実際にはこの範囲ＡＴの周囲
に手術器具像の太さの半分を拡大した領域になる。

【００６１】図１６および図１７に於いて、視域を示す
多角錐として四角錐のばあいで説明したが、レンズアレ
イのレンズ配置が蜂の巣状の場合は六角錐の場合もあ
る。さらに、使用されない無駄な画素を持つが、円錐や
楕円錐の視域も可能であり、本発明では、これらは多角
錐の角数を非常に多くした特殊なケースとして多角錐に
含めて考える。

【００６２】図１６および図１７のいずれの場合も、手
術器具１２の仮想感光体２’’上の画像群の演算方法
は、図１５で説明した方法の他、図１４で説明したよう
に仮想感光体２’’上の画素からの直線上で手術器具１
２の表面探索を行ってもよく、後者の場合にはこの範囲
ＡＴの周囲に手術器具像の太さの半分を拡大した領域に
含まれる画素のみ演算することで、演算回数を減少させ
られ、演算の高速化には非常に有効である。

【００６３】手術が進行し、患部の形状が大きく変形し
た場合は、手術中にＸ線ＣＴやＭＲＩ等で再度患者の体
表や内部臓器の医用ボクセルデータ画像を測定し直して
から手術を先に進めるので、この場合は、今までの説明
では静止画として扱ってきた患者の体表や内部臓器の三
次元画像も高速に書き換え出来ることが望ましい。

【００６４】図１８はボクセルデータからＩＰを高速演
算する方法の一実施例を示す図である。ここに、仮想レ
ンズアレイ１’’のほぼ焦点面に位置する仮想感光体
２’’上の一画素Ｐａの画像を演算するに当たり、その
画素を担当するレンズの基準点と画素Ｐａとを結ぶ直線
に沿って、ボクセルデータ画像９の最もレンズアレイか
ら遠いボクセルを表示三次元画像の表示面探索の開始点
Ｓａとし、レンズの基準点に向かう直線上を描きたい臓
器（大脳）の値を持つボクセルを４ボクセル間隔で見つ
けるまで、と探索し、見つかったところで一個前
の探索点に戻りボクセルの間隔で、、と探索、改
めて大脳の値を持つボクセルを見つけたところで探索
を終了し、探索終了点のボクセルＦａに対応した画像を
仮想感光体２’’の上の画素Ｐａとする。

【００６５】最初の粗い探索のピッチは大きいほど探索
は高速になるが、探索ピッチ以下の厚みの臓器は見逃し
てしまう危険もあり、目的の臓器の寸法・形状に応じて
適当な値を選ぶ必要がある。また、粗い探索で目的の臓
器を見つけた後のボクセルピッチの探索は、１ボクセル
ずつ戻る方向に探索してもよい。いずれにせよ、まず粗
く探索することによりその分演算を高速化できる。

【００６６】本発明の目的を、手術用三次元画像ナビゲ
ータに絞って説明してきたが、一般の三次元画像の部分
動画に適用出来ることは明白である。

【００６７】

【発明の効果】本発明では、患者の体表や内部構造等を
示す画像の変更が必要な場合を除き、刻々三次元的に位
置が変化する手術器具の平面ディスプレイ用二次元画像
のみを演算し、患者の体表や内部構造を示す画像等の既
に演算された平面ディスプレイ用二次元画像とを、二次
元画像同士で合成することで、大部分が静止した患者の
体表や内部臓器の三次元画像と、刻々変化する手術器具
の画像の合成された三次元画像を、高速に演算し、リア
ルタイムに表示できる。

【００６８】また、患者の体表や内部構造等を示すボリ
ュームデータから、平面ディスプレイ用の二次元画像を
演算するに当たって、描くべき物体像の表面を探査する
ことを、レンズアレイから最も飛び出した位置にあるボ
クセルから始め、ボクセルの間隔より大きい間隔で探査
し、探査した点が描くべき物体の内部に到達したら、一
個前の探査点との間を、改めてボクセルの間隔で表面を
見つける演算方法により、ほぼ静止画と考えてよい患者
の体表や内部臓器の三次元画像も、書き換えが必要にな
った場合には高速書き換えを可能にする。

【図面の簡単な説明】

【図１】ＩＰ記録原理説明図（マイクロ凸レンズ二次
元アレイを用いた場合）

【図２】ＩＰ再生原理説明図（マイクロ凸レンズ二次
元アレイを用いた場合）

【図３】ＩＰ記録原理説明図（ピンホール二次元アレ
イを用いた場合）

【図４】ＩＰ再生原理説明図（ピンホール二次元アレ
イを用いた場合）

【図５】マイクロ凸レンズ二次元アレイ斜視図

【図６】ピンホール二次元アレイ斜視図

【図７】大きい不透明物体撮影の説明図

【図８】大きい不透明物体像再生の説明図

【図９】修正されたＣＧによる二次元画像演算の説明
図

【図１０】修正されたＣＧによる三次元像再生の説明
図

【図１１】修正されたＣＧによるレンズアレイより奥
の物体の演算説明図

【図１２】修正されたＣＧによるレンズアレイ前後の
物体の演算説明図

【図１３】医用ボクセルデータの構造

【図１４】ボクセルデータからのＩＰ演算方法および
レンズアレイの設計から決まる視域の説明図

【図１５】手術器具のＩＰ演算方法説明図

【図１６】手術器具のＩＰ二次元画像計算領域を示す
図（先端がレンズアレイより手前の場合）

【図１７】手術器具のＩＰ二次元画像計算領域を示す
図（先端がレンズアレイより奥の場合）

【図１８】ボクセルデータからのＩＰ高速演算方法の
一例

【符号の説明】

１マイクロ凸レンズ二次元アレイ１’’ 仮想マイクロ凸レンズ二次元アレイ２感光体２’ 現像済感光体２’’ 仮想感光体３点光源３’ 点光源像４被写体像群４’ 現像済被写体像群４’’ 仮想被写体像群４ａ、４ｂ、４ｃ・・・被写体像４ａ’、４ｂ’、４ｃ’・・・現像済被写体像５拡散性面光源６視域７ピンホール二次元アレイ８不透明物体８’ 不透明物体像８’’ 仮想不透明物体９ボクセルデータ領域１０医用ボクセルデータ画像１１ボクセルＬＰレンズピッチＰａ、Ｐｂ、Ｐｃ・・・仮想感光体上の画素Ｓａ、Ｓｂ、Ｓｃ・・・仮想感光体上の画素に対応す
る三次元画像表面探索開始点Ｆａ、Ｆｂ、Ｆｃ・・・仮想感光体上の画素に対応す
る探索された三次元画像表面ＤＡ三次元画像表示（演算）範囲１２手術器具１２ａ手術器具先端１２ｂ三次元画像表示範囲内の手術器具最遠点Ａａ手術器具先端１２ａの仮想感光体上での画像領域Ａｂ点１２ｂの仮想感光体上での画像領域ＡＴ手術器具全体（１２ａ〜１２ｂ）の仮想感光体上
での画像領域

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号ＦＩテーマコート゛(参考）Ｇ０６Ｔ 1/00 ２９０Ｇ０６Ｔ 1/00 ２９０Ｂ５Ｂ０５７ 3/00 ３００ 3/00 ３００ // Ａ６１Ｂ 5/055 Ａ６１Ｂ 8/00 8/00 5/05 ３９０Ｇ０１Ｒ 33/32 ３８０Ｇ０１Ｎ 24/02 ５２０Ｙ (72)発明者岩原誠神奈川県横浜市神奈川区台町11−20−701 Ｆターム(参考） 4C093 AA22 AA26 AA30 CA29 FF35 FF42 4C096 AA18 AB27 DC33 DC36 4C301 FF21 JC12 JC13 KK17 LL02 4C601 FF11 JC15 JC18 JC19 JC20 JC25 JC26 KK21 KK22 LL01 LL02 5B050 BA03 DA01 EA19 EA27 FA02 FA06 GA04 5B057 AA09 BA03 BA06 CA13 CB12 CE08 DA16 DB03

Claims

【特許請求の範囲】

【請求項１】マイクロ凸レンズ二次元アレイと、前記
凸レンズ二次元アレイの各レンズの略々焦点面に位置す
る平面ディスプレイと、実体ある三次元物体または仮想
三次元物体の三次元構造データから、前記レンズアレイ
と組み合わせて目的の三次元画像が表示されるように、
前記平面ディスプレイの二次元画像を演算する、画像演
算部からなる、三次元画像表示装置に於いて、全画像変
更時を除き、表示すべき三次元画像の一部を変更する場
合に、変更する三次元物体の平面ディスプレイ用二次元
画像のみを演算し、既に演算された静止画像部分の平面
ディスプレイ用二次元画像とを、二次元画像同士で合成
することを特徴とする三次元画像高速演算方法。
【請求項２】ピンホール二次元アレイと、前記ピンホ
ール二次元アレイと所定の間隔を隔てて位置する平面デ
ィスプレイと、実体ある三次元物体または仮想三次元物
体の三次元構造データから、前記ピンホール二次元アレ
イと組み合わせて目的の三次元画像が表示されるよう
に、前記平面ディスプレイの二次元画像を演算する、画
像演算部からなる、三次元画像表示装置に於いて、全画
像変更時を除き、表示すべき三次元データの一部を変更
する場合に、変更する三次元物体の平面ディスプレイ用
二次元画像のみを演算し、既に演算された静止画像部分
の平面ディスプレイ用二次元画像とを、二次元画像同士
で合成することを特徴とする三次元画像高速演算方法。
【請求項３】二次元画像同士の合成方法として、変更
部分を静止部分に上書きすることを特徴とする請求項１
または請求項２記載の三次元画像高速演算方法。
【請求項４】二次元画像同士の合成方法として、変更
部分と静止部分を重み付け加算することを特徴とする請
求項１または請求項２記載の三次元画像高速演算方法。
【請求項５】患者の体表や内部構造等を示す画像の変
更が必要な場合を除き、刻々三次元的に位置が変化する
手術器具の平面ディスプレイ用二次元画像のみを演算
し、患者の体表や内部構造を示す画像等の既に演算され
た平面ディスプレイ用二次元画像とを、二次元画像同士
で合成することを特徴とする請求項１または請求項２記
載の三次元画像高速演算方法。
【請求項６】三次元位置・姿勢測定装置によって測定
される、手術器具の三次元的な位置・姿勢データとし
て、手術器具の先端の一点、および先端と他端を結ぶ
線上の一点からなる二点のみの位置データからその二点
を結ぶ直線を軸とする、所定の太さの棒として表示する
ことを特徴とする請求項５記載の三次元画像高速演算方
法。
【請求項７】目的に応じた三次元画像表示範囲を定
め、その範囲外の手術器具の画像を演算しないことを特
徴とする請求項５または請求項６記載の三次元画像高速
演算方法。
【請求項８】手術器具の二次元画像を演算するに当た
って、表示する手術器具の三次元画像の両端の点の視域
を示す多角錐が、それぞれ平面ディスプレイと交わる二
つの多角形内部、および手術器具の三次元画像の両端が
前記レンズアレイの前後にある場合には、前記二つの多
角形を結ぶ内接線で囲まれた範囲にほぼ等しい範囲の二
次元画像のみを演算し、手術器具の三次元画像の両端が
前記レンズアレイの同じ側にある場合には、前記二つの
多角形を結ぶ外接線で囲まれた範囲にほぼ等しい範囲の
二次元画像のみを演算することを特徴とする請求項６ま
たは請求項７記載の三次元画像高速演算方法。
【請求項９】患者の体表や内部構造等を示すボリュー
ムデータから、平面ディスプレイ用の二次元画像を演算
するに当たって、描くべき物体像の表面を探査すること
を、レンズアレイから最も飛び出した位置にあるボクセ
ルから始め、ボクセルの間隔より大きい間隔で探査し、
探査した点が描くべき物体の内部に到達したら、一個前
の探査点との間を、改めてボクセルの間隔で表面を見つ
ける演算方法により、患者の体表や内部構造等を示す三
次元画像の演算を高速に行うことを特徴とする請求項５
ないし請求項８のいずれかに記載の三次元画像高速演算
方法。