JPH01209415A - 計測機能付き内視鏡装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 ［発明の目的コ （産業上の利用分野） この発明は二次元の規則的なパターン光を照射して撮像
し、パターンの歪みから被写体の凹凸等を非接触に計測
する計測機能付き内視鏡装置に関する。

（従来の技術） 一般に内視鏡装置は、生体あるいは機械装置等の観察対
象体の内部（以下、体腔内等と称す）に内視鏡スコープ
を導入し、このスコープの先端部に設けた光学撮像系に
より体腔内等の被写体を撮像し観察するのに利用されて
いる。

この内視鏡にレーザスポットアレイや変形格子等の二次
元の規則的なパターン光を被写体に投射する手段を設け
、撮像した画像における前記パターンの歪みを計測して
被写体表面各部分の三次元的な位置情報を求め、凹凸等
の形状情報を得る計測機能を持つ内視鏡装置がある。

二次元の規則的なパターン光を得る方法の一例を第８図
に示す０例えば直径的２０μｍ程の透過型グラスファイ
バ２６ａ、２７ａを並列に一層に隙間なく並べた数ｍｍ
角程度の２枚のシート２６．２７を各層のファイバが互
いに直交するように貼合せた回折格子２３を用いる。こ
の回折格子２３に、第９図に示すようにレーザ光源のオ
シレータ２８から発したレーザ光２９を垂直入射するこ
とにより、そあ前方に正方格子状の輝点アレイ（以下、
スポット光と称す）２５を発生させることができる。

このようなパターン光発生手段を用いて、第６図および
第７図に示すように、内視鏡スコープ先端部２１から被
写体２４にスポット光２５を投射し、視差Ｐａをもって
撮像部（例えば固体撮像素子：ＣＣＤ）２２により撮影
する。

なお、実際には撮像素子２２の直前に対物レンズ等の光
学系が配されているが、ここでは説明を簡易にするため
図示省略し、撮像素子２２と一体として説明する。また
第６図において、内視鏡スコープ先端部２１には、図示
しない照明用ライトガイドおよび照射レンズを嵌めた照
明孔、送気・送水孔、吸引孔を兼ねた鉗子孔等を備えて
いる。

回折格子２３と、この回折格子に内視鏡本体内のパター
ン投射光源としてのレーザ光源オシレータ等からの投射
光を導光するライトガイド３４とは、上記鉗子孔および
その通路を利用してスコープ先端部２１まで導入しても
よいし、あるいは別途に専用に設けてもよい。

第５図はこのようにして被写体２４にスポット光２５を
投射して撮像した画像の一例である。

このようなスポット光の他にも、規則的なパターン光と
して縦縞状パターンを発生して被写体に投射してもよい
、第４図は縦縞状パターン光により撮像した画像の一例
である。

゛被写体に凹凸があると、前記の視差Ｐａにより撮像画
像のパターンに歪みが生じる。この歪みの度合いを計測
することにより被写体表面の各点の三次元位置を算出す
ることができる。この算出時の原理については後述する
。

（発明が解決しようとする課題） ところが、上述したようなパターンの歪みを自動的に検
出するためには、投影したパターンと撮影画像上のパタ
ーンとの各点の対応を正しく認識する必要がある。

上述のようにパターン光投射部（回折格子２３）と撮像
部（レンズ等を含む撮像素子２２）との間の視差Ｐａに
より、画像上のパターン光の歪みが生じるが、この歪み
は、視差Ｐａと平行な方向（第５図の左右方向）にのみ
現れる。

パターン上の各スポットを判別するのに、視差Ｐａと垂
直な方向（第５図の上下方向）において同系列にあるス
ポット列を、例えば同じ次数あるいは同次項と呼称する
。

そして丁度中心にあるスポット列を０次項とし、第５図
の右方向に順次＋１次項、＋２次項、・・・、また第５
図の左方向に一１次項、−２次項、・・・と命名して区
分する。

このとき、どの次数の項もほぼ同じ光量で投射すると、
撮像画像を０と１との値のみを持つ二値データ化してパ
ターンを検出するとき、どの次数のパターンも略同じ大
きさとなり、次数の判別が困難になる。このため次数の
判別が容易になるように、従来は特定の次数のスポット
列、例えば０次項についてのみ、′他の次数のスポット
光よりも大きな光量で強調投射するような方法が採られ
ていた。

しかしながら、被写体表面は当然ながら平坦ではなく、
凹凸や遠近等があり、また人体内部の臓器であれば粘膜
の濡れなどがあるように表面の状態も撮影に好適とは限
らない、このため二値化処理によるパターンの検出の際
に、強調した０次項の撮像パターンにしみ出しなどが生
じ、隣接する＋１次項のパターンとの分離が困難になる
ような場合も発生する。また、同一の光源から発した光
を０次項により多くの光量を配分するようにして投射す
るため、周辺の多次項の光量が不足気味となり、スポッ
トの検出抜けが生じる場合などもある。さらに上記検出
の際には、二値化された画像データに対し、１の値を持
つデータ領域について退縮を行ない細線化して中心点等
の抽出を行なうなどの複雑な画像処理が必要である。

このように、画像上の各点の対応を正しく認識するため
には極度に複雑かつ困難な処理を伴うことになる。また
こうした複雑かつ困難な処理を実行するには当然長時間
を要することにもなる。

この発明は、このような従来の事情に鑑みこれを解決す
べき課題とするものであり、撮像画像上のパターンの中
心点等の抽出などの複雑な画像処理を行なわなくとも、
容易かつ迅速に、被写体上の望む部位の少なくとも三次
元位置情報を計算することができ、これを元にした複数
点間の距離・高さなどの情報を得ることが可能な計測機
能付き内視鏡装置を提供することを発明の目的とするも
のである。

［発明の構成］ （課題を解決するための手段） このような目的を達成するために、この発明に係る計測
機能付き内視鏡装置では、観察対象体の内部に導入し、
被写体を撮像するスコープの先端部から二次元の規則的
なパターンを持つ照射光を被写体に投射する投射手段と
、この投射手段により被写体に投射された光の反射光を
撮像して得たパターン投影画像を表示し、この投影画像
上の任意の１点ないし複数点の指定を受付けてその座標
値を算出する指定手段と、この指定手段により指定され
た１点ないし複数点の各々に対応する前記パターン上の
配列情報を得、この各点の配列情報と前記指定手段によ
り指定された各点の前記投影画像上の座標値とから、こ
の１点ないし複数点に関する少なくとも三次元座標値を
算出する演算手段と、を備えたことを特徴とするもので
ある。

（作用）　。

上述したような各構成手段を備える計測機能付き内視鏡
装置によれば、投射手段により観察対象体内部の被写体
に対してスコープの先端部から二次元の規則的なパター
ンを持つ照射光を投射し、この被写体に投射された光の
反射光を撮像して得たパターン投影画像を指定手段によ
って表示するとともに、この投影画像上の任意の１点な
いし複数点の指定を受付けてその座標値を算出する。ま
た、前記指定された１点ないし複数点の各々に対応する
前記パターン上の配列情報を得、この各点の配列情報と
前記指定手段により指定された各点の前記投影画像上の
座標値とから、演算手段によって、１点ないし複数点に
関する少なくとも三次元座標値が算出される。

こうして算出された各点の三次元座標値を元に、複数点
間の距離や高低差などを容易に求め、表示することも可
能にすることができる。

このようにして、簡易に被写体表面の凹凸等の計測情報
が得られるようになる。こうして、上述の課題を解決す
ることが可能になる。

（実施例） 第１図は、この発明に係る一実施例の計測機能付き内視
鏡装置の要部の構成を示すブロック図である。この一実
施例装置においては、第２図に示したような投影パター
ンの撮影画像上で２つの点を指定し、その２点間の距離
および高低差を求めて表示するように為されている。

第１図において、通常の内視鏡照射光源１の他に、二次
元の規則的なパターンを持つ照射光を発生させるための
光源であるパターン投射光源２が設けられている。パタ
ーン投射光源２としては、例えば特定の波長の°レーザ
光を発するオシレータ等により構成することができる。

また、通常の内視鏡装置の本体部構成要素である、カメ
ラコントロールユニット（以下、ＣＣＵと略称する）４
、デコーダ５、Ａ／Ｄ６、フレームメモリ７、Ｄ／Ａ８
、およびモニタ９の他に、撮影画像上の点の指定、配列
情報の入力、演算およびその結果の表示等を行なうため
の各部が設けられている。

すなわち、モニタ９に表示された第２図のような投影パ
ターンの撮影画像上で２つの点を指定するためのポイン
ティングデバイスであるマウス１０がある。また、その
２点の配列情報である。スポットの次数をキー人力する
場合等に使用するキーボード１１がある。さらに、同図
において符号１２ないし１７を付した各処理部がある。

また、第６図は内視鏡スコープの先端部の要部の構成例
を示した図である。この例ではスコープの長手方向に対
し垂直な方向の被写体を観察する側視型のスコープを示
している。

第１図のパターン投射光源２から発された、例えば特定
の波長のレーザ光は、第６図のライトガイド３４の一端
に導入され、スコープ先端部２１まで導光されてスコー
プ先端部２１のライトガイド３４の他端から回折格子２
３に向けて放射される。そして回折格子２３を通過し、
二次元の規則的なパターン光（スポット光）２５となっ
て被写体２４に投射される。このとき回折格子２３に放
射するレーザ光の当て方を工夫することにより、０次項
だけを他の次数の各項よりも強調したスポット光２５を
得ることも可能である。

被写体２４に投射されたスポット光２５は被写体２４の
表面部分で乱反射され、その反射光かり示しない光学系
を介して撮像素子２２に受光され撮像される。撮像素子
２２にて撮像されたスポット光２５による被写体の画像
は、図示しない信号線により内視鏡本体に送られる。

なお、スコープ先端部２１には、この他に図示しない、
第１図の内視鏡照射光源１からの照明光を導光する照明
用ライトガイドや、送気・送水孔、吸引孔、鉗子孔等が
゛ある。

撮像素子２２に入射して撮像され、図示しない信号線に
より内視鏡本体に送られた被写体の画像信号は、第１図
のカメラコントロールユニット（ＣＣＵ）４に送られる
。ＣＣＵ４ではこの画像信号を信号処理し、例えばアナ
ログ映像信号の輝度信号Ｅｙと２つの色差信号（Ｅｙ−
Ｅｒ）および（Ｅｙ−Ｅｂ）として、デコーダ５に出力
する。

デコーダ５では、上記アナログ映像信号を、例えばＲ〈
赤）、Ｇ（緑）、Ｂ（青）のカラー信号に分離・再編す
る。そしてＡ／Ｄ６にてデジタル信号に変換された後、
Ｒ，Ｇ、Ｂそれぞれのフレームメモリ７に格納される。

フレームメモリ７に格納されたカラー映像情報は、Ｄ／
Ａ８にて再びアナログ信号化され、モニタ９に表示され
る。

第２図は、この一実施例における投影パターンの撮影画
像の例を示した図であり、第３図は、回倒の装置におけ
る照射系および撮像系等の光学配置を示した図である。

第２図に示したようなスポット光の撮影画面上での任意
のスポットの中心点く撮影点と称す）の座標と、この点
に対応する被写体表面の実際の点く対応点と称す）の３
次元座標値との関係について説明する。第３図において
、Ｕ−Ｖ平面で示される撮影画面上での撮影点の座標を
（Ｕ、Ｖ）、レンズ２０を座標中心としたＸＹＺ座標空
間における対応点の３次元座標を（ｘ、ｙ、ｚ）とする
と： ｚ＝ｄ／（ｔａｎθ１　＋ｔａｎθ２）−・・・■ｘ＝
ｕ−ｚ／１　　・・・・・・・・・・・・・・・・・・
・・・ψ■ｙ＝ｖ−２／ｌ　・・・・・・・・・・・・
・・・・・・・・・・■で表わされる。ここで、ｌは対
物レンズ２０と撮像素子２２間の距離（即ち視差Ｐａ）
である、また、θ２はレンズ２０から見た対応点のＺ軸
との角度で；　　　− θ２＝ｔａｎ−璽（ｕ／ｌ）・・・・・・・・・・・・
・・■により求められる。θ１はパターン光（スポット
光）の投影される方向で、パターン光の次数りにより； θ１　＝　ｓｉｎ’　　（ｈ・λ／Ｄ）　　・・・・・
・・・・・■（但し、λ：レーザ光波長、Ｄ＝回折格子
間隔）と表わされる。

従って、三次元計測を行なう場合には、各パターン光の
中心点の撮影画面上での座標（ｕ、ｖ）およびその点の
次数りが認識されれば、三次元座標値を算出することが
できる。

ところが、このような処理を自動的に行なうには、撮影
画像からのパターンの正確な抽出やその次数の対応付は
等、困難かつ複雑な処理が必要であり、当然ながら処理
時間も長くかかる。

そのため、この発明においては、被写体画像上の任意の
１点ないし複数点についてのみ、その画像上の座標およ
び対応する次数をマウスやキーボード等を利用して指定
・入力することにより、上記抽出等の複雑な処理に要す
る時間を節約し、簡易かつ迅速に望む点の、少なくとも
三次元座標値を算出できるようにしたものである。

さらに、この一実施例装置にあっては、任意の２点につ
いて上記座標および次数を指定・入力することにより、
この２点の各三次元座標値を算出し、これらの値から２
点間の距離と高低差を求めて表示するように構成してい
る。このような構成とすることにより、最も要求頻度の
高い、被写体表面の任意の２点間の距離と高低差が簡単
に即時に得られるようになる。

例えば、計測対象の被写体にパターン光を投影し、観察
しているときに、表示画面上に第２図のようなパターン
光分布が得られたとする。そして第２図上の２点Ａ、Ｂ
間の距離と高低差を測定したいとした場合に、先ずマウ
ス１０を用いて図示しない画面上のカーソルを動かし、
モニタ９の画面上で２点Ａ、Ｂを措定する。

第１図において、「２点Ａ、Ｂの座標指定」１２はマウ
ス１０の移動に応じ、モニタ９の画面上のカーソルを追
従・移動させる。そして、マウス１０により２点Ａ、Ｂ
が指定されると、「２点Ａ、Ｂの座標指定」１２にてそ
れぞれの画面上の座標が読取られ、ｒｕ、Ｖ、θ２の算
出」１４に送られる。ｒｕ、Ｖ、θ２の算出」１４では
、２点Ａ、Ｂそれぞれについて、上記画面上の座標から
撮像素子２２上の座標ｕ’、　ｖと、角度θ２が、上述
の式■等に従って算出される。

一方、２点Ａ、Ｂそれぞれについての次数が、観察者に
より目で見て判断され、各次数の値がキーボード１１よ
り入力される１例えば、第２図の場合であれば、点Ａが
＋２次、点Ｂが一２次となる。そして「２点Ａ、Ｂの次
数入力」１３にてその入力値が受取られ、「θ１の算出
」１５に送られる。「θ１の算出」１５では、この次数
の値から角度θ１が上述の式■により算出される。

こうして得られた座標ｕ、ｖと角度θ２および角度θ１
の値を元に、上述の式■〜■に従って、「２点Ａ、Ｂの
ｘ、ｙ、ｚＫ出」１６により２点Ａ、Ｂの三次元座標値
ｘ、ｙ、ｚが各々算出される。

この２点Ａ、Ｂの三次元座標値ｘ、ｙ、ｚから２点間の
距離および高低差が「高低差、距離の算出」１７におい
て計算される。さらに「高低差、距離の算出」１７にお
いて数値情報あるいは認識し易い図形に編集される。こ
うして形成された認識容易な表示画像が、フレームメモ
リ７に保持される原画像とともに、モニタ９に表示され
る。

こうして、観察対象の体腔内等の被写体表面上の２点間
の高低差や距離の情報が簡便に計測されるようになる。

もちろん、このようにして２点間の高低差と距離だけを
求めるようにするのではなく、１点の指定・次数入力だ
けでも、上述の式■〜■によりその三次元座標を算出す
ることも可能である。また複数の点を同時に指定・入力
して、その各三次元座標値の算出・表示や、各点の間の
距離等の情報を求め、数値や図形により表示するように
構成してもよい。

なお、この発明は上述の実施例構成に限定されるもので
はなく、例えば第４図に示したような縦縞状の投影パタ
ーンなどについても適用することができる。その場合の
点の指定および次数の入力方法は上述の実施例と全く同
じでもよい。

また、二次元の規則的なパターンの投射光を実現する方
法も、上述したような透過型グラスファイバを並列に一
層に並べたシートを縦横に重ねた構造の回折格子を利用
する方法だけでなく、例えば変形格子等の別の方法によ
ることも勿論可能である。

［発明の効果］ 以上詳細に説明したように、この発明に係る計！機能付
き内視鏡装置によれば、計測対象の被写体表面上の任意
の１点ないし複数点について、その画面上での座標を指
示し、かつ配置情報を得るようにしたため、パターンの
抽出や配置情報の検出のための困難かつ複雑な長時間を
要する処理を省略することができる。従って、計測対象
の任意の１点ないし複数点についての、少なくとも次元
座標値が簡便かつ迅速に算出されるようになり、望む情
報が容易に即時に得られるようになるという効果が得ら
れる。こうして内視鏡を利用した被写体の三次元計測が
非常に簡便に行なえるようになり、内視鏡診療の効率を
高めることが可能になる。

【図面の簡単な説明】

第１図はこの発明に係る一実施例の計測機能付き内視鏡
装置の要部ブロック図、第２図は一実施例における投影
パターンの撮影画像例の説明図、第３図は一実施例装置
における照射系および撮像系等の光学配置を示した図、
第４図は縦縞状パターンの投射光による撮影画像例を示
す図、第５図はスポット光による撮影画像例を示す図、
第６図および第７図は内視鏡スコープ先端部と被写体と
の関係図、第８図および第９図はファイバ回折格子の構
造とスポット光の発生状態との説明図である。 １・・・光源　２・・・パターン投射光源　３・・・ス
コープ　４・・・カメラコントロールユニット　５・・
・デコーダ　６・・・Ａ／Ｄ　　７・・・フレームメモ
リ　８・・・Ｄ／Ａ　　９・・・モニタ　１０・・・マ
ウス　１１・・・キーボード　１２・・・２点Ａ、Ｂの
座標指定　１３・・・２点Ａ、Ｂの次数人力　１４・・
・Ｕ、Ｖ、θ２の算出１５・・・θ１の算出　１６・・
・２点Ａ、ＢのＸ、Ｙ。

Claims (1)

【特許請求の範囲】
1. （１）観察対象体の内部にスコープを導入して被写体を
   撮像する内視鏡装置において、 二次元の規則的なパターンを持つ照射光を被写体に投射
   する投射手段と、 この投射手段により被写体に投射された光の反射光を撮
   像して得たパターン投影画像を表示し、この投影画像上
   の任意の１点ないし複数点の指定を受付けてその座標値
   を算出する指定手段と、この指定手段により指定された
   １点ないし複数点の各々に対応する前記パターン上の配
   列情報を得、 この各点の配列情報と前記指定手段により指定された各
   点の前記投影画像上の座標値とから、この１点ないし複
   数点に関する、少なくとも三次元座標値を算出する演算
   手段と、 を備えたことを特徴とする計測機能付き内視鏡装置。