JPH03103222A - 内視鏡画像処理装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 ［産業上の利用分野］ 本発明は内？，Ｑ鏡的に体腔内に挿入して非侵襲的に病
態の診断を行なうものであって、特定位置の経峙的な変
化を観察する内祝鏡画像処理装置に関する。

［従来の技術と発明が解決しようとする課題〕近年、体
腔内にｍ長の挿入部を挿入することによって体腔内臓器
等を観察したり、必要に応じて処『９具チャンネル内に
挿通した処置具を用いて各種治療処置のできる内視鏡が
広く用いられている。

また、電荷結合素子（ＣＯＤ）等の固休躍像索子を躍像
手段に用いた電子内視鏡も種々提案されている。

上記内視鏡を利用した癌の診断、治療方法としては実開
昭５９−１　７３０２０シ｝公報、特開昭６２−１１４
５４．３＠公報、特開昭６２−２４７２３２月公報等に
よって示されるように、ヘマトボリフィリン誘導体く以
下、口ＰＤ）などの腫瘍に対して親和性の強い・投光物
質と、レーザ光との光化学反応を利用したものが提案さ
れている。

上記従来技術の診断方法は１つの静止画内において允光
している部位と発光していない部位との区別を行ない、
腫瘍部位を見付け出すことを目的に行なわれている。

ところで最近、このような蛍光物質を使った診断方法に
おいて、同じフレーミングで数分間内祝鏡画像の観察を
行い、この内視鏡画像の時系列的な変化を観察づること
が要望されている。この時系列的な観察が要望される理
由は、■経時的な発光強度の変化によって病変の進み具
合を知ることができる。■良性と悪性の腫瘍では蛍光の
強度の時間的な変化が異なるために、この時間を知るこ
とによって良性あるいは悪性を判断することができる。

■蛍光を発し始める時間差により血液速等の微小循環系
の測定ができる。（血液速の早い部分は栄光物質が早く
循環してくるため、蛍光を発するまでの時間が短い．） 本発明は上記の事情に鑑みて成されたものであり、動画
の経時的な変化を調べることにより詳細な生体情報を得
ることのできる内視鏡画像処理装置を提供することを目
的とする。

［課題を解決するための手段及び千段］本発明の内視鏡
画像処理装置は、被検査部位の光学像を電気信号に変換
して、映像信号を生戒する撮像手段と、撮像手段からの
映像信号によって得られる時系列的に変化する複数の画
像のうち、少なくとも１つの画像の特ｔ＊ｍを抽出する
抽出手段と観察位置の基準とするために合成された特徴
ｆ′Ｉ１と時系列的に変化する複数の画像とを表示づる
表示手段と、時系列的に変化する複数の画像を記録する
画像記録手段とを備えたものである。

本発明では、抽出手段によって任意の画像の特徴１？１
が？ｉＳ！察位置の基準とするために抽出される。

この特徴量は表示手段において時系列的に変化づる複数
の画像と合成して表示される。また、時系列的に変化す
る複数の画像は画像記録手段に記録される。

［実施例］ 以下、本発明の実施例を図面を参照して説明する。

第１図ないし第６図は本発明の一実施例に係り、第１図
は内視１ｔ装置の構成を説明するブロック図、第２図は
内視鏡装置の全体説明図、第３図はラプラシアンマトリ
クスの説明図、第４図は特ｙｉ昂抽出回路の構成を説明
するブロック図、第５図は画像処理部の構成を説明する
ブロック図、第６図は内祝鏡画像の写真であって、位愉
合せの説明図である。

第２図において、本実施例の内視鏡装＠１は内視鏡２と
、この内視鏡２に照明光を供給する光源部と内視鏡２か
ら送出される電気信号を信号処理する信号処理部とを右
する内祝鏡画像処理装置３と、この内視鏡画像処理装慟
３から出力ざれる映像信号を画面上に表示する表示手段
としてのモ二夕４とから構成されている。

前記内視鏡２は細長の挿入部６と、この沖入部６の後端
側に連設された大径の操作部７と、この操作部７の側部
から延設ざれたライトガイド及び信号用ケーブル８とを
備えている。

前記挿入部６の先端側には硬性の先端部９が設けられ、
この先端部９に隣接づる後方側に湾曲可能な湾曲部１１
が設けられている。更に、この湾曲部１１の後方には、
可撓性の軟性部１２が連設ざれている。前記湾曲部１１
は、ＩＩｉｒ記操作部７に設けられた湾曲操作ノブ１３
を操作することにより上下左右方向に湾曲できるように
なっている。

前記ライトガイド及び信号用ケーブル８の後端には、ラ
イトガイド及び信号用コネクタ１４が設けられでおり、
前記画像処理装同３のコネクタ受け１６に接続されてい
る。

前記内視鎖画像処理装置３は信弓ケーブル１７によって
前記モニタ４と接続されている。

第１図において、先端部９には撮像手段としての固体Ｉ
ｌ１像素子１８（以下、ＣＣＤと略記す。）が設けられ
ており、対物レンズ系１９を経て得られる生体の光学像
を電気信号に変換する。ＣＣＤ１８からの出力信号は所
定の！！間の電気信号（例えばＯ〜１ボルト〉に増幅づ
るためのアンブ２１に入力されようになっている。アン
ブ２１は、γ補正回路２２とＡ／Ｄコンバータ２３を経
て、切換スイッチ２４に接続されている。切換スイッチ
２４の出力は３つあり、各々Ｒメモリ２６，Ｇメモリ２
７，Ｂメモリ２８にノ１かれ、切換スイッチ２４からの
色信号を記憶するようになっている。

ＲＧＢの各メモリ２６，２７．２８は加算器２９．３０
．３１を経由し、Ｄ／Ａコンパータ３３．３４，３５に
接続ざれている。Ｄ／Ａコンバータ３３，３４．３５は
ＲＧＢそれぞれの色信Ｑをアナログ化してモニタ４に出
力する。

尚、Ｇメモリ２７の出力は加ｑ器３０の他に抽出手段と
しての特徴量抽出回路３７にも出力されるようになって
いる。

一方、画像信号をどのメモリ２６．２７．２８に書込む
かのｉｌｌ御と画像信号転送時の転送タイミングを制御
する制御信号発生部３８が設けられており、切換スイッ
チ２４とＲＧＢの各メ七り２６，２７．２８と特徴量抽
出回路３７とに接続されている。制御信月発生部３８は
同期信号発生回路３９にも接続されており、同期信号充
生回路３９からはモニタ４に上記ＲＧＢ色信弓に対する
同期悟＠ＳＹＮＣが出力されている。

また、制御イＳ＠発生部３８は光源部を構成づるＲＧＢ
フィルタ４１を駆動するモータ４２に接続されている。

この光源部は照明光を発生する光源ランブ４３を右し、
この光源ランブ４３を出錦した照明光は前記ＲＧＢフィ
ルタ４１を透過してＲＧＢの色光に順次分離ざれる。こ
の分離さ゜れた照明光はメッシュフィルタ４４を経てラ
イ１〜ガイド４６の入躬端而の照射される。このライト
ガイド４６は内視鏡２の先端部９に至り、ライトガイド
４６を伝達された照明光は配光レンズ系４５によって被
検部位に照ａ４される。

前記ｃｃｏｉ　ａからの出力電気信号は積分回路４７と
絞りサーボ部５５からなる絞り調整機構部４８に入力さ
れている。この絞り調整機構部４８は前記制御信号発生
部３８とも接続している。

前記Ｒ．Ｇ，Ｂメモリ２６，２７．２８の出力側は画像
記録手段としての画像記録部４９にも接続されており、
この画像記録部４９は前記同期信号発生回路３９と画像
処理部５１とに接続されている。

第４図において、特徴量抽出回路３７に入力された映像
信号はメインメモリ５０に記憶ざれる。

メインメモリ５０は、このメインメモリ５ｏ上の注目画
素を読み出すためのカウンタである読出しアドレスカウ
ンタ５２によって制御されるマトリックス用カウンタ５
３に接続されている。このマトリクス用カウンタ５３は
注目画素を演鋒処理するために第３図に示すように注目
画素５６を中心どした９×９のマトリクスのアドレスを
発生づるようになっている。マトリックス用カウンタ５
３は第３図のマトリクスの各係数を記憶する係数用ＲＯ
Ｍ５４と接続されており、この係数用ＲＯＭ５４は前記
メインメモリ５０から読み出した各々の注［］画素５６
を中心とした９×９の範囲の画素データと前記係数用Ｒ
ＯＭ５４の係数を各々累積乗節する累積乗算器５７に接
続されている。累積乗粋器５７はこの累積乗算器５７の
演鋒結果が所定のダイナミックレンジ外であった場合に
その値を補正する異常値補正回路５８に接続されている
。

また、映像データの周辺部を検出するために読み出しア
ドレスカウンタ５２に制（財）された周辺部検出回路５
９が設けられ、この周辺部検出回路５９は周辺部の映像
データを発生する周辺データ用ＲＯＭ６１とデータセレ
クタ６２に接続されている。このデータセレクタ６２は
前記周辺部検出回路５９の検出信号に基づいて周辺部デ
ータ用ＲＯＭ６１からの映像データと異常値補正回路５
８からの映像データとを切換えるようになっており、こ
のデータセレクタ６２によって選択された映像データは
サブメモリ６３に記憶されるようになっている。このサ
ブメモリ６３は前記加痺器２９，３０．３１に接続され
ている。

第５図において前記画像処理部５１は画像記録部４９か
らの映像データぐある初期ｉｉＴ！ｉ像を記憶する基準
位置メモリ６６を有している。また、この基準位置メ七
り６６の他に映像データを記憶づる作業用メモリ（Ｒ）
６７．作業用メモリ（Ｇ〉６８，作業用メモリ（Ｂ）６
９とを備えている。阜準位置メ七り６６と各作業用メモ
リ６７．６８．（３９は比較器７１に接続されており、
基準位置メモリ６６に記憶された画像との比較が行なわ
れるふうになっている。

前記比較器７１は演算処理装置７２に接続されており、
この演等処理装置７２は比較器７１からの信号によって
位置ずれの補正の後に蛍光情報を得るために数値化処理
を行なうようになっている。

この演譚処理装置７２にはａｔｉ範囲を指定するマスク
用メモリ７３とプリンタ，モニタ等の外部出力装置７４
と磁気ディスク等の補助記憶装置７６と画像中の注目部
分が指定されるマウス等の外部入力装置７７とが接続さ
れている。

上記のように構成された内視鏡画像処理装置３の動作を
説明する。

体腔内に挿入された挿入部６の先端部９に設けられたＣ
ＣＤ１ＥＨよ被写体像を電気変換して画像信号として出
力づる。画像信号はアンブ２１により所定の範聞の電圧
、本実施例ではＯボルトから１ボルトに変換される。こ
の画像信号はγ補正回路２２に入力ざれ、所定のγ特性
を持った画像信号に変換される。その後Ａ／Ｄｊンバー
タ２３においてある量子化レベル（例えば３ｂｉｔ）で
デジタル化される。その後、切換スイッチ２４を経由し
て制御信号発生部３８からの制御信号によりＣＣＤ１８
に入銅づる光学像が赤（Ｒ）照明の場合はＲメモリ２６
、緑（Ｇ）照明の場合にはＧメモリ２７、青（Ｂ）照明
の場合はＢメモリ２８に記憶される。各メモリ２６，２
７．２８は入出力が独立しており、入力と出力をそれぞ
れ独自のタイミングで行なうことができる。各メモリ２
６，２７．２８から出力されたＲ．Ｇ．Ｂ色信号は加算
器２９．３０．３１を経てＤ／Ａコンバータ３３．３４
．３５に転送される。Ｄ／Ａコンバータ３３．３４．３
５からの画像信号は制御信月発生部３８の制御のもとに
同期信号発生回路３９で作られた同期信号ＳＹＮＣと共
にＲＧＢ画像信号出力としてモニタ４に出力される。モ
ニタ４画面上には被写体像が表示される。また、ＲＧＢ
の各メモリ２６．２７．２８上の信号は同期信２３発生
回路３９の制御により画像記録部４９に所定の間隔（例
えば秒３０枚）で経時的に記録される。画像記録部４９
は例えば光ディスクや磁気ディスク等の大容κ記憶媒体
である。

一方、制御信号発生部３８からはＲＧＢ回転フィルタ４
１に対してモータ制御信号が送られている。モータ４２
は制御信号により切換スイッチ２４の切換タイミングに
合せてＲＧＢ回転フィルタ４１を回転駆動させる。Ｒ　
Ｇ　Ｂ回転フィルタ４１により光源ランブ４３からの照
明光は赤（Ｒ〉，緑（Ｇ），青（Ｂ）の３色に分離ざれ
、メッシュフィルタ４４を通過後、ライトガイド４６に
導かれる。この照明方式はいわゆるＲＧＢ面順次カラ方
式である。

また、ＣＣＤ１８からの信号は絞り調整機構部４８にも
接続ざれている。絞り調整機構部４Ｂ内の積分回路４７
は制御信月発生部３８からの制御信号によりＲ　Ｇ　Ｂ
　信号を桔分し、光量値として絞りザーボ部５５に転送
する。絞りサーボ部５５では光量値に基づきモータ４２
を制御し−（メッシュフィルタ４４の制御を行ない、光
量調整する。

ここで、モニタ４に表示さ゜れた被写体像の経時的な変
化を観察あるいは記録するためにモニタ４のフレーミン
グを常に同じ状態とする。すなわら、観察あるいは記録
を行なう被写体像がモニタ４に表示されたら図示しない
スイッチ等により制御信月を特徴量抽出回路３７に人カ
タる。この制御信号によって特徴量抽出回路３７は画像
データの持つ輪郭成分を抽出するようになっている。

第４図において、特徴量抽出回路３７はこの制御信号が
入力ざれるとＧメモリ２６からのＧ色信号をメインメモ
リ５０に記憶する。メインメ七り５０に記憶ざれた画像
データは読み出しアドレスカウンタ５２により注目画素
５６のアドレスが指定されると、この注目画素５６及び
その隣接づる画素に第３図に示すラプラシアンマトリク
スの各係数を掛合わせる。

この動作を説明づると、メインメ七り５０に記憶ざれた
画像データの注目画素５６を中心とした９×９四方の画
素のアドレスをマトリクス用カウンタ５３｛よ順次指定
づる。マトリクス用力・クンタ５３に指定ざれた画素デ
ータはメインメ七り５０から読み出ざれて累積乗惇器５
７に入力ざれる。

これと同時にマトリクス用カウンタ５３が指定したアド
レスは係数用ＲＯＭ５４に入力される。この係数用ＲＯ
Ｍ５４には第３図に示す各係数が格納されており、入力
されたアドレスに対応する係数が読み出され、累積乗算
器５７に入力ざれる。

累積乗算器５７はメインメモリ５０から読み出した注目
画素５６を中心とした９×９の画素データと係数用ＲＯ
Ｍ５４より読み出した画素データに対応した係数を順次
乗算すると共に累積加算を行い、その値を異常植補正回
路５８に出力する。ここで異常植補正回路５８は累積乗
算器５７により演算した値が表示を行なう場合のダイナ
ミックレンジ内に入っているかを検出りると共に、ダイ
ナミックレンジ外の異常値の場合にはダイナミックレン
ジ内の値となるように補Ｉ［を行なう。

一方、注目画素５６が画像の周辺部にある場合は、注目
画素５６の周囲の画素データが欠落しているために正し
い演算が行なわれない。このため読み出しアドレスカウ
ンタ５２のアドレス値により周辺部を周辺部検出回路５
９にて検出し、周辺用のデータを周辺部データ用ＲＯＭ
６１から読み出してデータセレクタ６２に入力する。こ
こでデ一タセレクタ６２は注目画素５６に対し正しい演
篩処理が行なわれた場合には異常値補正回路５８からの
出力を選択し、周辺部であるために正しい演鋒処理が行
なわれない場合には、周辺部データ用ＲＯＭ６１からデ
ータを選択してサブメモリ６３に出力する。

上記のように演算が行なわれることによって画像の輪郭
或分を抽出タることができる。特徴最抽出回路３７はこ
の輪郭成分を特徴量として出力する。

サブメモリ６３に記憶された画像データは特徴聞として
加算器２９．３０．３１に出力される。

加粋器２９．３０．３１では各メモリ２６，２７．２８
から入力されたＲ．Ｇ．Ｂ色信号に特徴量が合戒されて
この合或された信号はモニタ４に入力され、第５図の下
方に示づように表示される。

ここで、第５図の左上の図がオリジナルであって、メイ
ンメモリ５０に記憶ざれた被写体画像、右上の図が被写
体像から抽出された特徴量、すなわち輪郭成分を表示し
た画像、下方２つの図は特徴母を表示した画像とオリジ
ナルの被写体画像を合成したものである。左下の図は位
置ずれがない場合であり、右下の図は位置ずれのある場
合である。もし、モニタ４の画像が第５図の右下の図の
ようぐある場合は、同図の左下の図のように特徴量と被
写体像とが重なるまで内視鏡２の湾曲操作等によって７
レーミングの調整を行なう。この合成された画像表示に
より位置ずれの発生を手動で防止し、常に同じモニタ４
のフレーミングで被写体像の搬彰条件の均一化を行なう
こどが可能となる。

このように手動で粗い位置調整が行なわれた画像は画像
記録部４９に出力されて記録が行なわれる。更に、この
記録された映像データは画像処理部５１に出力ざれる。

この映像データのうち特徴が抽出に使われた画像は基準
位置メモリ６６に、それ以降の画像は作業用メモリ６７
，６８．６９に転送される。映像信号は上記のようにモ
ニタ４上で行なわれた粗い位置合せよりさらに精密な位
四合せを行なうために比較器７１に転送される。

比較器７１は基準位置メモリ６６上の画面と作業用メモ
リ６７．６８．６９上の画像間の差分を行い、その絶対
値の総和を演算処理装置７２に転送する。この場合の差
分は作業用メモリ６７，６８．６９上の画像を所定の方
向（例えば上下左右４方向〉で所定の大きざ（例えば２
．４．６，８．１０画素〉ずらして行なわれる。演算処
理装置７２は比較器７１からの信号に基づき総和値が最
小となる時を位置ずれがなくなったと判断し、その時の
方向と大きさを記録づる。以後、画像による演算を行な
う場合、この方向と大きさに基づき補正を行なう。

外部入力装置７７からはマウス等のボインティングディ
バイスにより画像中の注目部分が指定さ″れる。演悼処
！装置７２はこの領域情報をｌｂｉｔのマウス用メモリ
７３に記憶する。

演算処理装置７２では上記過程が終了した時点で数値化
処理を行なう。例えば、蛍光物質の一っであるフローレ
ッヒンは短波長の光で励起され蛍光を発りる。ＲＧＢ面
順次カラ一方式ではＢの照明時のみ蛍光を発ずることに
なる。このために蛍光の発生しないＲの画像で正規化す
ることにより、蛍光情報のみを得ることがぐきる。演算
処理装冑７２ではＢあるいはＲの演算をマスク用メモリ
７３で指定された領域に対して行い、その平均値をプリ
ンタ，モニタ等に外部出力装置７４または磁気ディスク
等の補助記憶装置７６に出力づる。このような数値化処
理を画像記録部４９上の画像に対して順次行なうことで
、経時的変化を客観的に数値として得ることができる。

本実施例では被写体画像を常に同じフレーミングで撮影
、記録することができるために被写体像部位の経時的な
変化を精密に知ることができる。

具体的には患者に口ＤＰ等の腫瘍に対して親和性の強い
栄光物質を投与し、肚瘍を内視鏡で観察することにより
蛍光の強度の時間的変化、蛍光を発し始める時間等を知
ることができる。

本実施例のように画像を構或する複数の映像信号のうち
少なくとも１つに対して、任意の画像を初明画像として
登録し、この特徴量を求め、通常の映像信号と合成表示
することにより、基準となる位置を明らかにし、ＩＩｄ
影条件を均一化して、画像を記録することができる。

史に、記録ざれた画像は，￥′Ｉｉ精度の位置合せを行
なった後に指定領域の経時的変化を数値として求めるこ
とにより内″ｇｌ鏡画像の経時的な変化から詳Ｉ１１１
な診断情報を得ることが可能となる。これにより数値デ
ータに基づいた診断が可能となり医学的に重要な情報を
蓄積、解析することが容易となる。

また、数値データを組合せで映像信号の特定部分を抽出
することにより異常部、正常部の識別や、巽常部間にお
ける差ｉＣを明確にづるこどｂ可能である。

尚、本発明の実施例では面順次式電子内視鏡に関して述
べたが内？！鏡としては゛市子内視鏡ぐも、外付【プＴ
Ｖカメラが装着された光学ファイバによるイメージガイ
ドを有する光学式内８Ｎ鏡でも良い。

また、特徴吊抽出としてＧ画像のみを用いたがＲＧＢ仝
画像を用い、色彩的な特徴出を使用しても良い。

［発明の効果］ 以上説明したように本発明によれば特ｙｉ吊と時系列的
に変化づる複数の画像とを表示することによって動画の
経峙的な変化を調べることにより詳細な生体情報を得る
ことができる。

【図面の簡単な説明】

第１図ないし第６図は本発明の一実施例に係り、第１図
は内視鏡装置の構成を説明するブロック図、第２図は内
視鏡装蔭の全体説明図、第３図はラプラシアンマトリク
スの説明図、第４図は特徴昂抽出同路の構成を説明する
ブＬ１ツク図、第５図は両像処理部の個性を説明づるブ
ロック図、第６図は内視鏡画像の写Ｑであつ”Ｃ、位置
合せの説明図で・ある。 １・・・内視鏡装置　　　２・・・内視鏡３・・・西？
ＪＡ鏡画像処理装’（ｔ’ｔ１８・・・固体囮■素子 ２９，３０．３１・・・加０器 ３７・・・特徴吊抽出回路　４つ・・・画像記録部５１
・・・画倣処理部 第２図 第３図 第５図 手続ネ］ｎ正書（自発） １．事件の表示 発明の名称 ３．補正を寸る者 事件との関係 住　　所 名　　称 ４．代理人 住所 平成１年特許願第２３４５１号 内視鏡画像処理装置

Claims (1)

1. 【特許請求の範囲】 被検査部位の光学像を電気信号に変換して、映像信号を
   生成する撮像手段と、 前記撮像手段からの映像信号によって得られる時系列的
   に変化する複数の画像のうち、少なくとも１つの画像の
   特徴量を抽出する抽出手段と、観察位置の基準とするた
   めに合成された前記特徴量と前記時系列的に変化する複
   数の画像とを表示する表示手段と、 前記時系列的に変化する複数の画像を記録する画像記録
   手段と、 を有することを特徴とする内視鏡画像処理装置。