JP6877672B2 - 電子内視鏡システム及びデータ処理装置 - Google Patents
電子内視鏡システム及びデータ処理装置 Download PDFInfo
- Publication number
- JP6877672B2 JP6877672B2 JP2021511682A JP2021511682A JP6877672B2 JP 6877672 B2 JP6877672 B2 JP 6877672B2 JP 2021511682 A JP2021511682 A JP 2021511682A JP 2021511682 A JP2021511682 A JP 2021511682A JP 6877672 B2 JP6877672 B2 JP 6877672B2
- Authority
- JP
- Japan
- Prior art keywords
- lesion
- degree
- image
- value
- section
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00043—Operational features of endoscopes provided with output arrangements
- A61B1/00045—Display arrangement
- A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0661—Endoscope light sources
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0661—Endoscope light sources
- A61B1/0669—Endoscope light sources at proximal end of an endoscope
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0661—Endoscope light sources
- A61B1/0684—Endoscope light sources using light emitting diodes [LED]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/07—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements using light-conductive means, e.g. optical fibres
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Surgery (AREA)
- Physics & Mathematics (AREA)
- Biophysics (AREA)
- Veterinary Medicine (AREA)
- Optics & Photonics (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Endoscopes (AREA)
Description
これに対して、画像の明るさによる炎症部の評価値の変動を抑えて安定した評価値の計算を行い、かつ、評価値の計算の処理負荷を抑えることが可能な内視鏡システムが知られている(特許文献1)。
このような構成によれば、画像の明るさによる炎症評価値の変動を抑えて、安定した炎症評価値の計算を行い、かつ、炎症評価値の計算の処理負荷を抑えることができる。
前記器官内の領域の奥行き方向に沿った所定の区間内で撮像された複数の画像それぞれの生体組織の病変の程度を示す評価値を求めるよう構成された評価値算出部と、
前記評価値のばらつきの程度に基づいて、前記区間内で病変の程度が変化しているか否かを判定するよう構成された判定部と、
前記評価値を代表する前記区間の代表値を、病変の程度が変化していると判定された場合と、変化していないと判定された場合とで異なる方法で定めるよう構成された代表値決定部と、を備えることを特徴とする。
前記判定部は、さらに、前記撮像位置の情報を利用して、前記病変の程度が変化している前記区間内の領域を特定することが好ましい。
前記電子内視鏡システムは、前記撮像位置の情報を利用して、前記画像が前記複数の区間のうちのどの区間で撮像されたかを特定するよう構成された区間特定部をさらに備えることが好ましい。
前記代表値決定部は、前記区間のそれぞれについて前記代表値を定めるよう構成されていることが好ましい。
前記判定部は、前記評価値を前記撮像位置に回帰させた回帰直線の傾きを用いて前記判定を行い、前記傾きが所定値以上の大きさである場合に、前記区間内で前記病変の程度が変化していると判定するよう構成されていることが好ましい。
前記器官内の領域の奥行き方向に沿った所定の区間内で撮像された複数の画像それぞれの生体組織の病変の程度を示す評価値を求めるよう構成された評価値算出部と、
前記評価値のばらつきの程度に基づいて、前記区間内で病変の程度が変化しているか否かを判定するよう構成された判定部と、
前記評価値を代表する前記区間の代表値を、病変の程度が変化していると判定された場合と、変化していないと判定された場合とで異なる方法で定めるよう構成された代表値決定部と、を備えることを特徴とする。
以下説明する実施形態の電子内視鏡システムのプロセッサは、電子内視鏡で撮像した器官内部の生体組織の画像を処理して病変の程度を評価する。病変の程度とは、少なくとも病変の強さを含み、一実施形態によれば、さらに病変の広がりを含む。器官内部の生体組織を撮像する場合、例えば、管状の器官の開口端から器官内部の奥行き方向の撮像対象とする最深部の位置まで電子内視鏡を挿入し、そこから、器官の開口端に向かって略連続的に移動しながら、器官内部の生体組織を撮像する。奥行き方向は、開口端から最深部の側に進む方向、及び最深部の側から開口端の側に進む方向の双方を含む。
生体組織の撮像される画像は、一定の時間間隔で連続して撮像した動画でもよく、また、器官内で電子内視鏡を移動しながら断続的に撮像した複数の静止画であってもよい。電子内視鏡を移動させる場合、電子内視鏡の速度を必ずしも一定にする必要はなく、また、電子内視鏡が通過した場所に戻って撮像する、すなわち移動方向を部分的に逆方向にすることもできる。なお、一実施形態では、動画の場合、電子内視鏡を略同じ速度で略同じ方向に移動しながら撮像する。
病変の程度の評価では、プロセッサは、白色光の照明光で照明した生体組織の複数の画像それぞれに対して、画像それぞれにおける病変の強さを示す画像評価値(評価値)を算出する。この画像評価値は、特に限定されないが、例えば、病変が炎症である場合、病変部(炎症部)の炎症の程度を、病変部の色成分の情報(例えば、赤色)に基づいて評価する炎症評価値を挙げることができる。
評価対象の器官は、特に限定されないが、例えば、咽頭〜食道、胃、十二指腸、小腸、大腸等の消化管等を挙げることができる。
ここで、区間とは、撮像位置のサンプリング間隔以上の距離で区切られた区間である。一実施形態によれば、この区間は、予め定められた間隔で区切られた区間である。予め定めた間隔は、一定の間隔であってもよいし、一定でなくてもよい。また、予め定めた間隔は、代表評価値の算出の途中で随時変更してもよい。例えば、予め細かい間隔で区切った区間を、より大きな区間に、例えば器官内で他の部分と識別可能に区別することができる部分であるセグメントに変更してもよい。
図1は、本発明の一実施形態の電子内視鏡システム1の構成を示すブロック図である。図1に示されるように、電子内視鏡システム1は、電子スコープ100、電子内視鏡用プロセッサ200、モニタ300及びプリンタ400を備えている。
あるいは、光源部230は、所定の色の波長帯域の光を出射する複数の発光ダイオードを備える。発光ダイオードから出射した光はダイクロイックミラー等の光学素子を用いて合成され、合成した光は照明光として、図示されない集光レンズにより集光された後、電子スコープ100のLCB(Light Carrying Bundle)102の入射端に入射されるように光源部230は構成される。発光ダイオードに代えてレーザーダイオードを用いることもできる。発光ダイオード及びレーザーダイオードは、他の光源と比較して、低消費電力、発熱量が小さい等の特徴があるため、消費電力や発熱量を抑えつつ明るい画像を取得できるというメリットがある。明るい画像が取得できることにより、後述する炎症に関する評価値の精度を向上させることができる。
なお、図1に示す例では、光源部230は、電子内視鏡用プロセッサ200に内蔵して設けられるが、電子内視鏡用プロセッサ200とは別体の装置として電子内視鏡システム1に設けられてもよい。また、光源部230は、後述する電子スコープ100の先端部に設けられてもよい。この場合、照明光を導光するLCB102は不要である。
さらに、画像処理ユニット220は、画像内の各画素の、後述する画素評価値に応じて各画素の色を置換したカラーマップ画像を生成する。画像処理ユニット220は、器官における病変の程度の評価結果の情報及び上記カラーマップ画像をモニタ表示するためのビデオ信号を生成し、モニタ300に出力する。これにより、術者は、モニタ300の表示画面に表示された画像を通じて注目する器官の奥行き方向に広がる病変の程度の評価を受けることができる。画像処理ユニット220は、必要に応じてプリンタ400にカラーマップ画像及び器官における病変の程度の評価結果の情報を出力する。
なお、図2に示す実施形態では、電子内視鏡システム1は、後述する位置測定システム250を備え、画像処理ユニット220は、撮像位置情報処理部220cを備えるが、別の一実施形態では、電子内視鏡システム1は、位置測定システム250及び撮像位置情報処理部220cを備えない。また、画像処理ユニット220は、病変部位算出部220fを備えるが、別の一実施形態では、病変部位算出部220fを備えない。
画像評価値算出部220bは、生体組織の赤色の程度を画素毎に数値化した生体組織赤色度を画素評価値とし、画像全体における画素評価値を積算処理することにより1つの数値に纏めた値を、画像評価値として算出する。すなわち、生体組織の炎症の強さを、生体組織の赤色の程度を利用して評価する。以下、炎症の程度を示す生体組織赤色度を計算する形態を一例として説明する。
前処理部220aは、生体組織が示す赤色の程度を評価するための画像に前処理を施す部分である。前処理部220aは、一例として図示されるように、RGB変換、色空間変換、基準軸の設定、及び色補正の各処理を行う。
前処理部220aは、ドライバ信号処理回路112より入力した画像信号(輝度信号Y、色差信号Cb、Cr)を所定のマトリックス係数を用いて画像色成分(R、G、B)に変換する。
前処理部220aは、さらに、画像色成分に変換された画像データをRG平面に正射影する色変換を行う。具体的には、RGB3原色で定義されるRGB色空間の各画素の画像色成分がRGの画像色成分に変換される。概念的には、RGB色空間の各画素の画像色成分が、R、G成分の画素値に応じてRG平面内(例えば、R成分の画素値=0〜255、G成分の画素値=0〜255の値を取るRG平面内の区画)にプロットされる。以下、説明の便宜上、RGB色空間の各画素の画像色成分の点及びRG色空間内にプロットされた画像色成分の点を「画素対応点」と記す。RGB色空間のRGBそれぞれの画像色成分は、順番に、例えば、波長620〜750nm、波長495〜570nm、及び波長450〜495nmの色成分である。なお、色成分は、色空間(色平面も含む。)を構成するものである。色相及び彩度は、「色成分」から除かれる。
前処理部220aは、生体組織赤色度を評価するために必要なRG平面内の基準軸を設定する。
このような基準軸の設定を行った後、正射影された画像の色成分に対して後述する赤色の程度を示す生体組織赤色度を算出する処理が行われる。この生体組織赤色度を算出する処理の前に、正射影された画素データに対して色補正が行われる。
図3に示す基準軸は、一例であり、疾患の種類に応じて基準軸は種々異なる。
画像評価値算出部220bは、画素の中から一つの注目画素を選択し、選択した注目画素について、注目画素の色成分の情報に基づいて炎症の程度を計算するためのずれ角度を算出する。すなわち、画素の色成分の情報に基づいて生体組織の赤色の程度を数値化する数値化処理を行う。図4は、一実施形態で用いる生体組織赤色度を計算するためのずれ角度を計算する方法を説明する図である。具体的には、画像評価値算出部220bは、図4に示すように、ヘモグロビン変化軸AX1と粘膜変化軸AX2との交点を基準点O’とし、基準点O’と注目画素の画素対応点Pとを結ぶ線分Lの向きが、基準軸AX1に対してずれるずれ角度θを算出する。なお、基準点O’は座標(−150,−75)に位置する。基準点O’を座標(−150,−75)にする例に挙げたが、これに限定されるものではない。上記基準点O’は、適宜変更可能であり、例えば、RG色空間のR軸とG軸の交点であってもよい。
他方、基準点O’を座標(−50,−50)から(−200,−200)の間に設定することで、炎症の程度を示す評価結果はノイズの影響を受け難い。
なお、注目画素は、画像の全画素について1つずつ選択される。
なお、図4に示す例では、色空間としてRG色空間を用いるが、RG色空間に代えてRB色空間を用いることもできる。
画像評価値算出部220bが算出した画像評価値は、判定部220d及び病変評価部220eに送られる。
こうして、画像評価値算出部220bは、生体組織赤色度に応じて色を付与したカラーマップ画像を作成する。
撮像位置情報処理部220cは、電子内視鏡システム1に設けられた位置測定システム250から送られる撮像位置に関する位置情報を取得し、この取得した位置情報を撮像した画像と対応付ける。位置測定システム250は、例えば、器官内に挿入された電子スコープ100の先端部に位置する固体撮像素子108の位置、さらには、後続する可撓管の各位置を、センサを利用して取得するシステム、器官の開口端から挿入された電子スコープ100の挿入長さを取得するシステム、あるいは、撮像された画像が、モニタ300に表示され、この画像を見た術者が、挿入された器官内の特徴となる部分を電子スコープ100の先端部が通過したことを示す特定部分通過信号を取得するシステムである。
撮像位置の取得情報は、逐次、判定部220d及び病変評価部220eに送られる。
判定部220dは、区間内で撮像された複数の画像の画像評価値のばらつきの程度に基づいて、区間内で病変の程度が変化しているか否かを判定するよう構成されている。このような判定を行うことで、区間内での病変の程度をより適切に示す指標(代表評価値)を得ることができ、病変の程度の評価を精度よく行うことができる。評価値のばらつきは、区間内で撮像された全ての画像の画像評価値のばらつきであってもよく、後述するように、一部の画像の画像評価値のばらつきであってもよい。また、病変の程度が変化している区間の例として、複数の病変の程度が存在する区間のほか、病変部と正常部の両方が存在する区間が含まれる。複数の病変の程度として、例えば、互いに異なる後述する複数のランクあるいは複数のレベルが挙げられる。
指標1:画像評価値のうちの最大値と最小値の差(画像評価値の範囲の大きさ)
指標2:画像評価値の標準偏差(又は分散)
指標3:画像評価値を、撮像を行った画像の順序に回帰させた回帰直線の当てはまりの程度を示す指標
指標4:画像評価値を撮像位置に回帰させた回帰直線の傾き
図5〜図8は、ある2つの区間について、各区間での測定回数(撮像回数)と撮像された画像の画像評価値との関係を示すグラフを示し、(a)は、画像評価値のばらつきの小さい区間におけるグラフを示し、(b)は、画像評価値のばらつきの大きい区間におけるグラフを示す。
なお、図5〜図7において、横軸の測定回数(撮像回数)は、右側に位置するプロットであるほど、後で撮像されたものであることを示し、撮像を行った順に左方から右方に並んでいる。図8において、横軸は、器官内の奥行き方向に沿った撮像位置を示し、右側に位置するプロットであるほど、器官の開口端の側で撮像されたものであることを示す。
指標1及び2に関する閾値は、具体的に、画像の明るさの変化に起因して生じる画像評価値のばらつきの程度は閾値未満となり、区間内での病変の程度の変化に起因して生じる画像評価値のばらつきの程度は閾値以上となるよう設定される。
図7に示す回帰直線は、最小二乗法を用いて求めた直線である。また、指標3、すなわち、回帰直線の当てはまりの程度を示す指標には、例えば、下記式で表す決定係数R2が用いられる。
外れ値を除外する方法として、例えば、区間内で撮像した全ての画像の画像評価値のうちの最大値、最小値、あるいはその両方から、画像評価値のばらつきの範囲(最大値と最小値との差)の所定割合(例えば数%)の範囲内にある画像評価値を除外すること、が挙げられる。また、例えば、区間内で撮像した全ての画像の炎症評価値のうち、予め定めた炎症評価値の範囲外の炎症評価値を除外すること、が挙げられる。また、外れ値を除外する別の方法として、例えば、区間内で撮像した全ての画像の画像評価値の中から検定により検出した外れ値を除外し、再度検定を行って別の外れ値を検出し、除外することを繰り返すこと、が挙げられる。外れ値は、一実施形態によれば、撮像対象とする器官内の領域、あるいは所定のセグメント内で全ての画像を撮像した時点で得られる画像評価値を対象として除外することが好ましいが、別の一実施形態によれば、画像を再生しながら除外することもできる。
病変評価部220eは、撮像位置情報処理部220cから送られる撮像位置に関する情報を利用して、撮像した器官内部の領域を予め定めた間隔で区分けした複数の区間毎に、複数の区間それぞれの生体組織を撮像した複数の画像の画像評価値から画像評価値の代表評価値を算出する。さらに、病変評価部220eは、代表評価値を用いて、器官内部の奥行き方向に連続して広がっている病変の広がりを評価する。例えば、大腸における潰瘍性大腸炎の場合、病変が、直腸から下行結腸まで広がっている等と評価することができる。このような評価では、代表評価値が予め設定された閾値を超えている領域が病変部であるとして病変の広がりを評価することができる。
このセグメントは、1つの器官内で他の部分と識別可能に区別することができる部分であり、例えば、器官が大腸の場合、上行結腸のセグメント、横行結腸のセグメント、下行結腸のセグメント、S字結腸のセグメント、直腸のセグメント等を含む。このようなセグメントは、特定部分通過信号により区間が区切られる。
具体的に、代表値決定部220hは、一実施形態によれば、区間内で病変の強さが変化していると判定された場合に、その区間内で撮像された画像のうち少なくとも一部の画像の評価値のうちの最大値を当該区間の代表値とするよう構成されていることが好ましい。これにより、病変の程度が変化している区間に関して、病変の程度を最適に示すことができる。
また、代表値決定部220hは、一実施形態によれば、区間内で病変の程度が変化していないと判定された場合に、その区間内で撮像された画像のうち少なくとも一部の画像の評価値の平均値、最頻値、及び中央値のいずれか1つを当該区間の代表値とするよう構成されていることが好ましい。病変の程度が変化していない区間での評価値のばらつきは、撮影条件に起因したものと考えられるため、これらの統計量を代表値とすることで、当該区間の病変の強さを適切に示すことができる。
これらの実施形態において、最大値、あるいは、平均値、最頻値、及び中央値のいずれか1つは、区間内で撮像された画像すべての評価値に基づいて求めることが好ましいが、上述したように画像評価値のうちの外れ値を除外する場合は、残りの画像評価値に基づいて求めたものであることが好ましい。
また、一実施形態によれば、病変評価部220eは、病変が器官の奥行き方向に連続して広がっている病変部の有無を、代表評価値に基づいて区間毎に判定することが好ましい。病変部の領域は、代表評価値が予め設定された閾値に対して大きい領域である。
一実施形態によれば、病変評価部220eは、病変が器官の奥行き方向に連続して広がっている病変部の有無を、画像評価値に基づいて判定することもできる。病変部の領域は、画像評価値が予め設定された閾値に対して大きい領域である。画像評価値は、画像毎の評価値であるため、ノイズ成分を含む場合がある。この場合、画像評価値ではなく、区間毎の代表評価値を用いることが好ましい。
このとき、病変部位算出部220fは、上述の区間のうち、病変部が位置する区間を、撮像した画像の位置情報に基づいて求めることで、病変部の領域の開始位置と終了位置を求め、病変部の位置を特定する。病変部の開始位置及び終了位置を正確に求めるためには、画像評価値とその画像を撮像した位置情報を用いて、画像評価値が、予め定められている閾値を横切る位置を求めることも好ましい。この場合、病変評価部220eは、画像評価値毎に閾値と比較して、画像評価値が閾値を横切るか否かを判定する。この判定結果は、病変部位算出部220fに送られる。このとき、病変評価部220eは、病変部位算出部220fが求めた病変部の開始位置と終了位置の情報から、病変部の長さを算出することが好ましい。
したがって、一実施形態によれば、モニタ300は、病変部の開始位置、終了位置、及び病変部の長さの少なくとも1つを画面表示する、ことが好ましい。これにより、術者は、病変の器官の奥行き方向の広がりを認識し易くなる。
また、病変評価部220eは、複数の区間のうち病変部の開始位置と終了位置との間に含まれる区間に対応する代表評価値の合計値を求め、この合計値により、病変の程度を評価する、ことが好ましい。これにより、病変の器官の奥行き方向の広がりと病変の程度(強さ)を同時に評価することができる。この場合、例えば、合計値を複数のレベルに分けて病変の程度をレベルにより評価することができる。
なお、ステップS14は、ステップS12の後に行うことに限定されず、ステップS12の前に、あるいは同時に行うことができる。
図10に示すフローでは、区間内で病変の変化の程度が変化しているか否かの判定を行うために、ステップS36、S38の判断を行う。
一方、ステップS36において決定係数が閾値以下である場合(ステップS36のNO)、及び、ステップS38において回帰直線の傾きが閾値以上である場合(ステップS38のNO)、区間内の画像評価値の最大値を算出し(ステップS42)、これを代表評価値とする(ステップS44)。
評価結果統合部220gは、評価結果である、区間毎の代表評価値の数値や、各区間における代表評価値の区間に対する分布を示したグラフ、病変部の奥行き方向の広がりを示した情報、病変部の開始位置、終了位置あるいは病変部の長さの情報、さらには、区間毎に、病変部のランク付けした強さの情報、を統合して、1つあるいは複数の評価結果画面としてモニタ300に表示させる。
一般的に、電子スコープ100は、上行結腸であるセグメントSG1の最深部まで挿入され、そこから、開口端側に向かって略一定の移動速度で引き出すように移動する。このため、電子スコープ100は、セグメントSG1、セグメントSG2、セグメントSG3、・・・と順番に画像を撮像する。
後日、電子スコープ100で取り込んだ画像を再生しながら評価を行う場合、電子内視鏡システム1で再生することに限定されない。
例えば、メモリ204に記録した画像を別のデータ処理装置に読み出して、画像を再生しながら画像評価値及び代表評価値等を算出しながら、器官の奥行き方向の病変の広がりを評価することもできる。
器官内の領域の奥行き方向に沿った所定の区間内で撮像された複数の画像それぞれの生体組織の病変の程度を示す評価値を求めるよう構成された評価値算出部と、
評価値のばらつきの程度に基づいて、区間内で病変の程度が変化しているか否かを判定するよう構成された判定部と、
評価値を代表する区間の代表値を、病変の程度が変化していると判定された場合と、変化していないと判定された場合とで異なる方法で定めるよう構成された代表値決定部と、を備える。
一実施形態によれば、データ処理装置は、さらに、病変の程度が変化しているか否かの判定結果の情報を画面表示するように構成されたモニタを備えることが好ましい。
100 電子スコープ
200 プロセッサ
220 画像処理ユニット
220a 前処理部
220b 画像評価値算出部
220c 撮像位置情報処理部
220d 判定部
220e 病変評価部
220f 病変部位算出部
220g 評価結果統合部
220h 代表値決定部
220i 区間特定部
230 光源部
300 モニタ
400 プリンタ
600 サーバ
Claims (16)
- 奥行き方向に広がる器官内の生体組織を撮像するよう構成された内視鏡と、撮像された生体組織の画像を処理するよう構成されたプロセッサと、を備える電子内視鏡システムであって、
前記器官内の領域の奥行き方向に沿った所定の区間内で撮像された複数の画像それぞれの生体組織の病変の程度を示す評価値を求めるよう構成された評価値算出部と、
前記評価値のばらつきの程度に基づいて、前記区間内で病変の程度が変化しているか否かを判定するよう構成された判定部と、
前記評価値を代表する前記区間の代表値を、病変の程度が変化していると判定された場合と、変化していないと判定された場合とで異なる方法で定めるよう構成された代表値決定部と、を備えることを特徴とする電子内視鏡システム。 - 前記判定部は、前記評価値から得られる前記ばらつきの程度を示す指標を用いて前記判定を行い、前記指標が示す前記ばらつきの程度が所定値以上である場合に、前記区間内で前記病変の程度が変化していると判定するよう構成されている、請求項1に記載の電子内視鏡システム。
- 前記指標は、前記評価値のうちの最大値と最小値の差である、請求項2に記載の電子内視鏡システム。
- 前記指標は、前記評価値の標準偏差又は分散である、請求項2に記載の電子内視鏡システム。
- 前記指標は、前記評価値を、前記撮像を行った前記画像の順序に回帰させた回帰直線の当てはまりの程度を示す指標である、請求項2に記載の電子内視鏡システム。
- 前記画像それぞれを撮像した前記器官内における撮像位置の情報を前記画像それぞれと対応付けるよう構成された位置情報処理部をさらに備え、
前記判定部は、さらに、前記撮像位置の情報を利用して、前記病変の程度が変化している前記区間内の領域を特定する、請求項1から5のいずれか1項に記載の電子内視鏡システム。 - 前記評価値算出部が求める評価値は、前記区間を含む、前記器官内の領域を奥行き方向に区分けした複数の区間それぞれにおいて撮像された複数の画像それぞれの生体組織の病変の程度を示す評価値であり、
前記電子内視鏡システムは、前記撮像位置の情報を利用して、前記画像が前記複数の区間のうちのどの区間で撮像されたかを特定するよう構成された区間特定部をさらに備える、請求項6に記載の電子内視鏡システム。 - 前記判定部は、前記区間のそれぞれについて前記判定を行うよう構成され、
前記代表値決定部は、前記区間のそれぞれについて前記代表値を定めるよう構成されている、請求項7に記載の電子内視鏡システム。 - 前記画像それぞれを撮像した前記器官内における撮像位置の情報を前記画像それぞれと対応付けるよう構成された位置情報処理部をさらに備え、
前記判定部は、前記評価値を前記撮像位置に回帰させた回帰直線の傾きを用いて前記判定を行い、前記傾きが所定値以上の大きさである場合に、前記区間内で前記病変の程度が変化していると判定するよう構成されている、請求項1に記載の電子内視鏡システム。 - 前記判定部は、前記回帰直線の当てはまりの程度を示す指標をさらに用いて前記判定を行い、前記指標が示す前記当てはまりの程度が所定値を超える場合に、前記回帰直線の前記傾きを用いた前記判定を行うよう構成されている、請求項9に記載の電子内視鏡システム。
- 前記判定部は、前記回帰直線の前記傾きの大きさに応じて、前記区間内での前記病変の変化の程度を特定するよう構成されている、請求項9又は10に記載の電子内視鏡システム。
- 前記判定部は、前記評価値のうちの一部の評価値のばらつきに基づいて、前記判定を行うよう構成されている、請求項1から11のいずれか1項に記載の電子内視鏡システム。
- 前記代表値決定部は、前記区間内で前記病変の程度が変化していると判定された場合に、前記評価値のうち、当該区間で撮像された前記画像のうち少なくとも一部の画像の評価値のうちの最大値を当該区間の前記代表値とするよう構成されている、請求項1から12のいずれか1項に記載の電子内視鏡システム。
- 前記代表値決定部は、前記区間内で前記病変の程度が変化していないと判定された場合に、前記評価値のうち、当該区間で撮像された前記画像のうち少なくとも一部の画像の評価値の平均値、最頻値、及び中央値のいずれか1つを当該区間の前記代表値とするよう構成されている、請求項1から13のいずれか1項に記載の電子内視鏡システム。
- 前記病変の程度が変化しているか否かの判定結果の情報を、病変の程度が変化していると判定された場合と、変化していないと判定された場合とで異なる表示態様で画面表示するよう構成されたモニタをさらに備える、請求項1から14のいずれか1項に記載の電子内視鏡システム。
- 奥行き方向に広がる器官内の生体組織の画像を処理するデータ処理装置であって、
前記器官内の領域の奥行き方向に沿った所定の区間内で撮像された複数の画像それぞれの生体組織の病変の程度を示す評価値を求めるよう構成された評価値算出部と、
前記評価値のばらつきの程度に基づいて、前記区間内で病変の程度が変化しているか否かを判定するよう構成された判定部と、
前記評価値を代表する前記区間の代表値を、病変の程度が変化していると判定された場合と、変化していないと判定された場合とで異なる方法で定めるよう構成された代表値決定部と、を備えることを特徴とするデータ処理装置。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019086464 | 2019-04-26 | ||
| JP2019086464 | 2019-04-26 | ||
| PCT/JP2020/016068 WO2020218029A1 (ja) | 2019-04-26 | 2020-04-10 | 電子内視鏡システム及びデータ処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP6877672B2 true JP6877672B2 (ja) | 2021-05-26 |
| JPWO2020218029A1 JPWO2020218029A1 (ja) | 2021-06-10 |
Family
ID=72942566
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021511682A Active JP6877672B2 (ja) | 2019-04-26 | 2020-04-10 | 電子内視鏡システム及びデータ処理装置 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US11950762B2 (ja) |
| JP (1) | JP6877672B2 (ja) |
| CN (1) | CN112888356A (ja) |
| DE (1) | DE112020002107T5 (ja) |
| WO (1) | WO2020218029A1 (ja) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPWO2022209390A1 (ja) * | 2021-03-31 | 2022-10-06 | ||
| WO2023026538A1 (ja) * | 2021-08-27 | 2023-03-02 | ソニーグループ株式会社 | 医療支援システム、医療支援方法及び評価支援装置 |
| CN113610847B (zh) * | 2021-10-08 | 2022-01-04 | 武汉楚精灵医疗科技有限公司 | 一种白光模式下胃部标志物评估方法及系统 |
| WO2023175732A1 (ja) * | 2022-03-15 | 2023-09-21 | オリンパスメディカルシステムズ株式会社 | 内視鏡検査支援システム、内視鏡検査支援方法および記憶媒体 |
| WO2024201746A1 (ja) * | 2023-03-28 | 2024-10-03 | 日本電気株式会社 | 表示装置、表示方法、及び、プログラム |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4409166B2 (ja) * | 2002-12-05 | 2010-02-03 | オリンパス株式会社 | 画像処理装置 |
| JP5005981B2 (ja) * | 2006-08-03 | 2012-08-22 | オリンパスメディカルシステムズ株式会社 | 画像表示装置 |
| CA2761844C (en) * | 2009-05-14 | 2017-11-28 | University Health Network | Quantitative endoscopy |
| US9854970B2 (en) * | 2012-02-21 | 2018-01-02 | Massachusetts Eye & Ear Infirmary | Calculating conjunctival redness |
| JP6204314B2 (ja) * | 2014-09-03 | 2017-09-27 | Hoya株式会社 | 電子内視鏡システム |
| JP6425995B2 (ja) * | 2014-12-24 | 2018-11-21 | 富士フイルム株式会社 | 内視鏡システム及びその作動方法 |
| DE112016004454B4 (de) | 2015-09-30 | 2019-04-25 | Hoya Corporation | Endoskopsystem und Bewertungswertberechnungseinrichtung |
| WO2018002935A1 (en) * | 2016-06-30 | 2018-01-04 | Given Imaging Ltd. | Systems and methods for assessment and monitoring of a mucosal disease in a subject's gastrointestinal tract |
| JP6543013B2 (ja) | 2017-06-13 | 2019-07-10 | オリンパス株式会社 | 内視鏡装置 |
-
2020
- 2020-04-10 WO PCT/JP2020/016068 patent/WO2020218029A1/ja not_active Ceased
- 2020-04-10 US US17/283,417 patent/US11950762B2/en active Active
- 2020-04-10 JP JP2021511682A patent/JP6877672B2/ja active Active
- 2020-04-10 DE DE112020002107.6T patent/DE112020002107T5/de active Pending
- 2020-04-10 CN CN202080005742.7A patent/CN112888356A/zh active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| WO2020218029A1 (ja) | 2020-10-29 |
| CN112888356A (zh) | 2021-06-01 |
| US20210338043A1 (en) | 2021-11-04 |
| US11950762B2 (en) | 2024-04-09 |
| DE112020002107T5 (de) | 2022-03-03 |
| JPWO2020218029A1 (ja) | 2021-06-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7068487B2 (ja) | 電子内視鏡システム | |
| JP6877672B2 (ja) | 電子内視鏡システム及びデータ処理装置 | |
| JP6581730B2 (ja) | 電子内視鏡用プロセッサ及び電子内視鏡システム | |
| US11944261B2 (en) | Electronic endoscope system and data processing device | |
| US12499545B2 (en) | Endoscope processor and endoscope system | |
| JP6907398B2 (ja) | 内視鏡システム | |
| JP6912688B2 (ja) | 電子内視鏡システム及びデータ処理装置 | |
| JP7041318B2 (ja) | 内視鏡システム | |
| CN107529957B (zh) | 修正数据生成方法以及修正数据生成装置 | |
| JPWO2020189213A1 (ja) | 内視鏡システム | |
| JP6912608B2 (ja) | 内視鏡システム | |
| JP7455716B2 (ja) | 内視鏡用プロセッサ及び内視鏡システム | |
| JP6926242B2 (ja) | 電子内視鏡用プロセッサ及び電子内視鏡システム | |
| JP2022054722A (ja) | 内視鏡用プロセッサ及び内視鏡システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE Effective date: 20210226 Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210226 |
|
| A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE Effective date: 20210226 Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20210226 |
|
| A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE Effective date: 20210322 Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20210322 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE Effective date: 20210406 Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210406 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE Effective date: 20210427 Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210427 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6877672 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
