JP7846636B2 - 電子内視鏡用プロセッサ、電子内視鏡システム - Google Patents

電子内視鏡用プロセッサ、電子内視鏡システム

Info

Publication number
JP7846636B2
JP7846636B2 JP2023002336A JP2023002336A JP7846636B2 JP 7846636 B2 JP7846636 B2 JP 7846636B2 JP 2023002336 A JP2023002336 A JP 2023002336A JP 2023002336 A JP2023002336 A JP 2023002336A JP 7846636 B2 JP7846636 B2 JP 7846636B2
Authority
JP
Japan
Prior art keywords
edge
edge component
illumination light
threshold
enhancement processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2023002336A
Other languages
English (en)
Other versions
JP2024098704A (ja
JP2024098704A5 (ja
Inventor
貴雄 牧野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hoya Corp
Original Assignee
Hoya Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hoya Corp filed Critical Hoya Corp
Priority to JP2023002336A priority Critical patent/JP7846636B2/ja
Priority to PCT/JP2023/044619 priority patent/WO2024150588A1/ja
Priority to US19/120,833 priority patent/US20260020743A1/en
Priority to CN202380075939.1A priority patent/CN120129481A/zh
Priority to EP23916202.7A priority patent/EP4649882A1/en
Publication of JP2024098704A publication Critical patent/JP2024098704A/ja
Publication of JP2024098704A5 publication Critical patent/JP2024098704A5/ja
Application granted granted Critical
Publication of JP7846636B2 publication Critical patent/JP7846636B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0655Control therefor
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration using local operators
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/73Deblurring; Sharpening
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20192Edge enhancement; Edge preservation
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30101Blood vessel; Artery; Vein; Vascular

Landscapes

  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Endoscopes (AREA)
  • Image Processing (AREA)

Description

本発明は、生体組織の撮像画像を取得して画像処理を施す電子内視鏡用プロセッサ及び電子内視鏡システムに関する。
人体内部の生体組織の観察や治療に電子内視鏡装置が使用されている。電子内視鏡装置を用いて生体組織を撮像して得られる撮像画像から生体組織の特定の要素を際出たせる強調処理を撮像画像に施してディスプレイに表示することが行われる。
例えば、特許文献1には、入力輝度信号の各画素のエッジ成分を検出し、検出したエッジ成分に重み付けを付加するようにした輪郭強調装置が記載されている。この輪郭強調装置では、入力輝度信号の輝度値が中レベルの画素に関するエッジ成分には、相対的に大きな重み付けを付加し、入力輝度信号の輝度値が低レベル或いは高レベルの画素に関するエッジ成分には、相対的に小さな重み付けを付加するように構成され、それによって輪郭の周辺に生ずる大きなアンダーシュート(キャッツアイ)の発生を防止しつつ、被写体の輪郭を適切に強調可能である、とされている。
特開2009-21905号公報
一般に、観察対象である生体組織は粘膜で覆われている部分が多いために鏡面反射が生じやすく、撮像画像に白取りした部分が含まれる場合がある。
特許文献1に記載された輪郭強調手法では、画像のうち高輝度の部分の重み付けが相対的に低いために、高輝度の部分の輪郭強調が抑制される。そのため、上記白取りした部分における大きなアンダーシュートの発生は防止できるものの、撮像画像のうち白取りした部分以外の高輝度部分まで輪郭強調が抑制されることになるため、ぼやけた画像になりやすいという問題がある。
そこで、本発明は、電子内視鏡用プロセッサにおいて撮像画像に対して輪郭強調処理を施す際に、大きなアンダーシュートの発生を抑止しつつ、本来強調すべき部分については適切に強調できるようにすることを目的とする。
本開示の一態様は、生体組織の撮像画像を取得して画像処理を施す電子内視鏡用プロセッサである。この電子内視鏡用プロセッサは、
生体組織の撮像画像の各画素に対してエッジ成分を検出するエッジ検出部と、
輝度値に応じたエッジ成分の閾値が設定されている閾値設定データを参照し、前記エッジ検出部によって検出された各画素のエッジ成分を補正するエッジ成分補正部と、
前記エッジ成分補正部によって補正されたエッジ成分に基づき、前記撮像画像に対して輪郭強調処理を施す強調処理部と、を備える。
前記閾値設定データでは、輝度値が大きくなるにつれてエッジ成分の閾値が大きくなるように閾値が設定されていてもよい。
前記エッジ成分補正部は、前記エッジ検出部によって検出されたエッジ成分が前記閾値を超えている場合には、当該エッジ成分のうち前記閾値を超えている部分を低下させるように設定されたパラメータに基づいて前記エッジ成分を補正してもよい。その場合、前記パラメータは、前記輪郭強調処理の強調の強度が大きいほど、前記閾値を超えている部分が低下するように設定されている。
前記電子内視鏡用プロセッサは、ユーザの操作に応じて前記輪郭強調処理の強調の強度を変更する強度変更部を備えることが好ましい。前記エッジ成分補正部は、前記輪郭強調処理の強調の強度が変更された場合、変更後の強度に基づいて前記パラメータを調整する。
前記強調処理部は、複数の輪郭強調処理方法の中からユーザの操作に応じて選択された輪郭強調処理方法に従って前記輪郭強調処理を施してよい。その場合、前記複数の輪郭強調処理方法は、それぞれ異なる前記閾値設定データと関連付けられている。
前記エッジ成分補正部は、前記選択された輪郭強調処理方法に関連付けられた閾値設定データを参照して、前記エッジ成分を補正する。
前記強調処理部は、複数の輪郭強調処理方法の中からユーザの操作に応じて選択された輪郭強調処理方法に従って前記輪郭強調処理を施してもよい。その場合、前記複数の輪郭強調処理方法は、それぞれ異なる前記パラメータと関連付けられている。
前記エッジ成分補正部は、前記選択された輪郭強調処理方法に関連付けられたパラメータを参照して、前記エッジ成分を補正する。
前記電子内視鏡用プロセッサは、前記生体組織を照明する照明光として、第1の波長帯域である第1の照明光、又は、前記第1の波長帯域とは異なる第2の波長帯域である第2の照明光のいずれかを生成する光源部をさらに備えてもよい。その場合、前記第1の照明光と前記第2の照明光は、それぞれ異なる前記閾値設定データと関連付けられている。
前記エッジ成分補正部は、前記第1の照明と前記第2の照明光のうち前記光源部が生成する照明光に関連付けられた閾値設定データを参照して、前記エッジ成分を補正する。
前記電子内視鏡用プロセッサは、前記生体組織を照明する照明光として、第1の波長帯域である第1の照明光、又は、前記第1の波長帯域とは異なる第2の波長帯域である第2の照明光のいずれかを生成する光源部をさらに備えてもよい。その場合、前記第1の照明光と前記第2の照明光は、それぞれ異なる前記パラメータと関連付けられている。
前記エッジ成分補正部は、前記第1の照明と前記第2の照明光のうち前記光源部が生成する照明光に関連付けられたパラメータを参照して、前記エッジ成分を補正する。
本開示の別の態様は、前記内視鏡用プロセッサと、
前記内視鏡用プロセッサに接続され、前記生体組織を撮像する撮像素子を備えた内視鏡と、を備える内視鏡システムである。
上述の電子内視鏡用プロセッサ及び電子内視鏡システムによれば、電子内視鏡用プロセッサにおいて撮像画像に対して輪郭強調処理を施す際に、大きなアンダーシュートの発生を抑止しつつ、本来強調すべき部分については適切に強調できる。
一実施形態の電子内視鏡システムの構成の一例を示すブロック図である。 画像信号のエッジ強調を行う強調演算部の構成を示すブロック図である。 例示的なエッジ成分補正部の処理内容を説明する図である。 強調演算部において設定される閾値設定データの例を示す図である。 強調演算部の処理の詳細を示すフローチャートである。 従来のエッジ強調と実施形態に係るエッジ強調を比較した画像例を示す図である。
以下、本実施形態の電子内視鏡システムについて図面を参照しながら詳細に説明する。
図1は、本実施形態の電子内視鏡システム1の構成の一例を示すブロック図である。図1に示されるように、電子内視鏡システム1は、医療用に特化されたシステムであり、電子スコープ(内視鏡)10、プロセッサ20及びモニタ30を備えている。
プロセッサ20は、システムコントローラ21を備えている。システムコントローラ21は、各種プログラムを実行し、電子内視鏡システム1全体を統合的に制御する。また、システムコントローラ21は、操作パネル26に接続されている。システムコントローラ21は、操作パネル26に入力される術者(観察者)からの指示に応じて、電子内視鏡システム1の各動作及び各動作のためのパラメータを変更する。システムコントローラ21は、各部の動作のタイミングを調整するクロックパルスを電子内視鏡システム1内の各回路に出力する。
プロセッサ20は、光源装置25(光源部の一例)を備えている。光源装置25は、体腔内の生体組織等の被写体を照明するための照明光Lを出射する。照明光Lは、白色光、擬似白色光、あるいは特殊光を含む。一実施形態によれば、光源装置25は、白色光あるいは擬似白色光を照明光Lとして常時射出するモードと、白色光あるいは擬似白色光と、特殊光が交互に照明光Lとして射出するモードの一方を選択し、選択したモードに基づいて、白色光、擬似白色光、あるいは特殊光を射出することが好ましい。白色光は、可視光帯域においてフラットな分光強度分布を有する光であり、擬似白色光は、分光強度分布はフラットではなく、複数の波長帯域の光が混色された光である。特殊光は、可視光帯域の中の青色あるいは緑色等の狭い波長帯域の光である。青色あるいは緑色の波長帯域の光は、生体組織中の特定の部分を強調して観察する時に用いられる。光源装置25から出射した照明光Lは、集光レンズ29によりLCB(Light Carrying Bundle)11の入射端面に集光されてLCB11内に入射される。
光源装置25の光源は限定しないが、例えばLED、レーザダイオード、高輝度ランプ(例えば、キセノンランプ、メタルハライドランプ、水銀ランプ又はハロゲンランプ)などである。
LCB11内に入射された照明光Lは、LCB11内を伝播する。LCB11内を伝播した照明光Lは、電子スコープ10の先端に配置されたLCB11の射出端面から射出され、配光レンズ12を介して被写体に照射される。配光レンズ12からの照明光Lによって照明された被写体からの戻り光は、対物レンズ13を介して固体撮像素子14の受光面上で光学像を結ぶ。
固体撮像素子14は、例えばベイヤ型画素配置を有する単板式カラーCCD(Charge Coupled Device)イメージセンサである。固体撮像素子14は、受光面上の各画素で結像した光学像を光量に応じた電荷として蓄積して、R(Red)、G(Green)、B(Blue)の画像信号を生成して出力する。なお、固体撮像素子14は、CCDイメージセンサに限らず、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサやその他の種類の撮像装置に置き換えられてもよい。固体撮像素子14はまた、補色系フィルタを搭載したものであってもよい。
電子スコープ10の接続部内には、ドライバ信号処理回路15が備えられている。
システムコントローラ21は、ドライバ信号処理回路15にクロックパルスを供給する。ドライバ信号処理回路15は、システムコントローラ21から供給されるクロックパルスに従って、固体撮像素子14をプロセッサ20側で処理される映像のフレームレートに同期したタイミングで駆動制御する。ドライバ信号処理回路15には、固体撮像素子14から被写体の画像信号が所定のフレーム周期で入力される。フレーム周期は、例えば、1/60秒又は1/30秒である。ドライバ信号処理回路15は、固体撮像素子14から入力される画像信号に対してA/D変換を含む所定の処理を施してプロセッサ20の画像入力処理部22に出力する。
画像入力処理部22は、ドライバ信号処理回路15から送られる画像信号に対してノイズ除去処理、デモザイク処理、マトリックス演算等の所定の信号処理を施す。
画像メモリ23は、画像入力処理部22から送られる画像信号をフレーム単位でバッファリングするメモリである。画像メモリ23に蓄積される各フレームの画像は順に、システムコントローラ21による制御の下、強調演算部27においてエッジ強調処理が施される。強調演算部27の詳細については後述する。エッジ強調処理が施された画像信号は、システムコントローラ21によるタイミング制御に従い、画像出力処理部24に出力される。
画像出力処理部24は、強調演算部27によりエッジ強調が施された画像信号をフレーム単位で処理してモニタ表示用の画面データを生成し、生成されたモニタ表示用の画面データを所定のビデオフォーマット信号に変換する。変換されたビデオフォーマット信号は、モニタ303に出力される。これにより、被写体の画像がモニタ30の表示画面に表示される。
次に、図2を参照して、強調演算部27の構成について説明する。
図2において、強調演算部27は、システムコントローラ21から送られる入力画像I_in(画像メモリ23に蓄積されている画像信号)に対してエッジ強調処理を行い、エッジ強調を施した出力画像I_outを生成する。
図2に示すように、強調演算部27は、YC分離部271、エッジ検出部272、エッジ成分補正部273、強調処理部274、RBG変換部275、及び、メモリ276を備える。
入力画像I_inは、RGB信号である。YC分離部271は、入力画像I_inのRGB信号を輝度信号Yと色差信号Cb,Crとに分離(変換)する。
エッジ検出部272は、YC分離部271において得られた輝度信号Yから画素単位でエッジ成分の検出を行う。エッジ成分の検出は、例えばラプラシアンフィルタやソーベルフィルタ等の公知の空間フィルタを採用することができる。
エッジ成分補正部273は、エッジ検出部272において検出されたエッジ成分Eを補正する。エッジ成分Eを補正するのは、大きなアンダーシュートの発生を抑止しつつ、本来強調すべき部分については適切に強調するためである。エッジ成分Eの補正をする際に、エッジ成分補正部273は、閾値設定データにアクセスする。閾値設定データは、不揮発性メモリであるメモリ276に格納されている。閾値設定データは、輝度信号Yが示す輝度値に対してエッジ成分の閾値が設定されている。
一実施形態では、エッジ成分補正部273は、閾値設定データを参照し、エッジ検出部272によって検出された各画素のエッジ成分Eを補正する。例えば、各画素のエッジ成分Eは、各画素の輝度値に応じて設定されている閾値以下となるように制限される。
一般に、胃や大腸等の粘膜で覆われている被写体では、照明光による鏡面反射によって高輝度の白取り部分が発生する。従来、この白取り部分にエッジ強調を施した場合、白取り部分に黒く縁取りされる不自然な強調(エッジアンダーシュート)が生じやすい。それに対して、エッジ成分Eを予め輝度値に応じて設定された閾値以下に制限することで、このエッジアンダーシュートが生じ難くなる利点がある。
上記閾値設定データは、白取り部分のエッジアンダーシュートが生じないようにするとともに、画像において白取り部分以外の通常の観察対象となる部分(例えば、血管部分)は強調が抑制されないようにして設定することが好ましい。輝度値に応じた閾値よりもエッジ成分Eが小さい場合には、そのエッジ成分Eは低下されないため、強調性能が劣化することはない。したがって、白取り部分以外の通常の観察対象となる部分の強調性能が劣化しないように閾値を小さくし過ぎないことが好ましい。
強調処理部274は、YC分離部271によって生成される輝度信号Yと、エッジ成分補正部273によってエッジ成分Eが補正された成分であるエッジ成分Ecと、を合成して、輪郭強調処理(エッジ強調)が施された輝度信号Yhを生成する。このとき、利用者の操作に応じて強調の強度を変化させる場合、強度が大きくなるほど大きくなる係数をエッジ成分Ecに乗じた上で輝度信号Yに加算して、強調後の輝度信号Yhを生成する。
RBG変換部275は、YC分離部271で分離された色差信号Cb,Crと、強調処理部274で得られた輝度信号Yhと、をRGB信号に変換して出力画像I_outを生成する。
一実施形態では、エッジ成分補正部273は、エッジ検出部272によって検出されたエッジ成分Eが、閾値設定データによって設定された閾値を超えている場合には、エッジ成分Eのうち閾値を超えている部分を低下させるように設定されたパラメータに基づいてエッジ成分Eを補正する。つまり、エッジ成分Eのうち閾値を超えている部分は白取り部分である可能性があるため、この部分のエッジ成分Eを低下させる。ここで、パラメータは、エッジ検出部272において適用されるエッジ検出用の空間フィルタによるエッジ強調の強度が大きいほど、閾値を超えている部分が低下するように設定されている。
図3に、一実施形態の例示的なエッジ成分補正部273の処理内容を示す。
図3(a)は、エッジ検出部272によって検出される、入力画像の一部の領域に含まれる複数の画素に対する輝度とエッジ成分の分布例について示す図である。図3(a)において、A部は白取り部分以外の通常の観察対象となる部分であり、B部及びC部は白取り部分であることが想定されている。
また、図3(a)の例に対して、図3(b)に示す閾値が閾値設定データにより設定されている場合を想定する。このとき、ある画素に対して検出されたエッジ成分が、輝度値に応じて設定されている閾値以下である場合には、当該エッジ成分は実質的に補正されない。それに対して、ある画素に対して検出されたエッジ成分が、輝度値に応じて設定されている閾値より大きい場合には、検出されたエッジ成分のうち閾値を超えている部分を低下させるように設定されたパラメータに基づいてエッジ成分を補正する。なお、図3(b)では、低下後のエッジ成分を点線で示している。
図3(a)の例では、A部は補正されないが、B部及びC部は、輝度値に応じて設定されている閾値より大きいために、その閾値を超えた部分が低下するようにして補正される。
ここで、閾値を超えた部分の低下率をr(なお、0≦r<1)とすると、以下の式(1)を満たすようにパラメータが設定される。ここで、fは、エッジ強調の強度Sの関数であり、ここで定義される関数fの中にパラメータが設定される。

r=f(S)…(1)
一実施形態では、f=α×Sとなる関数が定義される。ここで、パラメータαは、エッジ強調の強度Sに応じて低下率rが0≦r<1の特定の値になるように設定される。例えば、エッジ強調の強度Sが1~6の6段階の間で可変となるように設定されている場合、エッジ強調の強度Sが1~6であるときのパラメータαの値をそれぞれ、1/4,1/8,1/12,1/16,1/20,1/24とすることで、エッジ強調の強度Sに関わらず、低下率rが0.25に設定される。なお、エッジ強調の強度Sに関わらず低下率rを一定とする必要はなく、低下率rが0≦r<1の範囲にある限り、エッジ強調の強度Sに応じて低下率rが変化するように関数fを定義してもよい。
エッジ検出部272によって検出されたエッジ成分Eのうち閾値を超えている部分を低下させるように設定されたパラメータに基づいてエッジ成分Eを補正することで、エッジ強調の強度を大きくした場合(つまり、強めに強調をかけた場合)であっても白取り部分のエッジアンダーシュートを抑制することが可能となる。
なお、式(1)における関数fは、f=α×Sによって定義されるようにエッジ強調の強度Sに大きさに応じて線形に変化するパラメータを使用したものに限られず、エッジ強調の強度Sに大きさに応じて非線形に変化するパラメータを使用したものでもよい。また、エッジ成分の正負に対してエッジ強調の強度Sの関数fがそれぞれ異なっていてもよい。
一実施形態の強調演算部27では、エッジ強調の強度が変更可能に設定され、モニタ30の観察者が操作パネル26を操作することによって複数の強度の中から所望の強度を設定できるように構成される。その場合、前述したように、強調処理部274は、YC分離部271によって生成される輝度信号Yと、補正後のエッジ成分Ecに対して、強度が大きくなるほど大きくなる係数を乗じたエッジ成分と、を加算して、強調後の輝度信号Yhを生成する。つまり、強調処理部274は、ユーザの操作に応じてエッジ強調の強度を変更する強度変更部として機能する。エッジ成分補正部273は、エッジ強調処理の強調の強度が変更された場合、変更後の強度に基づいて上記パラメータを調整する、それによって、ユーザが選択したエッジ強調の強度に応じて最適なパラメータを設定した上でエッジ強調を行うことができる。
一実施形態では、閾値設定データでは、輝度値が大きくなるにつれてエッジ成分の閾値が大きくなるように閾値が設定されていることが好ましい。これは、輝度値が大きいほど白取り部のエッジアンダーシュートが目立ちやすくなるため、それを抑制するためである。
図3(b)に示した例では、輝度値に対してエッジ成分の閾値が線形的に増加する場合を示したが、その限りではない。図4に別の閾値設定データの例を示す。図4(a)~(c)にそれぞれ示すように、輝度値に対してエッジ成分の閾値は、輝度値に対して非線形に設定されてもよいし、部分的に輝度値に対する閾値が一定となる領域があってもよい。
図3(b)に示すように、輝度値に対してエッジ成分の閾値を線形的に増加させる場合、その傾きは、輝度値が高い領域においてどの程度のエッジ成分があったときにエッジアンダーシュートが強調後の画像において視認できるのかといった点を踏まえて決定することが好ましい。
なお、図3(b)や図4(a)~(c)では、エッジ成分の正負に対して閾値の絶対値が等しい場合について示しているが、その限りではなく、エッジ成分の正負で閾値の絶対値を変えてもよい。
次に、図5を参照して、本実施形態のプロセッサ20の動作について説明する。
プロセッサ20は、逐次、エッジ強調の強度が変化したか否か監視しており、エッジ強調の強度が変化した場合には(ステップS2:YES)、上記式(1)に基づいて、入力画像から検出されるエッジ成分のうち閾値を超えている部分を低下させるときの低下率rを計算する(ステップS4)。エッジ強調の強度の変化は、前述したように、例えば操作パネル26に対する操作入力に基づいて行われる。
プロセッサ20は、フレーム単位で、画像入力処理部22から画像信号(現フレーム)を取得し(ステップS6)、画像メモリ23に蓄積する。強調演算部27は、現フレームに対して、ステップS8~S22の処理を行う。
プロセッサ20の強調演算部27は、現フレームの各画素を注目画素とし、全画素に対してステップS8~S18の処理を行う(ステップS20:NO)。強調演算部27は、注目画素の輝度値に基づいて、閾値設定データを参照して閾値Tを計算する(ステップS8)。強調演算部27は、注目画素とその周辺の画素の輝度値からエッジ成分Eを計算する(ステップS10)。強調演算部27は、ステップS10で求めたエッジ成分Eのうち閾値Tを超える部分のエッジ成分D(=E-T)を計算する(ステップS12)。なお、エッジ成分及び閾値は、図3に例示したように正又は負をとることがあるが、このフローチャートで言及する閾値T及びエッジ成分Eは、絶対値とする。
D>0である場合には(ステップS14:YES)、ステップS10で求めたエッジ成分Eのうち閾値Tを超える部分が実質的に存在することになるため、ステップS10で算出したエッジ成分Eを補正する。具体的には、ステップS4で求めた低下率rを用いて、Ec=r×D+Tを計算することにより、ステップS10で求めたエッジ成分Eのうち閾値Tを超える部分を低下させるようにして、補正後のエッジ成分Ecを算出する(ステップS16)。そして、強調演算部27は、注目画素の輝度値に補正後のエッジ成分Ecを加算し、注目画素の画素値(RGB値)を算出する(ステップS18)。これにより、注目画素の強調後の画素値が得られる。
現フレームの全画素に対して処理が終了した場合には(ステップS20:YES)、プロセッサ20は、エッジ強調が施された現フレームの画像をビデオフォーマット信号に変換して、モニタ30に画像を表示する(ステップS22)。
処理終了でない場合には(ステップS24:NO)、プロセッサ20は、次のフレームの処理を行うためにステップS2に戻る。
以上説明したように、本実施形態の電子内視鏡システム1によれば、生体組織の撮像画像の各画素に対してエッジ成分を検出し、輝度値に応じたエッジ成分の閾値が設定されている閾値設定データを参照して、検出された各画素のエッジ成分を補正する。さらに、補正後のエッジ成分に基づいて各画素に対してエッジ強調処理を施す。そのため、エッジ成分Eを予め輝度値に応じて設定された閾値以下に制限することで、モニタ30に表示される画像には、白取り部分に黒く縁取りされる不自然な強調(エッジアンダーシュート)が生じ難くなる。
好ましくは、検出されたエッジ成分が、閾値設定データが示す閾値を超えている場合には、当該エッジ成分のうち閾値を超えている部分を低下させるように設定されたパラメータに基づいてエッジ成分が補正される。このとき、パラメータは、エッジ強調処理の強調の強度が大きいほど、閾値を超えている部分が低下するように設定されている。それによって、大きなアンダーシュートの発生を抑止しつつ、本来強調すべき部分については適切に強調できる。
図6を参照すると、強調前の例示的な生体組織の撮像画像(元画像)と、元画像に対して従来のエッジ強調方法(従来手法)によってエッジ強調を行った場合の画像と、元画像に対して本実施形態のエッジ強調方法(実施例)によってエッジ強調を行った場合の画像と、が示される。
元画像に示すように、生体組織を撮像した場合には、胃や大腸等の粘膜で覆われている被写体の照明光による鏡面反射によって、血管部分BVに加え、高輝度の白取り部分Wが発生する。従来手法により、この白取り部分Wにエッジ強調を施した場合、白取り部分に黒く縁取りされる不自然な強調(エッジアンダーシュート)が生じるとともに、血管部分BVが十分に強調されずにぼやけてしまうことが確認される。
それに対し、実施例の場合には、エッジアンダーシュートが目立たない程度に抑制されるとともに、血管部分BVが適切に強調されて観察し易くなっていることがわかる。
一実施形態では、強調演算部27は、複数のエッジ強調処理方法の中からユーザの操作に応じて選択されたエッジ強調処理方法に従ってエッジ強調処理を施す。その場合、複数のエッジ強調処理方法は、それぞれ異なる閾値設定データと関連付けられている。エッジ成分補正部273は、選択されたエッジ強調処理方法に関連付けられた閾値設定データを参照して、エッジ成分Eを補正する。それによって、観察者が目的や嗜好に応じて、空間フィルタ等のエッジ強調処理方法を操作パネル26に対する入力によって切り替えることができ、観察者に応じた柔軟な運用が可能になる。
例えば、エッジ強調のために複数の空間フィルタが用意される場合がある。その中には、撮像画像の中で周波数の高い部分を強調するのに特化した空間フィルタもあれば、周波数の低い部分を強調するのに特化した空間フィルタもあってもよい。この場合、適用される空間フィルタが切り替わった場合、対応する閾値設定データや低下率rを算出するときのパラメータ若しくは関数f(式(1)参照)が変更される。このような変更処理は、図5のフローチャートでは、ステップS2~S4に相当する箇所で行われる。
一実施形態では、光源装置25は、照明光として、第1の波長帯域である第1の照明光、又は、第1の波長帯域とは異なる第2の波長帯域である第2の照明光のいずれかを生成する。第1の照明光、第2の照明光は互いにスペクトルの異なる光である限り限定するものではないが、一例としては、第1の照明光は通常光(白色光又は疑似白色光)であり、第2の照明光は特殊光(通常光の波長帯域に比べて狭い波長帯域の光)である。特殊光による観察画像は、生体組織の吸収特性に応じて、通常光による観察画像とは異なる画像を取得できるため、生体組織のある特徴部分を強調して観察することができ、生体組織の病変部等を見つけ出すことを容易にする。
第1の照明光と第2の照明光とで得られる画像は異なるため、それぞれの照明光に応じて閾値設定データが関連付けられることが好ましい。そして、エッジ成分補正部273は、第1の照明と第2の照明光のうち光源装置25が生成する照明光に関連付けられた閾値設定データを参照して、エッジ成分Eを補正する。それによって、照明光に応じて適切な閾値を設定することができる。その際、照明光に応じて低下率rを算出するときのパラメータ若しくは関数f(式(1)参照)を変更することが好ましい。この場合、第1の照明光又は第2の照明光のいずれかを選択する操作パネル26に対する観察者の操作入力に応じて、参照する閾値設定データやパラメータ若しくは関数fが変更される。このような変更処理は、図5のフローチャートでは、ステップS2~S4に相当する箇所で行われる。
一実施形態では、複数のエッジ強調処理方法が強調演算部27において設けられ、かつ異なるスペクトルの複数の照明光を出射するように光源装置25が構成される。観察者の操作に応じて、エッジ強調処理方法(空間フィルタ)が選択されるとともに照明光が選択される。この場合、空間フィルタと照明光のすべての組合せに対応して、適用する閾値設定データ、パラメータ若しくは関数fが設定されるようにすることが好ましい。
以上、本発明の電子内視鏡用プロセッサ及び電子内視鏡システムについて詳細に説明したが、本発明の電子内視鏡用プロセッサ及び電子内視鏡システムは上記実施形態に限定されず、本発明の主旨を逸脱しない範囲において、種々の改良や変更をしてもよいのはもちろんである。
1…電子内視鏡システム
10…電子スコープ
11…LCB
12…配光レンズ
13…対物レンズ
14…固体撮像素子
15…ドライバ信号処理回路
20…プロセッサ
21…システムコントローラ
22…画像入力処理部
23…画像メモリ
24…画像出力処理部
25…光源装置
26…操作パネル
27…強調演算部
271…YC分離部
272…エッジ検出部
273…エッジ成分補正部
274…強調処理部
275…RBG変換部
276…メモリ
29…集光レンズ
30…モニタ

Claims (9)

  1. 生体組織の撮像画像を取得して画像処理を施す電子内視鏡用プロセッサであって、
    生体組織の撮像画像の各画素に対してエッジ成分を検出するエッジ検出部と、
    輝度値に応じたエッジ成分の閾値が設定されている閾値設定データを参照し、前記エッジ検出部によって検出された各画素のエッジ成分を補正するエッジ成分補正部と、
    前記エッジ成分補正部によって補正されたエッジ成分に基づき、前記撮像画像に対して輪郭強調処理を施す強調処理部と、を備え、
    前記エッジ成分補正部は、前記エッジ検出部によって検出されたエッジ成分が前記閾値を超えている場合には、当該エッジ成分のうち前記閾値を超えている部分を低下させるように設定されたパラメータに基づいて前記エッジ成分を補正し、
    前記パラメータは、前記輪郭強調処理の強調の強度が大きいほど、前記閾値を超えている部分が低下するように設定されている、
    電子内視鏡用プロセッサ。
  2. 前記閾値設定データでは、輝度値が大きくなるにつれてエッジ成分の閾値が大きくなるように閾値が設定されている、
    請求項1に記載された電子内視鏡用プロセッサ。
  3. ユーザの操作に応じて前記輪郭強調処理の強調の強度を変更する強度変更部を備え、
    前記エッジ成分補正部は、前記輪郭強調処理の強調の強度が変更された場合、変更後の強度に基づいて前記パラメータを調整する、
    請求項に記載された電子内視鏡用プロセッサ。
  4. 生体組織の撮像画像を取得して画像処理を施す電子内視鏡用プロセッサであって、
    生体組織の撮像画像の各画素に対してエッジ成分を検出するエッジ検出部と、
    輝度値に応じたエッジ成分の閾値が設定されている閾値設定データを参照し、前記エッジ検出部によって検出された各画素のエッジ成分を補正するエッジ成分補正部と、
    前記エッジ成分補正部によって補正されたエッジ成分に基づき、前記撮像画像に対して輪郭強調処理を施す強調処理部と、を備え、
    前記強調処理部は、複数の輪郭強調処理方法の中からユーザの操作に応じて選択された輪郭強調処理方法に従って前記輪郭強調処理を施し、
    前記複数の輪郭強調処理方法は、それぞれ異なる前記閾値設定データと関連付けられており、
    前記エッジ成分補正部は、前記選択された輪郭強調処理方法に関連付けられた閾値設定データを参照して、前記エッジ成分を補正する、
    子内視鏡用プロセッサ。
  5. 前記閾値設定データでは、輝度値が大きくなるにつれてエッジ成分の閾値が大きくなるように閾値が設定されている、
    請求項4に記載された電子内視鏡用プロセッサ。
  6. 前記強調処理部は、複数の輪郭強調処理方法の中からユーザの操作に応じて選択された輪郭強調処理方法に従って前記輪郭強調処理を施し、
    前記複数の輪郭強調処理方法は、それぞれ異なる前記パラメータと関連付けられており、
    前記エッジ成分補正部は、前記選択された輪郭強調処理方法に関連付けられたパラメータを参照して、前記エッジ成分を補正する、
    請求項に記載された電子内視鏡用プロセッサ。
  7. 生体組織の撮像画像を取得して画像処理を施す電子内視鏡用プロセッサであって、
    生体組織の撮像画像の各画素に対してエッジ成分を検出するエッジ検出部と、
    輝度値に応じたエッジ成分の閾値が設定されている閾値設定データを参照し、前記エッジ検出部によって検出された各画素のエッジ成分を補正するエッジ成分補正部と、
    前記エッジ成分補正部によって補正されたエッジ成分に基づき、前記撮像画像に対して輪郭強調処理を施す強調処理部と、を備え、
    前記生体組織を照明する照明光として、第1の波長帯域である第1の照明光、又は、前記第1の波長帯域とは異なる第2の波長帯域である第2の照明光のいずれかを生成する光源部をさらに備え、
    前記第1の照明光と前記第2の照明光は、それぞれ異なる前記閾値設定データと関連付けられており、
    前記エッジ成分補正部は、前記第1の照明と前記第2の照明光のうち前記光源部が生成する照明光に関連付けられた閾値設定データを参照して、前記エッジ成分を補正する、
    子内視鏡用プロセッサ。
  8. 前記生体組織を照明する照明光として、第1の波長帯域である第1の照明光、又は、前記第1の波長帯域とは異なる第2の波長帯域である第2の照明光のいずれかを生成する光源部をさらに備え、
    前記第1の照明光と前記第2の照明光は、それぞれ異なる前記パラメータと関連付けられており、
    前記エッジ成分補正部は、前記第1の照明と前記第2の照明光のうち前記光源部が生成する照明光に関連付けられたパラメータを参照して、前記エッジ成分を補正する、
    請求項に記載された電子内視鏡用プロセッサ。
  9. 請求項1~8のいずれか一項に記載の内視鏡用プロセッサと、
    前記内視鏡用プロセッサに接続され、前記生体組織を撮像する撮像素子を備えた内視鏡と、を備える内視鏡システム。
JP2023002336A 2023-01-11 2023-01-11 電子内視鏡用プロセッサ、電子内視鏡システム Active JP7846636B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2023002336A JP7846636B2 (ja) 2023-01-11 2023-01-11 電子内視鏡用プロセッサ、電子内視鏡システム
PCT/JP2023/044619 WO2024150588A1 (ja) 2023-01-11 2023-12-13 電子内視鏡用プロセッサ、電子内視鏡システム
US19/120,833 US20260020743A1 (en) 2023-01-11 2023-12-13 Processor for electronic endoscope and electronic endoscope system
CN202380075939.1A CN120129481A (zh) 2023-01-11 2023-12-13 电子内窥镜用处理器、电子内窥镜系统
EP23916202.7A EP4649882A1 (en) 2023-01-11 2023-12-13 Processor for electronic endoscopes, and electronic endoscopic system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2023002336A JP7846636B2 (ja) 2023-01-11 2023-01-11 電子内視鏡用プロセッサ、電子内視鏡システム

Publications (3)

Publication Number Publication Date
JP2024098704A JP2024098704A (ja) 2024-07-24
JP2024098704A5 JP2024098704A5 (ja) 2025-03-11
JP7846636B2 true JP7846636B2 (ja) 2026-04-15

Family

ID=91896734

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023002336A Active JP7846636B2 (ja) 2023-01-11 2023-01-11 電子内視鏡用プロセッサ、電子内視鏡システム

Country Status (5)

Country Link
US (1) US20260020743A1 (ja)
EP (1) EP4649882A1 (ja)
JP (1) JP7846636B2 (ja)
CN (1) CN120129481A (ja)
WO (1) WO2024150588A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009021905A (ja) 2007-07-13 2009-01-29 Hoya Corp 輪郭強調装置
JP2011254214A (ja) 2010-06-01 2011-12-15 Hoya Corp 輪郭強調装置
JP2014117412A (ja) 2012-12-14 2014-06-30 Fujifilm Corp 内視鏡装置及びその画像処理方法
JP2014144034A (ja) 2013-01-28 2014-08-14 Olympus Corp 画像処理装置、内視鏡装置、画像処理方法及び画像処理プログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3298162B2 (ja) * 1992-07-21 2002-07-02 カシオ計算機株式会社 輪郭補正装置
JP7464010B2 (ja) 2021-06-22 2024-04-09 トヨタ自動車株式会社 電気自動車用冷却システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009021905A (ja) 2007-07-13 2009-01-29 Hoya Corp 輪郭強調装置
JP2011254214A (ja) 2010-06-01 2011-12-15 Hoya Corp 輪郭強調装置
JP2014117412A (ja) 2012-12-14 2014-06-30 Fujifilm Corp 内視鏡装置及びその画像処理方法
JP2014144034A (ja) 2013-01-28 2014-08-14 Olympus Corp 画像処理装置、内視鏡装置、画像処理方法及び画像処理プログラム

Also Published As

Publication number Publication date
EP4649882A1 (en) 2025-11-19
CN120129481A (zh) 2025-06-10
US20260020743A1 (en) 2026-01-22
JP2024098704A (ja) 2024-07-24
WO2024150588A1 (ja) 2024-07-18

Similar Documents

Publication Publication Date Title
US8854445B2 (en) Endoscope apparatus
US10918270B2 (en) Endoscope system and evaluation value calculation device
JP4009626B2 (ja) 内視鏡用映像信号処理装置
CN101142592B (zh) 图像处理装置及内窥镜装置
CN111050629B (zh) 内窥镜系统
JP4223778B2 (ja) 内視鏡用自動調光装置および電子内視鏡装置
JP7163386B2 (ja) 内視鏡装置、内視鏡装置の作動方法及び内視鏡装置の作動プログラム
JP7195948B2 (ja) 内視鏡システム
CN106687023A (zh) 评价值计算装置以及电子内窥镜系统
US10702127B2 (en) Endoscope system and evaluation value calculation device
JP2009219719A (ja) 内視鏡装置
WO2023119795A1 (ja) 内視鏡システム及びその作動方法
JP7846636B2 (ja) 電子内視鏡用プロセッサ、電子内視鏡システム
WO2018008009A1 (ja) 画像処理装置及び電子内視鏡システム
JPH11313247A (ja) 内視鏡装置
JP3917733B2 (ja) 電子内視鏡装置
JP7386266B2 (ja) 内視鏡システム及びその作動方法
JP6272115B2 (ja) 内視鏡プロセッサおよび内視鏡システム
JP5856943B2 (ja) 撮像システム
CN108882835B (zh) 内窥镜图像信号处理装置及方法以及存储介质
JP2005130046A (ja) 撮像装置
US20240087090A1 (en) Processor for electronic endoscope and electronic endoscopic system
JP6491736B2 (ja) 内視鏡プロセッサおよび内視鏡システム
JP2010279457A (ja) 電子内視鏡、電子内視鏡システムおよび色調整方法
WO2023090044A1 (ja) 電子内視鏡用プロセッサ及び電子内視鏡システム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20250303

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20250303

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20260106

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20260129

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20260324

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20260403

R150 Certificate of patent or registration of utility model

Ref document number: 7846636

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150