JP7733754B2 - 画像処理方法、画像処理装置、画像処理プログラム、及び内視鏡システム - Google Patents

画像処理方法、画像処理装置、画像処理プログラム、及び内視鏡システム

Info

Publication number
JP7733754B2
JP7733754B2 JP2024006308A JP2024006308A JP7733754B2 JP 7733754 B2 JP7733754 B2 JP 7733754B2 JP 2024006308 A JP2024006308 A JP 2024006308A JP 2024006308 A JP2024006308 A JP 2024006308A JP 7733754 B2 JP7733754 B2 JP 7733754B2
Authority
JP
Japan
Prior art keywords
image
super
resolution
target
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2024006308A
Other languages
English (en)
Other versions
JP2025112168A (ja
Inventor
健一 中楯
昌一郎 松尾
喬史 亀山
耕司 山田
一之 二本柳
徳史 平田
秀樹 川井
次郎 牧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujikura Ltd
Fibertech Co Ltd
Original Assignee
Fujikura Ltd
Fibertech Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujikura Ltd, Fibertech Co Ltd filed Critical Fujikura Ltd
Priority to JP2024006308A priority Critical patent/JP7733754B2/ja
Priority to PCT/JP2025/000697 priority patent/WO2025154680A1/ja
Publication of JP2025112168A publication Critical patent/JP2025112168A/ja
Application granted granted Critical
Publication of JP7733754B2 publication Critical patent/JP7733754B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Endoscopes (AREA)

Description

本発明は、イメージガイドを用いて撮像した画像を処理する画像処理方法、画像処理装置、及び画像処理プログラムに関する。また、そのような画像処理装置を備えた内視鏡システムに関する。
一端が体内に挿入されたイメージガイドの他端を撮像することによって、体内の対象物を被写体として含む画像を得る内視鏡システムが広く用いられている。例えば、特許文献１には、イメージガイドの細径化及び柔軟化によって、細径血管内膜への損傷の危険性を改善した血管内視鏡システムが開示されている。
特開平８－１９１４３９号公報
イメージガイドを用いた内視鏡システムでは、イメージガイドのコア密度によって解像度が決まる。例えば、コア間距離の１００倍程度のサイズの構造は、イメージガイドの端面に形成される像から視認することができるが、コア間距離の１０倍程度のサイズの構造は、イメージガイドの端面に形成される像から視認することが困難になり、コア間距離と同程度のサイズの構造は、イメージガイドの端面に形成される像から視認することができない。
特許文献１に記載の血管内視鏡システムにおいては、イメージガイドの各コアの伝送特性の違いに起因する画素毎の明度及び色調の違いを補正することによって、得られる画像の画質を向上させている。しかしながら、このような補正では、イメージガイドのコア密度によって決まる解像度を超えることはできない。
本発明の一態様は、上記の課題に鑑みてなされたものであり、得られる画像の解像度又は視認性を向上した画像処理技術を提供することにある。
本発明の一態様に係る画像処理方法は、複数のコアを有し、一端が対象物に対向するイメージガイドの他端を撮像することにより得られた複数の対象画像を取得する取得処理と、前記複数の対象画像において前記対象物の同一の点に対応する画素の画素値を単純平均又は加重平均することによって、超解像画像を生成する超解像処理と、を含む。
本発明の一態様に係る画像処理装置は、少なくとも１つのプロセッサを備えた画像処理装置であって、前記プロセッサは、複数のコアを有し、一端が対象物に対向するイメージガイドの他端を撮像することにより得られた複数の対象画像を取得する取得処理と、前記複数の対象画像において前記対象物の同一の点に対応する画素の画素値を平均又は加重平均することによって、超解像画像を生成する超解像処理と、を実行する。
本発明の一態様に係る画像処理プログラムは、少なくとも１つのプロセッサを動作させるための画像処理プログラムであって、前記プロセッサに、複数のコアを有し、一端が対象物に対向するイメージガイドの他端を撮像することにより得られた複数の対象画像を取得する取得処理と、前記複数の対象画像において前記対象物の同一の点に対応する画素の画素値を平均又は加重平均することによって、超解像画像を生成する超解像処理と、を実行させる。
本発明の一態様によれば、得られる画像の解像度又は視認性を向上することができる。
本発明の一実施形態に係る内視鏡システムの構成を示す模式図である。 図１に示す内視鏡システムに含まれる画像処理装置の構成を示すブロック図である。 本発明の一実施形態に係る画像処理方法の流れを示すフロー図である。 図３に示す画像処理方法の一実行例を示す図である。具体的には、当該実行例において観察の対象となる対象物を示す図である。 図３に示す画像処理方法の一実行例を示す図である。具体的には、当該実行例において白色標準板撮像処理により得られる網目画像を示す図である。 図３に示す画像処理方法の一実行例を示す図である。具体的には、当該実行例において対象物撮像処理により得られる第１の対象画像を示す図である。 図３に示す画像処理方法の一実行例を示す図である。具体的には、当該実行例において対象物撮像処理により得られる第２の対象画像を示す図である。 図３に示す画像処理方法の一実行例を示す図である。具体的には、当該実行例において対象物撮像処理により得られる第３の対象画像を示す図である。 図３に示す画像処理方法の一実行例を示す図である。具体的には、当該実行例において対象物撮像処理により得られる第４の対象画像を示す図である。 図３に示す画像処理方法の一実行例を示す図である。具体的には、当該実行例において超解像処理（単純平均）により得られる超解像画像を示す図である。 図３に示す画像処理方法の一実行例を示す図である。具体的には、当該実行例においてマスク処理により得られる出力画像を示す図である。 図３に示す画像処理方法の一変形例に係る画像処理方法の流れを示すフロー図である。 図１２に示す画像処理方法の一実行例を示す図である。具体的には、当該実行例において透明化処理により得られる第１の対象画像を示す図である。 図１２に示す画像処理方法の一実行例を示す図である。具体的には、当該実行例において透明化処理により得られる第２の対象画像を示す図である。 図１２に示す画像処理方法の一実行例を示す図である。具体的には、当該実行例において透明化処理により得られる第３の対象画像を示す図である。 図１２に示す画像処理方法の一実行例を示す図である。具体的には、当該実行例において透明化処理により得られる第４の対象画像を示す図である。 図１２に示す画像処理方法の一実行例を示す図である。具体的には、当該実行例において超解像処理（加重平均）により得られる超解像画像を示す図である。 図１２に示す画像処理方法の一実行例を示す図である。具体的には、当該実行例においてマスク処理により得られる出力画像を示す図である。 図１２に示す画像処理方法の一実行例を示す図である。具体的には、当該実行例においてコア描画処理により得られる超解像画像の一部を示す拡大図である。（ａ）は、不透明度について再設定を行わなかった場合、（ｂ）は、不透明度について、コア領域の中心からの距離が予め定められた閾値以下である各画素の不透明度を、その距離が大きくなるにつれて線形に小さくなるように再設定した場合、（ｃ）は、コア領域の中心からの距離が予め定められた閾値以下である各画素の不透明度を、その距離が大きくなるにつれてガウス分布に従って小さくなるように再設定した場合に対応する。
（内視鏡システムの構成）
本発明の一実施形態に係る内視鏡システム１について、図１を参照して説明する。図１において、（ａ）は、内視鏡システム１の構成を示す模式図であり、（ｂ）は、ライトガイドプラグ部１３ａにおけるライトガイド１３ｐの構造を示す平面図及び断面図であり、（ｃ）は、イメージガイドプラグ部１３ｃにおけるイメージガイド１３ｑの構造を示す平面図及び断面図であり、（ｄ）は、挿入部１３ｇにおけるライトガイド１３ｐ及びイメージガイド１３ｑの構造を示す平面図及び断面図である。
内視鏡システム１は、観察対象となる対象物ＯのイメージをディススプレイＤに表示するためのシステムである。内視鏡システム１は、図１の（ａ）に示すように、画像処理装置１０と、光源装置１１と、カメラ装置１２と、内視鏡プローブ１３と、を備えている。
光源装置１１は、図１の（ａ）に示すように、光源１１ａと、集光レンズ１１ｂと、を備えている。光源１１ａは、集光レンズ１１ｂの光軸上に配置されている。光源１１ａとしては、例えば、ＬＥＤ（Light Emitting Diode）、キセノンランプ、ハロゲンランプなどが用いられる。
カメラ装置１２は、図１の（ａ）に示すように、イメージセンサ１２ａと、対物レンズ１２ｂと、信号処理回路１２ｃと、を備えている。イメージセンサ１２ａは、対物レンズ１２ｂの光軸上に配置されている。信号処理回路１２ｃは、イメージセンサ１２ａと電気的に接続されている。イメージセンサ１２ａとしては、例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサ、ＣＣＤ（Charge Coupled Device）センサなどが用いられる。
内視鏡プローブ１３は、図１の（ａ）に示すように、（１）光源装置１１に機械的に接続されるライトガイドプラグ部１３ａと、（２）一端がライトガイドプラグ部１３ａに接続されたライトガイドリード部１３ｂと、（３）カメラ装置１２に機械的に接続されるイメージガイドプラグ部１３ｃと、（４）一端がイメージガイドプラグ部１３ｃに接続されたイメージガイドリード部１３ｄと、（５）一端がライトガイドリード部１３ｂ及びイメージガイドリード部１３ｄの他端に接続された分岐部１３ｅと、（６）一端が分岐部１３ｅの他端に接続された中間部１３ｆと、（７）一端が中間部１３ｆの他端に接続された挿入部１３ｇと、を備えている。なお、内視鏡プローブ１３は、更に、通水用管腔、作業用管腔、挿入部湾曲機構、及び湾曲操作部（何れも不図示）を備えていてもよい。
図１の（ｂ）及び（ｄ）に示すように、ライトガイドプラグ部１３ａ、ライトガイドリード部１３ｂ、分岐部１３ｅ、中間部１３ｆ、及び挿入部１３ｇの内部には、光源装置１１で生じた照明光を導波する導波路として機能する１本もしくは複数本のライトガイド１３ｐが設けられている。それぞれのライトガイド１３ｐは、クラッドに埋設されている。ライトガイドプラグ部１３ａ及びライトガイドリード部１３ｂに内包されるライトガイド１３ｐは、分岐部１３ｅにおいて後述するイメージガイド１３ｑと束ねられ、このイメージガイド１３ｑと共に中間部１３ｆ及び挿入部１３ｇに内包される。
また、図１の（ｃ）及び（ｄ）に示すように、イメージガイドプラグ部１３ｃ、イメージガイドリード部１３ｄ、分岐部１３ｅ、中間部１３ｆ、及び挿入部１３ｇの内部には、対象物Ｏで生じた散乱光を導波する導波路であるイメージガイド１３ｑが設けられている。イメージガイド１３ｑは、クラッドと、そのクラッドの内部に規則的に又はランダムに配置された複数のコア（例えば、数千個から数万個のコア）により構成される。イメージガイドプラグ部１３ｃ及びイメージガイドリード部１３ｄに内包されるイメージガイド１３ｑは、分岐部１３ｅにおいて前述したライトガイド１３ｐと束ねられ、このライトガイド１３ｐと共に中間部１３ｆ及び挿入部１３ｇに内包される。
イメージガイド１３ｑとしては、例えば、イメージガイドファイバ、イメージファイバ、ファイババンドル、ファイバコンジット等を用いることができる。イメージガイド１３ｑの素材は、石英系、多成分ガラス系、プラスチック系のいずれであってもよい。また、イメージガイド１３ｑのコア数及びコア配置も特に限定されない。一例として、３０００個のコアを六方最密格子の格子点上に配置したイメージガイドファイバを、イメージガイド１３ｑとして用いることができる。ただし、イメージガイド１３ｑの解像度は、イメージセンサ１２ａの解像度よりも低い、すなわち、イメージガイド１３ｑのコア数は、イメージセンサ１２ａのセル数よりも少ない。
また、図１の（ｄ）に示すように、挿入部１３ｇの先端には、対物レンズ１３ｒが設けられている。対物レンズ１３ｒの一端は、挿入部１３ｇの端面を構成し、対物レンズ部１３ｓの他端は、イメージガイド１３ｑの一端と対向している。対物レンズ１３ｒとしては、例えば、ＧＲＩＮレンズや複数枚レンズからなるレンズユニットを用いることができる。
内視鏡システム１は、例えば、次のように動作する。すなわち、挿入部１３ｇを患者の体内に挿入した状態で光源１１ａから照明光が出射される。光源１１ａから出射した照明光は、集光レンズ１１ｂによりライトガイド１３ｐのライトガイドプラグ部１３ａ側の端面に集光される。ライトガイド１３ｐのライトガイドプラグ部１３ａ側の端面においてライトガイド１３ｐのコアに入射した照明光は、ライトガイド１３ｐのコアを導波され、ライトガイド１３ｐの挿入部１３ｇ側の端面においてライトガイド１３ｐのコアから出射する。ライトガイド１３ｐの挿入部１３ｇ側の端面においてライトガイド１３ｐのコアから出射した照明光は、患者の体内において対象物Ｏに照射される。
患者の体内において照明光を散乱することにより対象物Ｏの各点で生じた散乱光は、対物レンズ１３ｒによりイメージガイド１３ｑの挿入部１３ｇ側の端面の各点に集光される。これにより、イメージガイド１３ｑの挿入部１３ｇ側の端面に対象物Ｏの像が形成される。対物レンズ１３ｒによりイメージガイド１３ｑの挿入部１３ｇ側の端面においてイメージガイド１３ｑのコアに入射した散乱光は、イメージガイド１３ｑのコアを導波され、イメージガイド１３ｑのイメージガイドプラグ部１３ｃ側の端面においてイメージガイド１３ｑのコアから出射する。これにより、イメージガイド１３ｑのイメージガイドプラグ部１３ｃ側の端面にも、イメージガイド１３ｑの挿入部１３ｇ側の端面と同様、対象物Ｏの像が形成される。
イメージガイド１３ｑのイメージガイドプラグ部１３ｃ側の端面においてイメージガイド１３ｑの各コアから出射した光（対象物Ｏの各点で生じた散乱光に由来する光）は、対物レンズ１２ｂによりイメージセンサ１２ａの受光面の各点に集光される。これにより、イメージセンサ１２ａの受光面に対象物Ｏの像が形成される。イメージセンサ１２ａは、対象物Ｏの像を表す電気信号を生成し、生成した電気信号を信号処理回路１２ｃに入力する。信号処理回路１２ｃは、イメージセンサ１２ａから入力された電気信号から、対象物Ｏの像を表す対象画像を生成する。
カメラ装置１２は、生成した対象画像を画像処理装置１０に入力する。画像処理装置１０は、後述する画像処理方法Ｓ１００に従って、カメラ装置１２から入力された対象画像からディスプレイＤに表示する出力画像を生成する。なお、画像処理装置１０が担う機能は、カメラ装置１２が担ってもよい。すなわち、後述する画像処理方法Ｓ１００を、画像処理装置１０が実施する構成の代わりに、カメラ装置１２が実施する構成を採用してもよい。この場合、内視鏡システム１から画像処理装置１０を省略することができる。
なお、本明細書において、「画像」とは、画素値の２次元配列のことを指す。モノクロ画像の画素値は、例えば、輝度に対応する１つの数値からなる。Ｄ階調のモノクロ画像において、輝度は、０以上Ｄ－１以下の整数値を取る。カラー画像における画素値は、例えば、ＲＧＢに対応する３つの数値からなる。ここで、Ｒは、赤成分を表し、Ｇは、緑成分を表し、Ｂは、青成分を表す。Ｄ階調のカラー画像において、赤成分、緑成分、及び青成分は、それぞれ、０以上Ｄ－１以下の整数値を取る。透過カラー画像における画素値は、例えば、ＲＧＢＡに対応する４つの数値からなる。ここで、Ａは、不透明度を表す。Ｄ階調の透過カラー画像の場合、赤成分、緑成分、青成分、及び不透明度は、それぞれ、０以上Ｄ－１以下の整数値を取る。
画像における画素は、座標（ｘ，ｙ）により識別される。画像のサイズが横Ｗ画素×縦Ｈ画素である場合、ｘは、０以上Ｗ－１以下の整数であり、ｙは、０以上Ｈ－１以下の整数である。座標が（ｘ，ｙ）である画素を、以下、画素（ｘ，ｙ）とも記載する。例えば、画素（０，０）は、画像の左上隅の画素であり、画素（１，０）は、画素（０，０）の右隣の画素であり、画素（０，１）は、画素（０，０）の下隣の画素である。モノクロ画像の画素（ｘ，ｙ）の画素値（輝度値）をＡ（ｘ，ｙ）と記載する。また、カラー画像の画素（ｘ，ｙ）の画素値について、その赤成分をＲ（ｘ，ｙ）、その緑成分をＧ（ｘ，ｙ）、その青成分をＢ（ｘ，ｙ）と記載する。同様に、不透明度付きカラー画像の画素（ｘ，ｙ）の画素値について、その赤成分をＲ（ｘ，ｙ）、その緑成分をＧ（ｘ，ｙ）、その青成分をＢ（ｘ，ｙ）、その不透明度をＡ（ｘ，ｙ）と記載する。
画像を保存するためのファイルフォーマットは、特に限定されない。例えば、ＰＮＧ、ＪＰＥＧ、ＧＩＦなどのファイルフォーマットを用いれば、モノクロ画像又はカラー画像を保存することが可能である。また、透過ＰＮＧなどのファイルフォーマットを用いれば、透過カラー画像を保存することが可能である。
（画像処理装置の構成）
画像処理装置１０の構成について、図２を参照して説明する。図２は、画像処理装置１０の構成を示すブロック図である。
画像処理装置１０は、図２に示すように、プロセッサ１０１と、メモリ１０２と、ストレージ１０３と、入出力インタフェース１０４と、バス１０５と、を備えている。プロセッサ１０１、メモリ１０２、ストレージ１０３、及び入出力インタフェース１０４は、バス１０５を介して互いに接続されている。
メモリ１０２は、後述する画像処理方法Ｓ１００を実施するための画像処理プログラムＰ１００をプロセッサ１０１が参照可能な状態に展開して記憶するための構成である。また、メモリ１０２は、カメラ装置１２から取得した各種画像を記憶するためにも利用される。なお、メモリ１０２としては、例えば、半導体ＲＡＭ（Random Access Memory）等を用いることができる。
プロセッサ１０１は、メモリ１０２に展開された画像処理プログラムＰ１００に従って、後述する画像処理方法Ｓ１００を実施するための構成である。プロセッサ１０１としては、例えば、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphic Processing Unit）、又はこれらの組み合わせ等を用いることができる。
ストレージ１０３は、画像処理プログラムＰ１００を格納（不揮発保存）するための構成である。プロセッサ１０１は、後述する画像処理方法Ｓ１００を実施する際に、ストレージ１０３に格納された画像処理プログラムＰ１００をメモリ１０２上に展開して参照する。なお、ストレージ１０３としては、例えば、フラッシュメモリ、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、又は、これらの組み合わせ等を用いることができる。
入出力インタフェース１０４は、カメラ装置１２及びディスプレイＤを、それぞれ、画像処理装置１０に接続するための構成である。なお、入出力インタフェース１０４としては、例えば、ＵＳＢ（Universal Serial Bus）インタフェース等を用いることができる。
なお、ここでは、後述する画像処理方法Ｓ１００を単一のコンピュータ（画像処理装置１０として機能するコンピュータ）に設けられた単一のプロセッサ１０１が実行する構成について説明したが、これに限定されない。すなわち、後述する画像処理方法Ｓ１００を単一のコンピュータに集中して設けられた、或いは、複数のコンピュータに分散して設けられた複数のプロセッサが共同して実行する構成を採用することも可能である。
なお、画像処理プログラムＰ１００は、コンピュータ読み取り可能な一時的でない有形の記録媒体に記録され得る。この記録媒体は、メモリ１０２であってもよいし、ストレージ１０３であってもよいし、その他の記録媒体であってもよい。例えば、テープ、ディスク、カード、半導体メモリ、プログラマブル論理回路等が、その他の記録媒体として利用可能である。
（画像処理方法の流れ） 本発明の一実施形態に係る画像処理方法Ｓ１００の流れについて、図３を参照して説明する。図３は、画像処理方法Ｓ１００の流れを示すフロー図である。
画像処理方法Ｓ１００は、図３に示すように、白色標準板撮像処理Ｓ１０１と、ホワイトバランス調整処理Ｓ１０２と、対象物撮像処理Ｓ１０３と、対象画像取得処理Ｓ１０４と、超解像処理Ｓ１０５と、マスク処理Ｓ１０６と、画像表示処理Ｓ１０７と、を含んでいる。ここで、白色標準板撮像処理Ｓ１０１、ホワイトバランス調整処理Ｓ１０２、及び対象物撮像処理Ｓ１０３は、カメラ装置１２を主体として実施される処理である。一方、対象画像取得処理Ｓ１０４、超解像処理Ｓ１０５、マスク処理Ｓ１０６、及び画像表示処理Ｓ１０７は、画像処理装置１０を主体として実施される処理である。
白色標準板撮像処理Ｓ１０１は、ユーザが、内視鏡プローブ１３の対物レンズ１３ｒを白色標準板に対向させ、カメラ装置１２が、イメージガイド１３ｑのイメージガイドプラグ部１３ｃ側の端面を撮像する処理である。ホワイトバランス調整処理Ｓ１０２は、カメラ装置１２が、白色標準板撮像処理Ｓ１０１にて撮像された画像を参照してホワイトバランスを調整する処理である。白色標準板撮像処理Ｓ１０１にて撮像され、ホワイトバランス調整処理Ｓ１０２にて参照される画像は、イメージガイド１３ｑのコアに対応する領域が明るく、その他の領域が暗いカラー画像である。この画像のことを、以下、網目画像Ｉ０と記載する。なお、白色標準板撮像処理Ｓ１０１にて得られる網目画像Ｉ０の具体例については、参照する図面を代えて後述する。
対象物撮像処理Ｓ１０３は、ユーザが、内視鏡プローブ１３の対物レンズ１３ｒを対象物Ｏに対向させ、カメラ装置１２が、イメージガイド１３ｑのイメージガイドプラグ部１３ｃ側の端面を撮像する処理である。対象画像取得処理Ｓ１０４は、画像処理装置１０が、対象物撮像処理Ｓ１０３にて撮像された画像を、カメラ装置１２から取得し、メモリ１０２に記憶させる処理である。対象物撮像処理Ｓ１０３及び対象画像取得処理Ｓ１０４は、ｎ回（ｎは予め定めらた自然数）繰り返される。対象物撮像処理Ｓ１０３にて撮像され、対象画像取得処理Ｓ１０４にて取得される画像は、イメージガイド１３ｑのイメージガイドプラグ部１３ｃ側の端面に形成された対象物Ｏの像を表すカラー画像である。これらの画像のことを、以下、対象画像Ｉ１，Ｉ２，…，Ｉｎと記載する。なお、対象物撮像処理Ｓ１０３にて得られる対象画像Ｉ１，Ｉ２，…，Ｉｎの具体例については、参照する図面を代えて後述する。
超解像処理Ｓ１０５は、対象画像Ｉ１，Ｉ２，…，Ｉｎにおいて対象物Ｏの同一の点に対応する画素の画素値を平均することによって、超解像画像Ｉを生成する処理である。本実施形態において、超解像処理Ｓ１０５は、位置合わせ処理Ｓ１０５ａと、平均処理Ｓ１０５ｂと、により構成される。
位置合わせ処理Ｓ１０５ａは、画像処理装置１０が、最後に取得した対象画像Ｉｎ以外の各対象画像Ｉｉ（ｉは１以上ｎ－１以下の各自然数）について、（１）対象画像Ｉｎに対する対象画像Ｉｉの位置ずれベクトルｖｉを算出し、（２）対象画像Ｉｉの各画素の画素値を位置ずれベクトルｖｉ分だけシフトする処理である。位置ずれベクトルｖｉの算出方法としては、例えば、対象画像Ｉｉ，Ｉｎの特徴量を利用する公知の方法を利用することができる。対象画像Ｉｉに対する位置合わせ処理Ｓ１０５ａにて得られる画像は、イメージガイド１３ｑのイメージガイドプラグ部１３ｃ側の端面に形成された対象物Ｏの像を表すカラー画像である。この画像のことを、以下、対象画像Ｉｉ’と記載する。
対象画像Ｉｉの画素（ｘｉ，ｙｉ）と対象画像Ｉｎの画素（ｘｎ，ｙｎ）とが被写体の同一の点に対応する場合、位置ずれベクトルｖｉ＝（ｖｉｘ，ｖｉｙ）は、例えば、以下の式により与えられる。
ｖｉｘ＝ｘｉ－ｘｎ、
ｖｉｙ＝ｙｉ－ｙｎ。
また、対象画像Ｉｉの画素（ｘ，ｙ）における画素値が｛Ｒｉ（ｘ，ｙ），Ｇｉ（ｘ，ｙ），Ｂｉ（ｘ，ｙ）｝により与えられる場合、対象画像Ｉｉ’の画素（ｘ，ｙ）における画素値｛Ｒｉ’（ｘ，ｙ），Ｇｉ’（ｘ，ｙ），Ｂｉ’（ｘ，ｙ）｝は、例えば、以下の式により与えられる。
０≦ｘ＋ｖｉｘ≦Ｗ、且つ０≦ｙ＋ｖｉｙ≦Ｈである場合：
Ｒｉ’（ｘ，ｙ）＝Ｒｉ（ｘ＋ｖｉｘ，ｙ＋ｖｉｙ）、
Ｇｉ’（ｘ，ｙ）＝Ｇｉ（ｘ＋ｖｉｘ，ｙ＋ｖｉｙ）、
Ｂｉ’（ｘ，ｙ）＝Ｂｉ（ｘ＋ｖｉｘ，ｙ＋ｖｉｙ）、
ｘ＋ｖｉｘ＜０，Ｗ＜ｘ＋ｖｉｘ，ｙ＋ｖｉｙ＜０、又はＨ＜ｙ＋ｖｉｙである場合：
Ｒｉ’（ｘ，ｙ）＝０、
Ｇｉ’（ｘ，ｙ）＝０、
Ｂｉ’（ｘ，ｙ）＝０。
なお、最後に取得した対象画像Ｉｎについては、位置合わせ処理Ｓ１０５ａを行わないが、以下では説明の便宜上、対象画像Ｉｎを対象画像Ｉｎ’とも記載する。つまり、対象画像Ｉｎ’の画素（ｘ，ｙ）における画素値｛Ｒｎ’（ｘ，ｙ），Ｇｎ’（ｘ，ｙ），Ｂｎ’（ｘ，ｙ）｝は、対象画像Ｉｎの画素（ｘ，ｙ）における画素値｛Ｒｎ（ｘ，ｙ），Ｇｎ（ｘ，ｙ），Ｂｎ（ｘ，ｙ）｝と同一である。位置合わせ処理Ｓ１０５ａにて得られる対象画像Ｉ１’，Ｉ２’，…，Ｉｎ’の具体例については、参照する図面を代えて後述する。
なお、ここでは、最後に取得した対象画像Ｉｎを基準画像として、基準画像以外の各対象画像Ｉｉの画素値をシフトする構成について説明したが、これに限定されない。すなわち、最後に取得した対象画像Ｉｎ以外の対象画像Ｉｐ（ｐは１以上ｎ－１以下の予め定められた自然数）を基準画像として、基準画像以外の各対象画像Ｉｑ（ｑはｐとは異なる１以上ｎ以下の各自然数）の画素値をシフトする構成を採用してもよい。
平均処理Ｓ１０５ｂは、画像処理装置１０が、各画素（ｘ，ｙ）について、各対象画像Ｉｊ’（ｊは１以上ｎ以下の各自然数）の画素値｛Ｒｊ’（ｘ，ｙ），Ｇｊ’（ｘ，ｙ），Ｂｊ’（ｘ，ｙ）｝を成分毎に単純平均する処理である。平均処理Ｓ１０５ｂにて得られる画像は、イメージガイド１３ｑのイメージガイドプラグ部１３ｃ側の端面に形成された対象物Ｏの像を表すカラー画像である。この画像のことを、以下、超解像画像Ｉと記載する。超解像画像Ｉの画素（ｘ，ｙ）における画素値｛Ｒ（ｘ，ｙ），Ｇ（ｘ，ｙ），Ｂ（ｘ，ｙ）｝は、例えば、以下の式により与えられる。超解像処理Ｓ１０５にて生成される超解像画像Ｉの具体例については、参照する図面を代えて後述する。
Ｒ（ｘ，ｙ）＝｛Ｒ１’（ｘ，ｙ）＋Ｒ２’（ｘ，ｙ）＋…＋Ｒｎ’（ｘ，ｙ）｝／ｎ、
Ｇ（ｘ，ｙ）＝｛Ｇ１’（ｘ，ｙ）＋Ｇ２’（ｘ，ｙ）＋…＋Ｇｎ’（ｘ，ｙ）｝／ｎ、
Ｂ（ｘ，ｙ）＝｛Ｂ１’（ｘ，ｙ）＋Ｂ２’（ｘ，ｙ）＋…＋Ｂｎ’（ｘ，ｙ）｝／ｎ。
マスク処理Ｓ１０６は、画像処理装置１０が、超解像画像Ｉにおいて視野円外の領域をマスクすることによって、出力画像Ｉ’を生成する処理である。ここで、視野円外の領域をマスクするとは、例えば、超解像画像Ｉにおいて視野円外に位置する画素（ｘ，ｙ）の画素値｛Ｒ（ｘ，ｙ），Ｇ（ｘ，ｙ），Ｂ（ｘ，ｙ）｝を、Ｒ（ｘ，ｙ）＝０、Ｇ（ｘ，ｙ）＝０，Ｂ（ｘ，ｙ）＝０に設定することを指す。マスク処理Ｓ１０６にて生成される出力画像Ｉ’の具体例については、参照する図面を代えて後述する。
画像表示処理Ｓ１０７は、画像処理装置１０が、出力画像Ｉ’をディスプレイＤに表示する処理である。これにより、画像処理方法Ｓ１００の一連の処理が完了する。
なお、ここでは、対象物Ｏの静止画像をディスプレイＤに表示するための画像処理方法Ｓ１００について説明したが、この方法を利用して対象物Ｏの動画像をディスプレイＤに表示するようにしてもよい。この場合、カメラ装置１２は、フレームレートに応じた周期で対象物撮像処理Ｓ１０３を繰り返し実行し、画像処理装置１０は、それまでにカメラ装置１２が撮像した対象画像のうち、最新のｎ枚の対象画像に対して超解像処理Ｓ１０５、マスク処理Ｓ１０６、及び画像表示処理Ｓ１０７を実行する。これにより、対象物Ｏの動画像をディスプレイＤに表示することができる。
なお、超解像処理Ｓ１０５の前処理として、対象画像Ｉ１，Ｉ２，…，Ｉｎのそれぞれに対してアフィン変換などの変形補正を行ってもよい。撮像時のアオリ角の差異によって対象画像Ｉ１，Ｉ２，…，Ｉｎに含まれるコアの像の位置及び形に差異が生じている場合には、この差異を変形補正によって事前に解消することで、より視認性の高い超解像画像Ｉが得られる。また、超解像処理Ｓ１０５の前処理として、対象画像Ｉ１，Ｉ２，…，Ｉｎのそれぞれに対して特開２０２１－１７７６０４号（特許７１８９１７３号）に記載の色ムラ補正及び輝度ムラ補正を行ってもよい。対象画像Ｉ１，Ｉ２，…，Ｉｎに含まれるコアの像毎の色ムラ及び輝度ムラが生じている場合には、これらを色ムラ補正及び輝度ムラ補正により事前に解消することで、より視認性の高い超解像画像Ｉが得られる。
（画像処理方法の実行例）
画像処理方法Ｓ１００の実行例について、図４～図１１を参照して説明する。本具体例においては、簡単のために対象画像Ｉ１，Ｉ２，…，Ｉｎの枚数ｎを４とする。
図４は、本実行例においてサンプルとして用いる対象物Ｏの平面図である。本実行例においてサンプルとして用いる対象物Ｏは、ＡからＺまでのアルファベットと、０から９までの数字とが印字された白色標準板である。
図５は、白色標準板撮像処理Ｓ１０１にて得られる網目画像Ｉ０を例示した図である。上述したように、網目画像Ｉ０は、イメージガイド１３ｑのコアに対応する領域が明るく、その他の領域が暗い画像になる。
図６は、対象物撮像処理Ｓ１０３にて得られる対象画像Ｉ１、及び、位置合わせ処理Ｓ１０５ａにて得られる対象画像Ｉ１’を例示した図である。対象画像Ｉ１に被写体として含まれる文字及びアルファベットの位置は、基準画像として用いられる対象画像Ｉ４に被写体として含まれる文字及びアルファベットの位置よりも、右下に寄っている。したがって、位置ずれベクトルｖ１は、図６に白色矢印で示すように、右下を向く。対象画像Ｉ１の各画素の画素値を位置ずれベクトルｖ１分だけシフトすることで得られる対象画像Ｉ１’に被写体として含まれる文字及びアルファベットの位置は、基準画像として用いられる対象画像Ｉ４に被写体として含まれる文字及びアルファベットの位置と一致又は略一致する。
図７は、対象物撮像処理Ｓ１０３にて得られる対象画像Ｉ２、及び、位置合わせ処理Ｓ１０５ａにて得られる対象画像Ｉ２’を例示した図である。対象画像Ｉ２に被写体として含まれる文字及びアルファベットの位置は、基準画像として用いられる対象画像Ｉ４に被写体として含まれる文字及びアルファベットの位置よりも、左に寄っている。したがって、位置ずれベクトルｖ２は、図７に白色矢印で示すように、左を向く。対象画像Ｉ２の各画素の画素値を位置ずれベクトルｖ２分だけシフトすることで得られる対象画像Ｉ２’に被写体として含まれる文字及びアルファベットの位置は、基準画像として用いられる対象画像Ｉ４に被写体として含まれる文字及びアルファベットの位置と一致又は略一致する。
図８は、対象物撮像処理Ｓ１０３にて得られる対象画像Ｉ３、及び、位置合わせ処理Ｓ１０５ａにて得られる対象画像Ｉ３’を例示した図である。対象画像Ｉ３に被写体として含まれる文字及びアルファベットの位置は、基準画像として用いられる対象画像Ｉ４に被写体として含まれる文字及びアルファベットの位置よりも、右上に寄っている。したがって、位置ずれベクトルｖ３は、図８に白色矢印で示すように、右上を向く。対象画像Ｉ３の各画素の画素値を位置ずれベクトルｖ３分だけシフトすることで得られる対象画像Ｉ３’に被写体として含まれる文字及びアルファベットの位置は、基準画像として用いられる対象画像Ｉ４に被写体として含まれる文字及びアルファベットの位置と一致又は略一致する。
図９は、対象物撮像処理Ｓ１０３にて得られる対象画像Ｉ４を例示した図である。対象画像Ｉ４は、位置合わせ処理Ｓ１０５ａにおける基準画像として用いられるため、対象画像Ｉ４に対する位置合わせ処理Ｓ１０５ａは実行されない。
図１０は、超解像処理Ｓ１０５にて得られる超解像画像Ｉを例示した図である。対象画像Ｉ１～Ｉ４においては、被写体として含まれるアルファベット及び文字の判読が困難である。これに対して、超解像画像Ｉにおいては、被写体として含まれるアルファベット及び文字の判読が容易である。すなわち、超解像処理Ｓ１０５を実行することによって、対象画像Ｉ１～Ｉ４よりも視認性の高い超解像画像Ｉが得られることが確かめられた。
図１１は、マスク処理Ｓ１０６にて得られる出力画像Ｉ’を例示した図である。超解像画像Ｉにおいては、被写体として含まれるイメージガイド１３ｑの端面の境界にジャギー（イメージガイド１３ｑが複数のコアにより構成されることに起因して生じるギザギザ）を視認することができる。一方、出力画像Ｉ’においては、被写体として含まれるイメージガイド１３ｑの端面の境界にジャギーを視認することができない。すなわち、マスク処理Ｓ１０６を実行することによって、超解像画像Ｉよりもジャギーの少ない出力画像Ｉ’が得られることが確かめられた。
（画像処理方法の変形例）
画像処理方法Ｓ１００の一変形例について、図１２を参照して説明する。図１２は、本変形例に係る画像処理方法Ｓ１００’の流れを示すフロー図である。
本変形例に係る画像処理方法Ｓ１００’は、（１）上述した画像処理方法Ｓ１００に白色標準板撮像処理Ｓ１１０、網目画像取得処理Ｓ１１１、及び透明化処理Ｓ１１２を追加すると共に、（２）上述した超解像処理Ｓ１０５に含まれる単純平均を取る平均処理Ｓ１０５ｂを、加重平均を取る平均処理Ｓ１０５ｃに置き換えたものである。
白色標準板撮像処理Ｓ１１０及び網目画像取得処理Ｓ１１１は、上述したホワイトバランス調整処理Ｓ１０２と対象物撮像処理Ｓ１０３との間で実行される処理である。
白色標準板撮像処理Ｓ１１０は、ユーザが、内視鏡プローブ１３の対物レンズ１３ｒを白色標準板に対向させ、カメラ装置１２が、イメージガイド１３ｑのイメージガイドプラグ部１３ｃ側の端面を撮像する処理である。網目画像取得処理Ｓ１１１は、画像処理装置１０が、白色標準板撮像処理Ｓ１１０にて撮像された画像を、カメラ装置１２から取得し、メモリ１０２に記憶させる処理である。白色標準板撮像処理Ｓ１０１にて撮像され、網目画像取得処理Ｓ１１１にて取得される画像は、イメージガイド１３ｑのコアに対応する領域が明るく、その他の領域が暗いカラー画像である。画像処理装置１０は、このカラー画像をグレースケール化して利用する。このカラー画像をグレースケール化することにより得られたモノクロ画像のことを、以下、網目画像Ｉ０’と記載する。なお、上述した網目画像Ｉ０との違いは、網目画像Ｉ０が、ホワイトバランス調整前に撮像されたカラー画像であるのに対して、網目画像Ｉ０’は、ホワイトバランス調整後に撮像されたカラー画像をグレースケール化することに得られたモノクロ画像である点である。
透明化処理Ｓ１１２及びコア描画処理Ｓ１１３は、上述した対象画像取得処理Ｓ１０４と超解像処理Ｓ１０５との間で実行される、超解像処理Ｓ１０５の前処理である。
透明化処理Ｓ１１２は、画像処理装置１０が、各対象画像Ｉｊ（ｊは１以上ｎ以下の各自然数）について、白色標準板撮像処理Ｓ１１０にて撮像された網目画像Ｉ０’を参照し、対象画像Ｉｊにおいてイメージガイド１３ｑのコアに対応する領域以外の領域（すなわち、網目画像Ｉ０’において網目及び背景に相当する領域）を透明化又は半透明化する処理である。透明化処理Ｓ１１２により生成される画像は、イメージガイド１３ｑのコアに対応する領域で不透明度が高く、その他の領域で不透明度が低い不透明度付きカラー画像である。この画像のことを、以下、「透明対象画像Ｉｊ」と記載する。透明対象画像Ｉｊの画素（ｘ，ｙ）における画素値は、例えば、対象画像Ｉｊの画素（ｘ，ｙ）における画素値｛Ｒｊ（ｘ，ｙ），Ｇｊ（ｘ，ｙ），Ｂｊ（ｘ，ｙ）｝に、網目画像Ｉ０’の画素（ｘ，ｙ）における画素値Ａ（ｘ，ｙ）を不透明成分として追加したものである。すなわち、透明対象画像Ｉｊの画素（ｘ，ｙ）における画素値は、｛Ｒｊ（ｘ，ｙ），Ｇｊ（ｘ，ｙ），Ｂｊ（ｘ，ｙ），Ａ（ｘ，ｙ）｝である。
超解像処理Ｓ１０５の位置合わせ処理Ｓ１０５ａにおいて、画像処理装置１０は、透明対象画像Ｉｎ以外の各透明対象画像Ｉｉ（ｉは１以上ｎ－１以下の各自然数）について、（１）透明対象画像Ｉｎに対する透明対象画像Ｉｉの位置ずれベクトルｖｉを算出し、（２）透明対象画像Ｉｉの各画素の画素値を位置ずれベクトルｖｉ分だけシフトする。透明対象画像Ｉｉに対する位置合わせ処理Ｓ１０５ａにて得られる画像は、イメージガイド１３ｑのイメージガイドプラグ部１３ｃ側の端面に形成された対象物Ｏの像を表す不透明度付きカラー画像である。この画像のことを、以下、透明対象画像Ｉｉ’と記載する。なお、透明対象画像Ｉｎについては、位置合わせ処理Ｓ１０５ａを行わないが、以下では説明の便宜上、透明対象画像Ｉｎを透明対象画像Ｉｎ’とも記載する。位置合わせ処理Ｓ１０５ａにて得られる透明対象画像Ｉ１’，Ｉ２’，…，Ｉｎ’の具体例については、参照する図面を代えて後述する。
超解像処理Ｓ１０５の平均処理Ｓ１０５ｃにおいて、画像処理装置１０は、各画素（ｘ，ｙ）について、各透明対象画像Ｉｊ’の画素値｛Ｒｊ’（ｘ，ｙ），Ｇｊ’（ｘ，ｙ），Ｂｊ’（ｘ，ｙ），Ａｊ’（ｘ，ｙ）｝を成分毎に加重平均することによって、超解像画像Ｉを生成する。加重平均における加重としては、不透明度Ａｊ’（ｘ，ｙ）を用いる。平均処理Ｓ１０５ｃにて得られる画像は、イメージガイド１３ｑのイメージガイドプラグ部１３ｃ側の端面に形成された対象物Ｏの像を表す不透明度付きカラー画像である。この画像のことを、以下、超解像画像Ｉと記載する。超解像画像Ｉの画素（ｘ，ｙ）における画素値｛Ｒ（ｘ，ｙ），Ｇ（ｘ，ｙ），Ｂ（ｘ，ｙ），Ａ（ｘ，ｙ）｝は、例えば、以下の式により与えられる。平均処理Ｓ１０５ｃにて生成される超解像画像Ｉの具体例については、参照する図面を代えて後述する。
Ｄ（ｘ，ｙ）＝Ａ１’（ｘ，ｙ）＋Ａ２’（ｘ，ｙ）＋…＋Ａｎ’（ｘ，ｙ）、
Ｄ（ｘ，ｙ）≠０である場合：
Ｒ（ｘ，ｙ）＝｛Ｒ１’（ｘ，ｙ）Ａ１’（ｘ，ｙ）＋Ｒ２’（ｘ，ｙ）Ａ２’（ｘ，ｙ）＋…＋Ｒｎ’（ｘ，ｙ）Ａｎ’（ｘ，ｙ）｝／Ｄ（ｘ，ｙ）、
Ｇ（ｘ，ｙ）＝｛Ｇ１’（ｘ，ｙ）Ａ１’（ｘ，ｙ）＋Ｇ２’（ｘ，ｙ）Ａ２’（ｘ，ｙ）＋…＋Ｇｎ’（ｘ，ｙ）Ａｎ’（ｘ，ｙ）｝／Ｄ（ｘ，ｙ）、
Ｂ（ｘ，ｙ）＝｛Ｂ１’（ｘ，ｙ）Ａ１’（ｘ，ｙ）＋Ｂ２’（ｘ，ｙ）Ａ２’（ｘ，ｙ）＋…＋Ｂｎ’（ｘ，ｙ）Ａｎ’（ｘ，ｙ）｝／Ｄ（ｘ，ｙ）、
Ａ（ｘ，ｙ）＝［｛Ａ１’（ｘ，ｙ）｝２＋｛Ａ２’（ｘ，ｙ）｝２＋…＋｛Ａｎ’（ｘ，ｙ）｝２］／Ｄ（ｘ，ｙ）、
Ｄ（ｘ，ｙ）＝０である場合：
Ｒ（ｘ，ｙ）＝０、
Ｇ（ｘ，ｙ）＝０、
Ｂ（ｘ，ｙ）＝０、
Ａ（ｘ，ｙ）＝０。
（変形例に係る画像処理方法の実行例）
上述した変形例に係る画像処理方法Ｓ１００の実行例について、図１３～図１８を参照して説明する。本具体例においては、簡単のために対象画像Ｉ１，Ｉ２，…，Ｉｎの枚数ｎを４とする。
図１３は、透明化処理Ｓ１１２にて得られる透明対象画像Ｉ１を例示した図である。図１４は、透明化処理Ｓ１１２にて得られる透明対象画像Ｉ２を例示した図である。図１５は、透明化処理Ｓ１１２にて得られる透明対象画像Ｉ３を例示した図である。図１６は、透明化処理Ｓ１１２にて得られる透明対象画像Ｉ４を例示した図である。何れの透明対象画像Ｉｉにおいても、イメージガイド１３ｑのコアに対応する領域以外の領域が透明化されていることが見て取れる。
図１７は、超解像処理Ｓ１０５にて得られる超解像画像Ｉを例示した図である。対象画像Ｉ１～Ｉ４においては、被写体として含まれるアルファベット及び文字の判読が困難である。これに対して、超解像画像Ｉにおいては、被写体として含まれるアルファベット及び文字の判読が容易である。すなわち、超解像処理Ｓ１０５を実行することによって、対象画像Ｉ１～Ｉ４よりも視認性の高い超解像画像Ｉが得られることが確かめられた。
また、図１０に示した超解像画像Ｉ（透明化処理なし）と図１７に示した超解像画像Ｉ（透明化処理あり）とを比べると、後者の方がアルファベット及び文字とその背景とのコントラストが高くなり、その結果、後者の方がアルファベット及び文字の視認性が高いことが分かる。これは、各対象画像Ｉｉにおいては、イメージガイド１３ｑのコアに対応する領域以外の領域の輝度が低いため、図１０に示した超解像画像Ｉにおいては、視野円内での輝度の低下や画像のザラつきが生じ易いが、各透明対象画像Ｉｉにおいては、イメージガイド１３ｑのコアに対応する領域以外の領域が透明化されているため、視野円内での輝度の低下や画像のザラつきが生じ難いからである。
なお、輝度の低下や画像のザラつきは、例えば、対象画像Ｉｊの低輝度領域に属する画素の画素値が他の対象画像Ｉｊ’の高輝度領域に属する画素の画素値と平均化されること、或いは、対象画像Ｉｊの低輝度領域に属する画素の画素値が他の対象画像Ｉ’の低輝度領域に属する画素の画素値と平均化されることにより生じる。
図１８は、マスク処理Ｓ１０６にて得られる出力画像Ｉ’を例示した図である。超解像画像Ｉにおいては、被写体として含まれるイメージガイド１３ｑの端面の境界にジャギー（イメージガイド１３ｑが複数のコアにより構成されることに起因して生じるギザギザ）を視認することができる。一方、出力画像Ｉ’においては、被写体として含まれるイメージガイド１３ｑの端面の境界にジャギーを視認することができない。すなわち、マスク処理Ｓ１０６を実行することによって、超解像画像Ｉよりもジャギーの少ない出力画像Ｉ’が得られることが確かめられた。
（画像処理方法の更なる変形例１）
上述した超解像処理Ｓ１０５の前処理として、画像処理装置１０は、各透明対象画像Ｉｊに対してコア描画処理を行ってもよい。
コア描画処理において、画像処理装置１０は、まず、透明対象画像Ｉｊにおいてイメージガイド１３ｑのコアに対応する領域（以下、「コア領域」とも記載する）を特定する。例えば、網目画像Ｉ０’において同じ座標を有する画素の画素値が予め定められた閾値以上である画素の集合をコア領域として特定する。
次に、画像処理装置１０は、赤成分、緑成分、及び青成分のそれぞれについて、透明対象画像Ｉｊにおいてコア領域に含まれる各画素の画素値を、（ａ１）コア領域の中心に位置する画素の画素値（以下、「中心画素値」とも記載する）、又は、（ａ２）そのコア領域に含まれる各画素の画素値の平均値（以下、「平均画素値」とも記載する）に一致するように再設定する。また、画像処理装置１０は、透明対象画像Ｉｊにおいてコア領域の中心に位置する画素の不透明度を１００％に設定する。そして、画像処理装置１０は、透明対象画像Ｉｊにおいてコア領域の中心からの距離ｒが予め定められた閾値Ｒ以下である各画素の不透明度を、（ｂ１）距離ｒが大きくなるにつれて線形に小さくなるように、又は、（ｂ２）距離ｒが大きくなるにつれてガウス分布に従って小さくなるように再設定する。なお、不透明度の再設定を行わない場合、コア領域に含まれる各画素の不透明度は、上述したように、網目画像Ｉ０’においてその画素と同じ座標を有する画素の画素値と一致する。
図１９の（ａ）は、赤成分、緑成分、及び青成分については、コア領域に含まれる各画素の画素値を平均画素値に再設定し、不透明度については、再設定を行わなかった場合に得られる透明対象画像Ｉｊ及び超解像画像Ｉの拡大図である。
図１９の（ｂ）は、赤成分、緑成分、及び青成分については、コア領域に含まれる各画素の画素値を平均画素値に再設定し、不透明度については、コア領域の中心からの距離ｒが予め定められた閾値Ｒ以下である各画素の不透明度を、距離ｒが大きくなるにつれて線形に小さくなるように再設定した場合に得られる透明対象画像Ｉｊ及び超解像画像Ｉの拡大図である。図１９の（ａ）と（ｂ）とを比べると、不透明度の再設定を行うことによって、超解像画像Ｉにおける輝度の低下や画像のザラつきを更に抑えられることが分かる。なお、赤成分、緑成分、及び青成分のそれぞれについて、コア領域に含まれる各画素の画素値を中心画素値に設定した場合でも、同様の効果が得られる。
図１９の（ｃ）は、赤成分、緑成分、及び青成分については、コア領域に含まれる各画素の画素値を平均画素値に再設定し、不透明度については、コア領域の中心からの距離ｒが予め定められた閾値Ｒ以下である各画素の不透明度を、距離ｒが大きくなるにつれてガウス分布に従って小さくなるように再設定した場合に得られる透明対象画像Ｉｊ及び超解像画像Ｉの拡大図である。図１９の（ａ）と（ｃ）とを比べると、不透明度の再設定を行うことによって、超解像画像Ｉにおいて輝度の低下や画像のザラつきを更に抑えられることが分かる。また、図１９の（ｂ）と（ｃ）とを比べると、不透明度の再設定は、距離ｒが大きくなるにつれて線形に小さくなるように再設定するよりも、距離ｒが大きくなるにつれてガウス分布に従って小さくなるように再設定する方が、超解像画像Ｉにおける輝度の低下や画像のザラつきを更に抑えるうえで有利であることが分かる。なお、赤成分、緑成分、及び青成分のそれぞれについて、コア領域に含まれる各画素の画素値を中心画素値に設定した場合でも、同様の効果が得られる。
（画像処理方法の更なる変形例２）
上述した超解像処理Ｓ１０５において、画像処理装置１０は、透明対象画像Ｉ１，Ｉ２，…，Ｉｎの全部を対象として平均処理Ｓ１０５ｃを行ってもよいし、透明対象画像Ｉ１，Ｉ２，…，Ｉｎの一部を対象として平均処理Ｓ１０５ｃを行ってもよい。
後者の例としては、透明対象画像Ｉ１，Ｉ２，…，Ｉｎにおいて、位置ずれ量の大きい透明対象画像以外の透明対象画像を、平均処理Ｓ１０５ｃの対象とする構成が考えられる。位置ずれ量が大きい透明対象画像は、位置合わせ処理Ｓ１０５ａにおいて基準画像として用いる透明対象画像Ｉｎとのオーバーラップが少ないため、超解像画像Ｉの視認性向上に対する寄与は限定的であり、逆に、超解像画像Ｉにおいてノイズを発生させる原因にもなり得る。このため、位置ずれ量の大きい透明対象画像を平均処理Ｓ１０５ｃの対象から外すことによって、超解像画像Ｉの視認性向上という効果を阻害することなく、超解像画像Ｉにおけるノイズの発生を抑えることができる。
なお、透明対象画像Ｉ１，Ｉ２，…，Ｉｎにおいて、位置ずれ量の大きい透明対象画像を選択する方法としては、例えば、透明対象画像Ｉ１，Ｉ２，…，Ｉｎにおいて、位置ずれベクトルｖｉが予め定められた閾値を超える透明対象画像Ｉｉを選択する方法などが挙げられる。
或いは、透明対象画像Ｉ１，Ｉ２，…，Ｉｎにおいて、ボケ又はブレが発生した透明対象画像以外の透明対象画像を、平均処理Ｓ１０５ｃの対象とする構成が考えられる。ボケ又はブレが大きい透明対象画像は、位置合わせ処理Ｓ１０５ａを精度良く行うことが困難であると共に、被写体として含まれる対象物Ｏの輪郭が不明確であるため、超解像画像Ｉの視認性向上に対する寄与は限定的であり、逆に、超解像画像Ｉにおいてノイズを発生させる原因にもなり得る。このため、ボケ又はブレが発生した透明対象画像を平均処理Ｓ１０５ｃの対象から外すことによって、超解像画像Ｉの視認性向上という効果を阻害することなく、超解像画像Ｉにおけるノイズの発生を抑えることができる。
なお、透明対象画像Ｉ１，Ｉ２，…，Ｉｎにおいて、ボケ又はブレが発生した透明対象画像Ｉｉを選択する方法としては、例えば、隣接する透明対象画像Ｉｉ－１，Ｉｉ＋１との位置ずれベクトルの差｜（ｖｉ－１）－（ｖｉ）｜，｜（ｖｉ＋１）－（ｖｉ）｜が予め定められた閾値を超える透明対象画像Ｉｉを選択する方法などが挙げられる。ただし、ボケ又はブレが発生した透明対象画像Ｉｉを選択する方法は、これに限定されず、公知の方法を任意に採用することができる。
（画像処理方法の更なる変形例３）
上述した超解像処理Ｓ１０５の後処理として、画像処理装置１０は、最後に取得した対象画像Ｉｎを平滑化することよって下地画像を生成する下地画像生成処理と、生成した下地画像の上に超解像画像Ｉを重畳することによって出力画像を生成する出力画像生成処理を行ってもよい。ここで、平滑化の方法は、特に限定されない。平均化フィルタを用いた平滑化によって下地画像を生成してもよいし、ガウシアンフィルタを用いた平滑化によって下地画像を生成してもよい。
ある画素の不透明度が全ての透明対象画像Ｉ１’，Ｉ２’，…，Ｉｎ’において０であると、その画像の不透明度が超解像画像Ｉにおいても０になる。つまり、超解像画像Ｉにおいてその画素が透明になる。このような超解像画像Ｉを表示すると、透明画素において透けて見える背景が視認され、不自然な印象を与える場合がある。例えば、全面黒色の背景を用いた場合、このような超解像画像Ｉを表示すると、透明画素において透けて見える背景が点在する黒点のように視認され、不自然な印象を与える。対象画像Ｉｎを平滑化することによって生成した下地画像に超解像画像Ｉを重畳することで、透明画素において透けて見える背景が視認される懸念を払拭し、より自然に超解像画像Ｉを表示することが可能になる。
なお、本変形例においては、最後に取得した対象画像Ｉｎを平滑化することによって下地画像を生成する構成について説明したが、これに限定されない。すなわち、対象画像Ｉ１，Ｉ２，…，Ｉｎのうち、最後に取得した対象画像Ｉｎ以外の対象画像Ｉｉを平滑化することによって下地画像を生成する構成を採用してもよい。
（まとめ）
本実施形態には、以下の態様が含まれる。
〔態様１〕
複数のコアを有し、一端が対象物に対向するイメージガイドの他端を撮像することにより得られた複数の対象画像を取得する取得処理と、
前記複数の対象画像において前記対象物の同一の点に対応する画素の画素値を単純平均又は加重平均することによって、超解像画像を生成する超解像処理と、を含む、
画像処理方法。
本態様によれば、対象画像よりも解像度又は視認性の高い超解像画像を得ることができる。
〔態様２〕
前記超解像処理の前処理として、前記複数の対象画像の各々において前記イメージガイドのコアに対応する領域以外の領域を透明化又は半透明化する透明化処理を更に含み、
前記超解像処理は、前記前処理後の前記複数の対象画像において前記対象物の同一の点に対応する画素の画素値を、不透明度を加重として加重平均することによって、前記超解像画像を生成する処理である、
態様１に記載の画像処理方法。
本態様によれば、超解像画像において生じ得る輝度の低下や画像のザラつきを抑制することよって、より視認性の高い超解像画像を得ることができる。
〔態様３〕
前記前処理として、前記複数の対象画像の各々において前記イメージガイドのコアに対応する領域に含まれる各画素の画素値を、該領域の中心に位置する画素の画素値に設定するコア描画処理を更に含む、
態様２に記載の画像処理方法。
本態様によれば、超解像画像において生じ得る輝度の低下や画像のザラつきを更に抑制することよって、より視認性の高い超解像画像を得ることができる。
〔態様４〕
前記前処理として、前記複数の対象画像の各々において前記イメージガイドのコアに対応する領域に含まれる各画素の画素値を、該領域に含まれる各の画素値の平均値に設定するコア描画処理を更に含む、
態様２に記載の画像処理方法。
本態様によれば、超解像画像において生じ得る輝度の低下や画像のザラつきを更に抑制することよって、より視認性の高い超解像画像を得ることができる。
〔態様５〕
前記コア描画処理においては、更に、前記複数の対象画像の各々において前記領域の中心からの距離が閾値以下である各画素の不透明度を、該距離が大きくなるにつれてガウス分布に従って小さくなるように設定する、
態様３又は４に記載の画像処理方法。
本態様によれば、超解像画像において生じ得る輝度の低下や画像のザラつきを更に抑制することよって、より視認性の高い超解像画像を得ることができる。
〔態様６〕
前記超解像処理の後処理として、前記複数の対象画像の何れかを平滑化することによって、下地画像を生成する下地画像生成処理と、前記下地画像に前記超解像画像を重畳することによって、出力画像を生成する重畳処理と、を更に含む、
態様２～５の何れか一項に記載の画像処理方法。
本態様によれば、超解像画像において背景が透けて見える可能性を排除することによって、より自然な超解像画像を得ることができる。
〔態様７〕
前記超解像処理は、前記複数の対象画像のうち、位置ずれが小さいと判定された対象画像において前記対象物の同一の点に対応する画素の画素値を加重平均することによって、前記超解像画像を生成する処理である、
態様２～６の何れか一項に記載の画像処理方法。
本態様によれば、超解像画像において生じ得るノイズを低減することによって、より視認性の高い超解像画像を得ることができる。
〔態様８〕
前記超解像処理は、前記複数の対象画像のうち、ボケ又はブレが発生していないと判定された対象画像において前記対象物の同一の点に対応する画素の画素値を加重平均することによって、前記超解像画像を生成する処理である、
態様２～６の何れか一項に記載の画像処理方法。
本態様によれば、超解像画像において生じ得るノイズを低減することによって、より視認性の高い超解像画像を得ることができる。
〔態様９〕
少なくとも１つのプロセッサを備えた画像処理装置であって、
前記プロセッサは、
複数のコアを有し、一端が対象物に対向するイメージガイドの他端を撮像することにより得られた複数の対象画像を取得する取得処理と、
前記複数の対象画像において前記対象物の同一の点に対応する画素の画素値を平均又は加重平均することによって、超解像画像を生成する超解像処理と、を実行する、
画像処理装置。
本態様によれば、対象画像よりも解像度又は視認性の高い超解像画像を得ることができる。
〔態様１０〕
前記プロセッサは、前記超解像処理の前処理として、前記複数の対象画像の各々において前記イメージガイドのコアに対応する領域以外の領域を透明化又は半透明化する透明化処理を更に実行し、
前記超解像処理は、前記前処理後の前記複数の対象画像において前記対象物の同一の点に対応する画素の画素値を、不透明度を加重として加重平均することによって、前記超解像画像を生成する処理である、
態様９に記載の画像処理装置。
本態様によれば、超解像画像において生じ得る輝度の低下や画像のザラつきを抑制することよって、より視認性の高い超解像画像を得ることができる。
〔態様１１〕
前記プロセッサは、前記前処理として、前記複数の対象画像の各々において前記イメージガイドのコアに対応する領域に含まれる各画素の画素値を、該領域の中心に位置する画素の画素値に設定するコア描画処理を更に実行する、
態様１０に記載の画像処理装置。
本態様によれば、超解像画像において生じ得る輝度の低下や画像のザラつきを更に抑制することよって、より視認性の高い超解像画像を得ることができる。
〔態様１２〕
少なくとも１つのプロセッサを動作させるための画像処理プログラムであって、前記プロセッサに、
複数のコアを有し、一端が対象物に対向するイメージガイドの他端を撮像することにより得られた複数の対象画像を取得する取得処理と、
前記複数の対象画像において前記対象物の同一の点に対応する画素の画素値を平均又は加重平均することによって、超解像画像を生成する超解像処理と、を実行させる、
画像処理プログラム。
本態様によれば、対象画像よりも解像度又は視認性の高い超解像画像を得ることができる。
〔態様１３〕
前記プロセッサに、前記超解像処理の前処理として、前記複数の対象画像の各々において前記イメージガイドのコアに対応する領域以外の領域を透明化又は半透明化する透明化処理を更に実行させ、
前記超解像処理は、前記前処理後の前記複数の対象画像において前記対象物の同一の点に対応する画素の画素値を、不透明度を加重として加重平均することによって、前記超解像画像を生成する処理である、
態様１２に記載の画像処理プログラム。
本態様によれば、超解像画像において生じ得る輝度の低下や画像のザラつきを更に抑制することよって、より視認性の高い超解像画像を得ることができる。
〔態様１４〕
前記プロセッサに、前記前処理として、前記複数の対象画像の各々において前記イメージガイドのコアに対応する領域に含まれる各画素の画素値を、該領域の中心に位置する画素の画素値に設定するコア描画処理を更に実行させる、
態様１３に記載の画像処理プログラム。
本態様によれば、超解像画像において生じ得る輝度の低下や画像のザラつきを更に抑制することよって、より視認性の高い超解像画像を得ることができる。
〔態様１５〕
態様９～１１の何れか一項に記載の画像処理装置と、
前記イメージガイドを含む内視鏡プローブと、を備えている、
内視鏡システム。
本態様によれば、対象画像よりも解像度又は視認性の高い超解像画像を得ることができる内視鏡システムを実現することができる。
（付記事項）
本発明は、上述した実施形態に限定されるものでなく、請求項に示した範囲で種々の変更が可能であり、上述した実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても、本発明の技術的範囲に含まれる。
１ 内視鏡システム
１０ 画像処理装置
１０１ プロセッサ
１０２ メモリ
１０３ ストレージ
１０４ 入出力インタフェース
１０５ バス
１１ 光源装置
１２ カメラ装置
１３ 内視鏡プローブ
１３ｐ ライトガイド
１３ｑ イメージガイド

Claims (15)

  1. 複数のコアを有し、一端が対象物に対向するイメージガイドの他端を撮像することにより得られた複数の対象画像を取得する取得処理と、
    前記複数の対象画像において前記対象物の同一の点に対応する画素の画素値を単純平均又は加重平均することによって、超解像画像を生成する超解像処理と、を含む、
    画像処理方法。
  2. 前記超解像処理の前処理として、前記複数の対象画像の各々において前記イメージガイドのコアに対応する領域以外の領域を透明化又は半透明化する透明化処理を更に含み、
    前記超解像処理は、前記前処理後の前記複数の対象画像において前記対象物の同一の点に対応する画素の画素値を、不透明度を加重として加重平均することによって、前記超解像画像を生成する処理である、
    請求項１に記載の画像処理方法。
  3. 前記前処理として、前記複数の対象画像の各々において前記イメージガイドのコアに対応する領域に含まれる各画素の画素値を、該領域の中心に位置する画素の画素値に設定するコア描画処理を更に含む、
    請求項２に記載の画像処理方法。
  4. 前記前処理として、前記複数の対象画像の各々において前記イメージガイドのコアに対応する領域に含まれる各画素の画素値を、該領域に含まれる各の画素値の平均値に設定するコア描画処理を更に含む、
    請求項２に記載の画像処理方法。
  5. 前記コア描画処理においては、更に、前記複数の対象画像の各々において前記領域の中心からの距離が閾値以下である各画素の不透明度を、該距離が大きくなるにつれてガウス分布に従って小さくなるように設定する、
    請求項３又は４に記載の画像処理方法。
  6. 前記超解像処理の後処理として、前記複数の対象画像の何れかを平滑化することによって、下地画像を生成する下地画像生成処理と、前記下地画像に前記超解像画像を重畳することによって、出力画像を生成する重畳処理と、を更に含む、
    請求項２～４の何れか一項に記載の画像処理方法。
  7. 前記超解像処理は、前記複数の対象画像のうち、位置ずれが小さいと判定された対象画像において前記対象物の同一の点に対応する画素の画素値を加重平均することによって、前記超解像画像を生成する処理である、
    請求項２～４の何れか一項に記載の画像処理方法。
  8. 前記超解像処理は、前記複数の対象画像のうち、ボケ又はブレが発生していないと判定された対象画像において前記対象物の同一の点に対応する画素の画素値を加重平均することによって、前記超解像画像を生成する処理である、
    請求項２～４の何れか一項に記載の画像処理方法。
  9. 少なくとも１つのプロセッサを備えた画像処理装置であって、
    前記プロセッサは、
    複数のコアを有し、一端が対象物に対向するイメージガイドの他端を撮像することにより得られた複数の対象画像を取得する取得処理と、
    前記複数の対象画像において前記対象物の同一の点に対応する画素の画素値を平均又は加重平均することによって、超解像画像を生成する超解像処理と、を実行する、
    画像処理装置。
  10. 前記プロセッサは、前記超解像処理の前処理として、前記複数の対象画像の各々において前記イメージガイドのコアに対応する領域以外の領域を透明化又は半透明化する透明化処理を更に実行し、
    前記超解像処理は、前記前処理後の前記複数の対象画像において前記対象物の同一の点に対応する画素の画素値を、不透明度を加重として加重平均することによって、前記超解像画像を生成する処理である、
    請求項９に記載の画像処理装置。
  11. 前記プロセッサは、前記前処理として、前記複数の対象画像の各々において前記イメージガイドのコアに対応する領域に含まれる各画素の画素値を、該領域の中心に位置する画素の画素値に設定するコア描画処理を更に実行する、
    請求項１０に記載の画像処理装置。
  12. 少なくとも１つのプロセッサを動作させるための画像処理プログラムであって、前記プロセッサに、
    複数のコアを有し、一端が対象物に対向するイメージガイドの他端を撮像することにより得られた複数の対象画像を取得する取得処理と、
    前記複数の対象画像において前記対象物の同一の点に対応する画素の画素値を平均又は加重平均することによって、超解像画像を生成する超解像処理と、を実行させる、
    画像処理プログラム。
  13. 前記プロセッサに、前記超解像処理の前処理として、前記複数の対象画像の各々において前記イメージガイドのコアに対応する領域以外の領域を透明化又は半透明化する透明化処理を更に実行させ、
    前記超解像処理は、前記前処理後の前記複数の対象画像において前記対象物の同一の点に対応する画素の画素値を、不透明度を加重として加重平均することによって、前記超解像画像を生成する処理である、
    請求項１２に記載の画像処理プログラム。
  14. 前記プロセッサに、前記前処理として、前記複数の対象画像の各々において前記イメージガイドのコアに対応する領域に含まれる各画素の画素値を、該領域の中心に位置する画素の画素値に設定するコア描画処理を更に実行させる、
    請求項１３に記載の画像処理プログラム。
  15. 請求項９～１１の何れか一項に記載の画像処理装置と、
    前記イメージガイドを含む内視鏡プローブと、を備えている、
    内視鏡システム。
JP2024006308A 2024-01-18 2024-01-18 画像処理方法、画像処理装置、画像処理プログラム、及び内視鏡システム Active JP7733754B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2024006308A JP7733754B2 (ja) 2024-01-18 2024-01-18 画像処理方法、画像処理装置、画像処理プログラム、及び内視鏡システム
PCT/JP2025/000697 WO2025154680A1 (ja) 2024-01-18 2025-01-10 画像処理方法、画像処理装置、画像処理プログラム、及び内視鏡システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2024006308A JP7733754B2 (ja) 2024-01-18 2024-01-18 画像処理方法、画像処理装置、画像処理プログラム、及び内視鏡システム

Publications (2)

Publication Number Publication Date
JP2025112168A JP2025112168A (ja) 2025-07-31
JP7733754B2 true JP7733754B2 (ja) 2025-09-03

Family

ID=96471279

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2024006308A Active JP7733754B2 (ja) 2024-01-18 2024-01-18 画像処理方法、画像処理装置、画像処理プログラム、及び内視鏡システム

Country Status (2)

Country Link
JP (1) JP7733754B2 (ja)
WO (1) WO2025154680A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010512173A (ja) 2006-08-21 2010-04-22 エスティーアイ・メディカル・システムズ・エルエルシー 内視鏡からの映像を用いるコンピュータ支援解析
JP2010110500A (ja) 2008-11-07 2010-05-20 Olympus Corp 撮像装置及び撮像方法
JP2022514635A (ja) 2018-12-20 2022-02-14 アクラレント インコーポレイテッド デュアル画像センサを有する内視鏡

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010512173A (ja) 2006-08-21 2010-04-22 エスティーアイ・メディカル・システムズ・エルエルシー 内視鏡からの映像を用いるコンピュータ支援解析
JP2010110500A (ja) 2008-11-07 2010-05-20 Olympus Corp 撮像装置及び撮像方法
JP2022514635A (ja) 2018-12-20 2022-02-14 アクラレント インコーポレイテッド デュアル画像センサを有する内視鏡

Also Published As

Publication number Publication date
JP2025112168A (ja) 2025-07-31
WO2025154680A1 (ja) 2025-07-24

Similar Documents

Publication Publication Date Title
JP7003238B2 (ja) 画像処理方法、装置、及び、デバイス
JP7145208B2 (ja) デュアルカメラベースの撮像のための方法および装置ならびに記憶媒体
JP7015374B2 (ja) デュアルカメラを使用する画像処理のための方法および移動端末
JP5132401B2 (ja) 画像処理装置及び画像処理方法
US10269103B2 (en) Image processing apparatus, image processing method, and image processing system
US11714278B2 (en) Method and system for calibrating a wearable heads-up display to produce aligned virtual images in an eye space
JP2020528622A (ja) 画像処理方法、装置および機器
KR20170094243A (ko) 하이 다이내믹 범위 이미지의 생성 방법, 촬영 장치와 단말기, 이미징 방법
KR20200041371A (ko) 더블 카메라 기반 이미징 방법 및 장치
WO2015190013A1 (ja) 画像処理装置、撮像装置、顕微鏡システム、画像処理方法及び画像処理プログラム
CN111586273A (zh) 电子设备及图像获取方法
US6741760B2 (en) Image sensing apparatus which intentionally retains longitudinal chromatic aberration
JPH03165732A (ja) 内視鏡の暗部領域の検出方法
JP2011233058A (ja) 撮像装置、画像処理装置、および画像処理方法
JP7733754B2 (ja) 画像処理方法、画像処理装置、画像処理プログラム、及び内視鏡システム
JP2014157428A (ja) 画像表示装置、画像表示方法、及び、プログラム
JP6479178B2 (ja) 画像処理装置、撮像装置、顕微鏡システム、画像処理方法、及び画像処理プログラム
JPWO2014002811A1 (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP5020615B2 (ja) 画像処理装置及び撮像装置及び画像処理方法及びプログラム
JP2008147980A (ja) 画像処理装置及び撮像装置及び画像処理方法及びプログラム及び記憶媒体
CN115661122B (zh) 一种图像网格纹去除方法及系统
JP3572304B2 (ja) 医療分野におけるフォトレタッチソフトウェアを用いた画像解析方法
CN113701880B (zh) 一种高光通量光谱编码成像系统与方法
CN107481198A (zh) 图像处理方法、装置、计算机可读存储介质和计算机设备
JP2021132812A (ja) 医療用画像処理装置及び医療用観察システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20241128

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20250318

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20250805

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20250822

R150 Certificate of patent or registration of utility model

Ref document number: 7733754

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150