JP7648540B2 - 医用画像処理装置、作動方法、プログラム、及び記録媒体 - Google Patents
医用画像処理装置、作動方法、プログラム、及び記録媒体 Download PDFInfo
- Publication number
- JP7648540B2 JP7648540B2 JP2021567366A JP2021567366A JP7648540B2 JP 7648540 B2 JP7648540 B2 JP 7648540B2 JP 2021567366 A JP2021567366 A JP 2021567366A JP 2021567366 A JP2021567366 A JP 2021567366A JP 7648540 B2 JP7648540 B2 JP 7648540B2
- Authority
- JP
- Japan
- Prior art keywords
- display
- recognition
- medical image
- specific scene
- frequency
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00043—Operational features of endoscopes provided with output arrangements
- A61B1/00045—Display arrangement
- A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/043—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0661—Endoscope light sources
- A61B1/0669—Endoscope light sources at proximal end of an endoscope
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/07—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements using light-conductive means, e.g. optical fibres
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- Surgery (AREA)
- Radiology & Medical Imaging (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Heart & Thoracic Surgery (AREA)
- Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Optics & Photonics (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Pathology (AREA)
- Veterinary Medicine (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Signal Processing (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Endoscopes (AREA)
Description
本発明は、医用画像処理装置、医用画像処理方法及びプログラムに関する。
内視鏡装置を使用した診断及び診察は、内視鏡装置で取得した内視鏡画像をモニタに表示させ、医師がモニタに表示された内視鏡画像を観察することにより行われる。
特許文献１に記載されているように、内視鏡画像を画像処理して病変部を推定し、その病変部にマークを重畳してモニタに表示させることにより、医師の観察を補助する技術が知られている。
さらに近年、深層学習により画像内の対象物の高精度な自動認識が可能となっている。内視鏡装置への深層学習の応用例の一つとして、深層学習によって作られた認識器を用いることがある。具体的には、深層学習で作られた認識器で内視鏡画像から特定シーンの認識を自動で行い、認識した特定シーンをユーザ（医師等）に提示することで特定シーンが観察済みであることを報知する。
しかしながら、認識器が特定シーンを認識することと実際にユーザが観察済みであることとには乖離が発生する場合がある。例えば、認識器は、内視鏡スコープを速く移動させた際に瞬間的に特定シーンが撮影された場合であっても、その特定シーンを認識してしまう場合があり、その場合ユーザには認識済みとして報知が行われる。一方ユーザは、瞬間的に特定シーンを撮影した場合には、その特定シーンの観察を行っていない。このように、認識器が特定シーンを認識することと実際にユーザが観察することとには乖離が発生する場合がある。
さらに、認識器は観察済みであることをユーザに報知するので、ユーザは、本来その特定シーンは観察していないにもかかわらず、報知表示を見て特定シーンを観察済みと誤認識してしまう恐れがある。
本発明はこのような事情に鑑みてなされたもので、その目的は、認識器の認識とユーザの認識との乖離を軽減することができる医用画像処理装置、医用画像処理方法及びプログラムを提供することである。
上記目的を達成するための本発明の一の態様である医用画像処理装置は、プロセッサを備える医用画像処理装置であって、プロセッサは、時系列に複数の医用画像を順次取得し、取得した医用画像に基づいて、医用画像の特定シーンを認識し、認識された特定シーンの認識頻度を取得し、認識頻度に応じて、２段階以上に変化する認識の程度を示す報知表示をモニタに表示させる。
本態様によれば、医用画像の特定シーンの認識頻度に応じて、２段階以上に変化する認識の程度を示す報知表示がモニタに表示されるので、ユーザにプロセッサにおける特定シーンの認識頻度を報知することができ、ユーザの特定シーンを観察したとすることとプロセッサの特定シーンの認識との乖離を軽減することができる。
好ましくは、プロセッサは、認識頻度に応じて、報知表示として異なる色を、モニタに表示させる。
好ましくは、プロセッサは、認識頻度に応じて、報知表示として異なる線種を、モニタに表示させる。
好ましくは、プロセッサは、認識頻度に応じて、報知表示として異なるボケ具合を、モニタに表示させる。
好ましくは、プロセッサは、認識された特定シーンの医用画像の枚数に基づいて、認識頻度を取得する。
好ましくは、プロセッサは、認識された特定シーンの時系列的に連続する医用画像の枚数に基づいて、認識頻度を取得する。
好ましくは、プロセッサは、特定シーンの医用画像の特徴量を算出し、特定シーンの特徴量に基づいて医用画像をクラス分類することにより、特定シーンを認識する。
好ましくは、プロセッサは、特定シーンの医用画像の特徴量を算出し、特徴量と医用画像との類似度に基づいて特定シーンを認識する。
好ましくは、プロセッサは、認識頻度が第１の閾値以上の場合には、報知表示を初期表示から第１の表示に切り替えて、モニタに表示させる。
好ましくは、プロセッサは、認識頻度が第１の閾値よりも大きい第２の閾値以上の場合には、報知表示を第１の表示から第２の表示に切り替えて、モニタに表示させる。
好ましくは、プロセッサは、モニタに、複数の特定シーンの各々を有する複数の参照画像を表示して、第１の表示及び第２の表示を行う。
好ましくは、プロセッサは、モニタに、複数の特定シーンに対応する部位を含むモデル画像を表示し、モデル画像に認識された特定シーンを対応させて、第１の表示及び第２の表示を行う。
好ましくは、プロセッサは、特定シーンが認識された位置とモデル画像上の位置とを対応させて、報知表示をモデル画像に重畳させて、モニタに表示させる。
好ましくは、プロセッサは、特定シーンの認識が未だなされていない場合には、報知表示とは異なる初期表示を、モニタに表示させる。
本発明の他の態様である医用画像処理方法は、時系列に複数の医用画像を順次取得する医用画像取得ステップと、取得した医用画像に基づいて、医用画像の特定シーンを認識する特定シーン認識ステップと、特定シーン認識ステップにより認識された特定シーンの認識頻度を取得する頻度取得ステップと、認識頻度に応じて、２段階以上に変化する認識の程度を示す報知表示をモニタに表示させる表示制御ステップと、を含む。
本発明の他の態様であるプログラムは、時系列に複数の医用画像を順次取得する医用画像取得ステップと、取得した医用画像に基づいて、医用画像の特定シーンを認識する特定シーン認識ステップと、特定シーン認識ステップにより認識された特定シーンの認識頻度を取得する頻度取得ステップと、認識頻度に応じて、２段階以上に変化する認識の程度を示す報知表示をモニタに表示させる表示制御ステップと、を含む医用画像処理方法をコンピュータに実行させる。
本発明によれば、認識器の認識とユーザの認識との乖離を軽減することができる。
以下、添付図面に従って本発明に係る医用画像処理装置、医用画像処理方法及びプログラムの好ましい実施の形態について説明する。
＜内視鏡システムの構成＞
図１は、内視鏡システム１０の外観図であり、図２は内視鏡システム１０の要部構成を示すブロック図である。図１、２に示すように、内視鏡システム１０は、内視鏡スコープ１００、内視鏡プロセッサ装置２００、光源装置３００、及びモニタ４００から構成される。なお、内視鏡プロセッサ装置２００は、本発明の医用画像処理装置を搭載する。
図１は、内視鏡システム１０の外観図であり、図２は内視鏡システム１０の要部構成を示すブロック図である。図１、２に示すように、内視鏡システム１０は、内視鏡スコープ１００、内視鏡プロセッサ装置２００、光源装置３００、及びモニタ４００から構成される。なお、内視鏡プロセッサ装置２００は、本発明の医用画像処理装置を搭載する。
＜内視鏡スコープの構成＞
内視鏡スコープ１００は、手元操作部１０２と、この手元操作部１０２に連設される挿入部１０４とを備える。術者（ユーザ）は手元操作部１０２を把持して操作し、挿入部１０４を被検体（生体）の体内に挿入して観察する。また、手元操作部１０２には送気送水ボタン１４１、吸引ボタン１４２、及び各種の機能を割り付けられる機能ボタン１４３、及び撮影指示操作（静止画像、動画像）を受け付ける撮影ボタン１４４が設けられている。挿入部１０４は、手元操作部１０２側から順に、軟性部１１２、湾曲部１１４、先端硬質部１１６で構成されている。すなわち、先端硬質部１１６の基端側に湾曲部１１４が接続され、湾曲部１１４の基端側に軟性部１１２が接続される。挿入部１０４の基端側に手元操作部１０２が接続される。ユーザは、手元操作部１０２を操作することにより湾曲部１１４を湾曲させて先端硬質部１１６の向きを上下左右に変えることができる。先端硬質部１１６には、撮影光学系１３０、照明部１２３、鉗子口１２６等が設けられる（図１、２参照）。
内視鏡スコープ１００は、手元操作部１０２と、この手元操作部１０２に連設される挿入部１０４とを備える。術者（ユーザ）は手元操作部１０２を把持して操作し、挿入部１０４を被検体（生体）の体内に挿入して観察する。また、手元操作部１０２には送気送水ボタン１４１、吸引ボタン１４２、及び各種の機能を割り付けられる機能ボタン１４３、及び撮影指示操作（静止画像、動画像）を受け付ける撮影ボタン１４４が設けられている。挿入部１０４は、手元操作部１０２側から順に、軟性部１１２、湾曲部１１４、先端硬質部１１６で構成されている。すなわち、先端硬質部１１６の基端側に湾曲部１１４が接続され、湾曲部１１４の基端側に軟性部１１２が接続される。挿入部１０４の基端側に手元操作部１０２が接続される。ユーザは、手元操作部１０２を操作することにより湾曲部１１４を湾曲させて先端硬質部１１６の向きを上下左右に変えることができる。先端硬質部１１６には、撮影光学系１３０、照明部１２３、鉗子口１２６等が設けられる（図１、２参照）。
観察及び処置の際には、操作部２０８（図２参照）の操作により、照明部１２３の照明用レンズ１２３Ａ，１２３Ｂから白色光及び／または狭帯域光（赤色狭帯域光、緑色狭帯域光、青色狭帯域光、及び紫色狭帯域光のうち１つ以上）を照射することができる。また、送気送水ボタン１４１の操作により図示せぬ送水ノズルから洗浄水が放出されて、撮影光学系１３０の撮影レンズ１３２、及び照明用レンズ１２３Ａ，１２３Ｂを洗浄することができる。先端硬質部１１６で開口する鉗子口１２６には不図示の管路が連通しており、この管路に腫瘍摘出等のための図示せぬ処置具が挿通されて、適宜進退して被検体に必要な処置を施せるようになっている。
図１及び図２に示すように、先端硬質部１１６の先端側端面１１６Ａには撮影レンズ１３２が配設されている。撮影レンズ１３２の奥にはＣＭＯＳ（Complementary Metal-Oxide Semiconductor）型の撮像素子１３４、駆動回路１３６、ＡＦＥ１３８（ＡＦＥ：Analog Front End）が配設されて、これらの要素により画像信号を出力する。撮像素子１３４はカラー撮像素子であり、特定のパターン配列（ベイヤー配列、Ｘ－Ｔｒａｎｓ（登録商標）配列、ハニカム配列等）でマトリクス状に配置（２次元配列）された複数の受光素子により構成される複数の画素を備える。撮像素子１３４の各画素はマイクロレンズ、赤（Ｒ）、緑（Ｇ）、または青（Ｂ）のカラーフィルタ及び光電変換部（フォトダイオード等）を含んでいる。撮影光学系１３０は、赤、緑、青の３色の画素信号からカラー画像を生成することもできるし、赤、緑、青のうち任意の１色または２色の画素信号から画像を生成することもできる。なお、撮像素子１３４はＣＣＤ（Charge Coupled Device）型でもよい。また、撮像素子１３４の各画素は紫色光源３１０Ｖに対応した紫色カラーフィルタ、及び／または赤外光源に対応した赤外用フィルタをさらに備えていてもよい。
被検体の光学像は撮影レンズ１３２により撮像素子１３４の受光面（撮像面）に結像されて電気信号に変換され、不図示の信号ケーブルを介して内視鏡プロセッサ装置２００に出力されて映像信号に変換される。これにより、内視鏡プロセッサ装置２００に接続されたモニタ４００に被写体の内視鏡画像（医用画像）が画面表示される。
また、先端硬質部１１６の先端側端面１１６Ａには、撮影レンズ１３２に隣接して照明部１２３の照明用レンズ１２３Ａ、１２３Ｂが設けられている。照明用レンズ１２３Ａ，１２３Ｂの奥には、後述するライトガイド１７０の射出端が配設され、このライトガイド１７０が挿入部１０４、手元操作部１０２、及びユニバーサルケーブル１０６に挿通され、ライトガイド１７０の入射端がライトガイドコネクタ１０８内に配置される。
ユーザは、上述した構成の内視鏡スコープ１００を被検体である生体内に挿入または抜去しながら決められたフレームレートで撮影を行うことにより、生体内の時系列の内視鏡画像を順次撮影することができる。
＜光源装置の構成＞
図２に示すように、光源装置３００は、照明用の光源３１０、絞り３３０、集光レンズ３４０、及び光源制御部３５０等から構成されており、観察光をライトガイド１７０に入射させる。光源３１０は、それぞれ赤色、緑色、青色、紫色の狭帯域光を照射する赤色光源３１０Ｒ、緑色光源３１０Ｇ、青色光源３１０Ｂ、及び紫色光源３１０Ｖを備えており、赤色、緑色、青色、及び紫色の狭帯域光を照射することができる。光源３１０による観察光の照度は光源制御部３５０により制御され、必要に応じて観察光の照度を変更する（上げる、または下げる）こと、及び照明を停止することができる。
図２に示すように、光源装置３００は、照明用の光源３１０、絞り３３０、集光レンズ３４０、及び光源制御部３５０等から構成されており、観察光をライトガイド１７０に入射させる。光源３１０は、それぞれ赤色、緑色、青色、紫色の狭帯域光を照射する赤色光源３１０Ｒ、緑色光源３１０Ｇ、青色光源３１０Ｂ、及び紫色光源３１０Ｖを備えており、赤色、緑色、青色、及び紫色の狭帯域光を照射することができる。光源３１０による観察光の照度は光源制御部３５０により制御され、必要に応じて観察光の照度を変更する（上げる、または下げる）こと、及び照明を停止することができる。
光源３１０は赤色、緑色、青色、及び紫色の狭帯域光を任意の組合せで発光させることができる。例えば、赤色、緑色、青色、及び紫色の狭帯域光を同時に発光させて白色光（通常光）を観察光として照射することもできるし、いずれか１つもしくは２つを発光させることで狭帯域光（特殊光）を照射することもできる。光源３１０は、赤外光（狭帯域光の一例）を照射する赤外光源をさらに備えていてもよい。また、白色光を照射する光源と、白色光及び各狭帯域光を透過させるフィルタとにより、白色光または狭帯域光を観察光として照射してもよい。
＜光源の波長帯域＞
光源３１０は白色帯域の光、または白色帯域の光として複数の波長帯域の光を発生する光源でもよいし、白色の波長帯域よりも狭い特定の波長帯域の光を発生する光源でもよい。特定の波長帯域は、可視域の青色帯域もしくは緑色帯域、あるいは可視域の赤色帯域であってもよい。特定の波長帯域が可視域の青色帯域もしくは緑色帯域である場合、３９０ｎｍ以上４５０ｎｍ以下、または５３０ｎｍ以上５５０ｎｍ以下の波長帯域を含み、かつ、３９０ｎｍ以上４５０ｎｍ以下または５３０ｎｍ以上５５０ｎｍ以下の波長帯域内にピーク波長を有していてもよい。また、特定の波長帯域が可視域の赤色帯域である場合、５８５ｎｍ以上６１５ｎｍ以下、または６１０ｎｍ以上７３０ｎｍ以下、の波長帯域を含み、かつ、特定の波長帯域の光は、５８５ｎｍ以上６１５ｎｍ以下または６１０ｎｍ以上７３０ｎｍ以下の波長帯域内にピーク波長を有していてもよい。
光源３１０は白色帯域の光、または白色帯域の光として複数の波長帯域の光を発生する光源でもよいし、白色の波長帯域よりも狭い特定の波長帯域の光を発生する光源でもよい。特定の波長帯域は、可視域の青色帯域もしくは緑色帯域、あるいは可視域の赤色帯域であってもよい。特定の波長帯域が可視域の青色帯域もしくは緑色帯域である場合、３９０ｎｍ以上４５０ｎｍ以下、または５３０ｎｍ以上５５０ｎｍ以下の波長帯域を含み、かつ、３９０ｎｍ以上４５０ｎｍ以下または５３０ｎｍ以上５５０ｎｍ以下の波長帯域内にピーク波長を有していてもよい。また、特定の波長帯域が可視域の赤色帯域である場合、５８５ｎｍ以上６１５ｎｍ以下、または６１０ｎｍ以上７３０ｎｍ以下、の波長帯域を含み、かつ、特定の波長帯域の光は、５８５ｎｍ以上６１５ｎｍ以下または６１０ｎｍ以上７３０ｎｍ以下の波長帯域内にピーク波長を有していてもよい。
上述した特定の波長帯域の光は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域を含み、かつ、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域にピーク波長を有していてもよい。この場合、特定の波長帯域は、４００±１０ｎｍ、４４０±１０ｎｍ、４７０±１０ｎｍ、または、６００ｎｍ以上７５０ｎｍの波長帯域を含み、かつ、４００±１０ｎｍ、４４０±１０ｎｍ、４７０±１０ｎｍ、または６００ｎｍ以上７５０ｎｍ以下の波長帯域にピーク波長を有していてもよい。
また、光源３１０が発生する光は７９０ｎｍ以上８２０ｎｍ以下、または９０５ｎｍ以上９７０ｎｍ以下の波長帯域を含み、かつ、７９０ｎｍ以上８２０ｎｍ以下または９０５ｎｍ以上９７０ｎｍ以下の波長帯域にピーク波長を有していてもよい。
また、光源３１０は、ピークが３９０ｎｍ以上４７０ｎｍ以下である励起光を照射する光源を備えていてもよい。この場合、被検体（生体）内の蛍光物質が発する蛍光の情報を有する内視鏡画像を取得することができる。蛍光画像を取得する場合は、蛍光法用色素剤（フルオレスチン、アクリジンオレンジ等）を使用してもよい。
光源３１０の光源種類（レーザ光源、キセノン光源、ＬＥＤ光源（ＬＥＤ：Light-Emitting Diode）等）、波長、フィルタの有無等は被写体の種類、部位、観察の目的等に応じて構成することが好ましく、また観察の際は被写体の種類、部位、観察の目的等に応じて観察光の波長を組合せ及び／または切り替えることが好ましい。波長を切り替える場合、例えば光源の前方に配置され特定波長の光を透過または遮光するフィルタが設けられた円板状のフィルタ（ロータリカラーフィルタ）を回転させることにより、照射する光の波長を切り替えてもよい。
また、本発明を実施する際に用いる撮像素子は撮像素子１３４のように各画素に対しカラーフィルタが配設されたカラー撮像素子に限定されるものではなく、モノクロ撮像素子でもよい。モノクロ撮像素子を用いる場合、観察光の波長を順次切り替えて面順次（色順次）で撮像することができる。例えば出射する観察光の波長を（紫色、青色、緑色、赤色）の間で順次切り替えてもよいし、広帯域光（白色光）を照射してロータリカラーフィルタ（赤色、緑色、青色、紫色等）により出射する観察光の波長を切り替えてもよい。また、１または複数の狭帯域光（緑色、青色、紫色等）を照射してロータリカラーフィルタ（緑色、青色、紫色等）により出射する観察光の波長を切り替えてもよい。狭帯域光は波長の異なる２波長以上の赤外光（第１狭帯域光、第２狭帯域光）でもよい。
ライトガイドコネクタ１０８（図１、２参照）を光源装置３００に連結することにより、光源装置３００から照射された観察光がライトガイド１７０を介して照明用レンズ１２３Ａ、１２３Ｂに伝送され、照明用レンズ１２３Ａ、１２３Ｂから観察範囲に照射される。
＜内視鏡プロセッサ装置の構成＞
図２に基づき内視鏡プロセッサ装置２００の構成を説明する。内視鏡プロセッサ装置２００は、内視鏡スコープ１００から出力される画像信号を画像入力コントローラ２０２を介して入力し、画像処理部２０４で必要な画像処理を行ってビデオ出力部２０６を介して出力する。これによりモニタ４００に内視鏡画像が表示される。これらの処理はＣＰＵ２１０（ＣＰＵ：Central Processing Unit）の制御下で行われる。なおＣＰＵ２１０は、医用画像処理装置のプロセッサとして機能する。通信制御部２０５は、図示せぬ病院内システム（ＨＩＳ：Hospital Information System）や病院内ＬＡＮ（Local Area Network）、及び／または外部のシステムやネットワークとの間で医用画像の取得等についての通信制御を行う。
図２に基づき内視鏡プロセッサ装置２００の構成を説明する。内視鏡プロセッサ装置２００は、内視鏡スコープ１００から出力される画像信号を画像入力コントローラ２０２を介して入力し、画像処理部２０４で必要な画像処理を行ってビデオ出力部２０６を介して出力する。これによりモニタ４００に内視鏡画像が表示される。これらの処理はＣＰＵ２１０（ＣＰＵ：Central Processing Unit）の制御下で行われる。なおＣＰＵ２１０は、医用画像処理装置のプロセッサとして機能する。通信制御部２０５は、図示せぬ病院内システム（ＨＩＳ：Hospital Information System）や病院内ＬＡＮ（Local Area Network）、及び／または外部のシステムやネットワークとの間で医用画像の取得等についての通信制御を行う。
＜画像処理部の機能＞
画像処理部２０４は、内視鏡画像の特徴量の算出、特定の周波数帯域の成分を強調または低減する処理、特定の対象（注目領域、所望の深さの血管等）を強調または目立たなくする処理を行うことができる。画像処理部２０４は、白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得る通常光画像に基づいて特定の波長帯域の情報を有する特殊光画像を取得する特殊光画像取得部（不図示）を備えていてもよい。この場合、特定の波長帯域の信号は、通常光画像に含まれるＲＧＢ（Ｒ：赤、Ｇ：緑、Ｂ：青）あるいはＣＭＹ（Ｃ：シアン、Ｍ：マゼンタ、Ｙ：イエロー）の色情報に基づく演算により得ることができる。また、画像処理部２０４は、白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得る通常光画像と、特定の波長帯域の光を照射して得る特殊光画像との少なくとも一方に基づく演算によって特徴量画像を生成する特徴量画像生成部（不図示）を備え、内視鏡画像としての特徴量画像を取得及び表示してもよい。なお、上述した処理はＣＰＵ２１０の制御下で行われる。
画像処理部２０４は、内視鏡画像の特徴量の算出、特定の周波数帯域の成分を強調または低減する処理、特定の対象（注目領域、所望の深さの血管等）を強調または目立たなくする処理を行うことができる。画像処理部２０４は、白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得る通常光画像に基づいて特定の波長帯域の情報を有する特殊光画像を取得する特殊光画像取得部（不図示）を備えていてもよい。この場合、特定の波長帯域の信号は、通常光画像に含まれるＲＧＢ（Ｒ：赤、Ｇ：緑、Ｂ：青）あるいはＣＭＹ（Ｃ：シアン、Ｍ：マゼンタ、Ｙ：イエロー）の色情報に基づく演算により得ることができる。また、画像処理部２０４は、白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得る通常光画像と、特定の波長帯域の光を照射して得る特殊光画像との少なくとも一方に基づく演算によって特徴量画像を生成する特徴量画像生成部（不図示）を備え、内視鏡画像としての特徴量画像を取得及び表示してもよい。なお、上述した処理はＣＰＵ２１０の制御下で行われる。
さらに、画像処理部２０４は医用画像処理装置における各機能を以下に記載するように有する。
図３は画像処理部２０４における医用画像処理装置における機能ブロック図である。画像処理部２０４は、医用画像取得部２２０、特定シーン認識部２２２、頻度取得部２２４、及び表示制御部２２６を備える。
＜各種のプロセッサによる機能の実現＞
上述した画像処理部２０４の各部の機能は、各種のプロセッサ（processor）及び記録媒体を用いて実現できる。各種のプロセッサには、例えばソフトウェア（プログラム）を実行して各種の機能を実現する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）が含まれる。また、上述した各種のプロセッサには、画像処理に特化したプロセッサであるＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）も含まれる。本発明のように画像の学習や認識を行う場合は、ＧＰＵを用いた構成が効果的である。さらに、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路なども上述した各種のプロセッサに含まれる。
上述した画像処理部２０４の各部の機能は、各種のプロセッサ（processor）及び記録媒体を用いて実現できる。各種のプロセッサには、例えばソフトウェア（プログラム）を実行して各種の機能を実現する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）が含まれる。また、上述した各種のプロセッサには、画像処理に特化したプロセッサであるＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）も含まれる。本発明のように画像の学習や認識を行う場合は、ＧＰＵを用いた構成が効果的である。さらに、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路なども上述した各種のプロセッサに含まれる。
各部の機能は１つのプロセッサにより実現されてもよいし、同種または異種の複数のプロセッサ（例えば、複数のＦＰＧＡ、あるいはＣＰＵとＦＰＧＡの組み合わせ、またはＣＰＵとＧＰＵの組み合わせ）で実現されてもよい。また、複数の機能を１つのプロセッサで実現してもよい。複数の機能を１つのプロセッサで構成する例としては、第１に、コンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の機能として実現する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）などに代表されるように、システム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の機能は、ハードウェア的な構造として、上述した各種のプロセッサを１つ以上用いて構成される。さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。これらの電気回路は、論理和、論理積、論理否定、排他的論理和、及びこれらを組み合わせた論理演算を用いて上述した機能を実現する電気回路であってもよい。
上述したプロセッサあるいは電気回路がソフトウェア（プログラム）を実行する際は、実行するソフトウェアのコンピュータ（例えば、画像処理部２０４を構成する各種のプロセッサや電気回路、及び／またはそれらの組み合わせ）で読み取り可能なコードをＲＯＭ２１１（ＲＯＭ：Read Only Memory）等の非一時的記録媒体に記憶しておき、コンピュータがそのソフトウェアを参照する。非一時的記録媒体に記憶しておくソフトウェアは、本発明に係る医用画像処理装置の作動方法を実行するためのプログラム及び実行に際して用いられるデータ（医用画像の取得に関するデータ、報知条件及び報知態様の特定に用いられるデータ、認識部で用いられるパラメータ等）を含む。ＲＯＭ２１１ではなく各種の光磁気記録装置、半導体メモリ等の非一時的記録媒体にコードを記録してもよい。ソフトウェアを用いた処理の際には例えばＲＡＭ２１２（ＲＡＭ：Random Access Memory）が一時的記憶領域として用いられ、また例えば不図示のＥＥＰＲＯＭ（Electronically Erasable and Programmable Read Only Memory）に記憶されたデータを参照することもできる。「非一時的記録媒体」として記録部２０７を用いてもよい。
また、ＲＯＭ２１１（ＲＯＭ：Read Only Memory）は不揮発性の記憶素子（非一時的記録媒体）であり、各種の画像処理方法をＣＰＵ２１０及び／または画像処理部２０４に実行させるプログラムのコンピュータ読み取り可能なコードが記憶されている。ＲＡＭ２１２（ＲＡＭ：Random Access Memory）は各種処理の際の一時記憶用の記憶素子であり、また画像取得時のバッファとしても使用することができる。音声処理部２０９は、ＣＰＵ２１０の制御により、スピーカ２０９Ａから音声及び音を出力する。
操作部２０８は図示せぬキーボード、マウス等のデバイスにより構成することができ、ユーザは操作部２０８を介して処理の実行指示や実行に必要な条件の指定を行うことができる。
記録部２０７は、取得された内視鏡画像が記録される。また、医用画像処理装置を制御するためのプログラム及び情報が記録されている。記録部２０７は、医用画像処理装置のメモリとして機能する。
＜ニューラルネットワークによる特定シーン認識部＞
上述した画像処理部２０４における特定シーン認識部２２２は、ニューラルネットワーク等の学習済みモデル（生体を撮影した画像から構成される画像セットを用いて学習したモデル）を用いて構成する、特定シーンを認識する認識器で構成される。ここで特定シーンとは、例えば食道、十二指腸、噴門、幽門、胃角部、胃底部、胃体部、前庭部、小わん、大わん等である。以下、ニューラルネットワークとしてＣＮＮ（Convolutional Neural Network）を用いる場合の構成について説明する。
上述した画像処理部２０４における特定シーン認識部２２２は、ニューラルネットワーク等の学習済みモデル（生体を撮影した画像から構成される画像セットを用いて学習したモデル）を用いて構成する、特定シーンを認識する認識器で構成される。ここで特定シーンとは、例えば食道、十二指腸、噴門、幽門、胃角部、胃底部、胃体部、前庭部、小わん、大わん等である。以下、ニューラルネットワークとしてＣＮＮ（Convolutional Neural Network）を用いる場合の構成について説明する。
＜認識部の構成の例＞
図４はＣＮＮ２３２（ニューラルネットワーク）の構成を示す図である。図４の（ａ）部分に示す例では、ＣＮＮ２３２は、入力層２３２Ａ、中間層２３２Ｂ、及び出力層２３２Ｃを有する。入力層２３２Ａは医用画像取得部２２０が取得した内視鏡画像を入力して特徴量を出力する。中間層２３２Ｂは畳み込み層２３４及びプーリング層２３５を含み、入力層２３２Ａが出力する特徴量を入力して他の特徴量を算出する。これらの層は複数の「ノード」が「エッジ」で結ばれた構造となっており、入力した画像に適用される重み係数が、ノード及びエッジに関連付けられて、図示せぬ重み係数記憶部に記憶されている。重み係数の値は、学習が進むにつれて変化していく。
図４はＣＮＮ２３２（ニューラルネットワーク）の構成を示す図である。図４の（ａ）部分に示す例では、ＣＮＮ２３２は、入力層２３２Ａ、中間層２３２Ｂ、及び出力層２３２Ｃを有する。入力層２３２Ａは医用画像取得部２２０が取得した内視鏡画像を入力して特徴量を出力する。中間層２３２Ｂは畳み込み層２３４及びプーリング層２３５を含み、入力層２３２Ａが出力する特徴量を入力して他の特徴量を算出する。これらの層は複数の「ノード」が「エッジ」で結ばれた構造となっており、入力した画像に適用される重み係数が、ノード及びエッジに関連付けられて、図示せぬ重み係数記憶部に記憶されている。重み係数の値は、学習が進むにつれて変化していく。
＜中間層における処理＞
中間層２３２Ｂは、畳み込み演算及びプーリング処理によって特徴量を算出する。畳み込み層２３４で行われる畳み込み演算はフィルタを使用した畳み込み演算により特徴マップを取得する処理であり、画像からのエッジ抽出等の特徴抽出の役割を担う。このフィルタを用いた畳み込み演算により、１つのフィルタに対して１チャンネル（１枚）の「特徴マップ」が生成される。「特徴マップ」のサイズは、畳み込みによりダウンスケーリングされる場合は、各層で畳み込みが行われるにつれて小さくなって行く。プーリング層２３５で行われるプーリング処理は畳み込み演算により出力された特徴マップを縮小（または拡大）して新たな特徴マップとする処理であり、抽出された特徴が、平行移動などによる影響を受けないようにロバスト性を与える役割を担う。中間層２３２Ｂは、これらの処理を行う１または複数の層により構成することができる。なお、ＣＮＮ２３２はプーリング層２３５なしで構成されていてもよい。
中間層２３２Ｂは、畳み込み演算及びプーリング処理によって特徴量を算出する。畳み込み層２３４で行われる畳み込み演算はフィルタを使用した畳み込み演算により特徴マップを取得する処理であり、画像からのエッジ抽出等の特徴抽出の役割を担う。このフィルタを用いた畳み込み演算により、１つのフィルタに対して１チャンネル（１枚）の「特徴マップ」が生成される。「特徴マップ」のサイズは、畳み込みによりダウンスケーリングされる場合は、各層で畳み込みが行われるにつれて小さくなって行く。プーリング層２３５で行われるプーリング処理は畳み込み演算により出力された特徴マップを縮小（または拡大）して新たな特徴マップとする処理であり、抽出された特徴が、平行移動などによる影響を受けないようにロバスト性を与える役割を担う。中間層２３２Ｂは、これらの処理を行う１または複数の層により構成することができる。なお、ＣＮＮ２３２はプーリング層２３５なしで構成されていてもよい。
ＣＮＮ２３２は、図４の（ｂ）部分に示す例のように全結合層２３６を含んでいてもよい。ＣＮＮ２３２の層構成は、畳み込み層２３４とプーリング層２３５とが１つずつ繰り返される場合に限らず、いずれかの層（例えば、畳み込み層２３４）が複数連続して含まれていてもよい。
図５は、図４に示したＣＮＮ２３２の中間層２３２Ｂの構成例を示す模式図である。中間層２３２Ｂの最初（１番目）の畳み込み層では、複数の内視鏡画像により構成される画像セットとフィルタＦ１との畳み込み演算が行われる。画像セットは、縦がＨ、横がＷの画像サイズを有するＮ枚（Ｎチャンネル）の画像により構成される。通常光画像を入力する場合、画像セットを構成する画像はＲ（赤色），Ｇ（緑色），Ｂ（青色）の３チャンネルの画像である。この画像セットと畳み込み演算されるフィルタＦ１は、画像セットがＮチャンネル（Ｎ枚）であるため、例えばサイズ５（５×５）のフィルタの場合、フィルタサイズは５×５×Ｎのフィルタになる。このフィルタＦ１を用いた畳み込み演算により、１つのフィルタＦ１に対して１チャンネル(１枚)の「特徴マップ」が生成される。２番目の畳み込み層で使用されるフィルタＦ２は、例えばサイズ３（３×３）のフィルタの場合、フィルタサイズは３×３×Ｍになる。
１番目の畳み込み層と同様に、２番目からｎ番目の畳み込み層ではフィルタＦ２～Ｆｎを用いた畳み込み演算が行われる。ｎ番目の畳み込み層における「特徴マップ」のサイズが、２番目の畳み込み層における「特徴マップ」のサイズよりも小さくなっているのは、前段までの畳み込み層またはプーリング層によりダウンスケーリングされているからである。
中間層２３２Ｂの層のうち、入力側に近い畳み込み層では低次の特徴抽出（エッジの抽出等）が行われ、出力側に近づくにつれて高次の特徴抽出（認識対象の形状、構造等に関する特徴の抽出）が行われる。
なお、中間層２３２Ｂは畳み込み層２３４及びプーリング層２３５の他にバッチノーマライゼーションを行う層を含んでいてもよい。バッチノーマライゼーション処理は学習を行う際のミニバッチを単位としてデータの分布を正規化する処理であり、学習を速く進行させる、初期値への依存性を下げる、過学習を抑制する等の役割を担う。
出力層２３２Ｃは、中間層２３２Ｂが算出した特徴量を、特定シーン認識に即した形式で出力する。出力層２３２Ｃは全結合層を含んでいてもよい。
＜医用画像処理方法の各処理＞
次に、医用画像処理装置を使用した医用画像処理方法に関して説明する。なお、以下では、内視鏡システム１０で取得された内視鏡画像を医用画像として処理する場合について説明するが、本発明の適用はこれに限定されるものではない。例えば、本発明では、他の内視鏡システム１０で取得された内視鏡画像を、医用画像として医用画像処理装置で処理することもできる。
次に、医用画像処理装置を使用した医用画像処理方法に関して説明する。なお、以下では、内視鏡システム１０で取得された内視鏡画像を医用画像として処理する場合について説明するが、本発明の適用はこれに限定されるものではない。例えば、本発明では、他の内視鏡システム１０で取得された内視鏡画像を、医用画像として医用画像処理装置で処理することもできる。
図６は、医用画像処理方法を示すフローチャートである。以下に、図６に沿って各ステップを説明する。
・医用画像取得ステップ
医用画像取得部２２０は複数の医用画像を時系列に順次取得する（ステップＳ１０）。医用画像取得部２２０は、内視鏡スコープ１００で撮影された体腔の医用画像を取得してもよいし、記録部２０７に記録された体腔の医用画像を取得してもよい。
医用画像取得部２２０は複数の医用画像を時系列に順次取得する（ステップＳ１０）。医用画像取得部２２０は、内視鏡スコープ１００で撮影された体腔の医用画像を取得してもよいし、記録部２０７に記録された体腔の医用画像を取得してもよい。
・特定シーン認識ステップ
特定シーン認識部２２２は、取得した医用画像において特定シーンを認識する。特定シーン認識部２２２は、医用画像を受信し、上述したＣＮＮに医用画像を入力し段階的に医用画像から特徴量を抽出する。特定シーン認識部２２２は、最終的にその特徴量を利用して、クラス分類（例えば食道、十二指腸、噴門、幽門、胃角部、胃底部、胃体部、前庭部、小わん、大わん、その他の１１クラス分類）を行うことで特定シーンを認識する。なお、この認識手法の詳しい説明は次の文献に記載されるものである（B. Zhou, A. Lapedriza, J. Xiao, A. Torralba, and A. Oliva. Learning deep features for scene recognition using places database. In Neural Information Processing Systems (NIPS), pages 487-495, 2014. 1, 4, 6, 8））。また、特定シーン認識部２２２は、最終的に抽出された特徴量を予め記録部２０７に保存された特徴量（例えば十二指腸の特徴量）と比較し類似度を算出することで特定シーンを認識することもできる。なお、この認識手法の詳しい説明は次の文献に記載されるものである（FaceNet: A Unified Embedding for Face Recognition and Clustering https://arxiv.org/abs/1503.03832））。
特定シーン認識部２２２は、取得した医用画像において特定シーンを認識する。特定シーン認識部２２２は、医用画像を受信し、上述したＣＮＮに医用画像を入力し段階的に医用画像から特徴量を抽出する。特定シーン認識部２２２は、最終的にその特徴量を利用して、クラス分類（例えば食道、十二指腸、噴門、幽門、胃角部、胃底部、胃体部、前庭部、小わん、大わん、その他の１１クラス分類）を行うことで特定シーンを認識する。なお、この認識手法の詳しい説明は次の文献に記載されるものである（B. Zhou, A. Lapedriza, J. Xiao, A. Torralba, and A. Oliva. Learning deep features for scene recognition using places database. In Neural Information Processing Systems (NIPS), pages 487-495, 2014. 1, 4, 6, 8））。また、特定シーン認識部２２２は、最終的に抽出された特徴量を予め記録部２０７に保存された特徴量（例えば十二指腸の特徴量）と比較し類似度を算出することで特定シーンを認識することもできる。なお、この認識手法の詳しい説明は次の文献に記載されるものである（FaceNet: A Unified Embedding for Face Recognition and Clustering https://arxiv.org/abs/1503.03832））。
特定シーン認識部２２２が受信した医用画像で特定シーンを認識できなかった場合には（ステップＳ１１のＮｏの場合）、医用画像取得部２２０は、次の医用画像がある場合には（ステップＳ１９のＹｅｓの場合）、次の医用画像を取得する（ステップＳ１０）。一方、特定シーン認識部２２２が医用画像において特定シーンを認識できた場合には（ステップＳ１１のＹｅｓの場合）、認識頻度の記録を更新する頻度取得ステップ（ステップＳ１２）に移行する。
・頻度取得ステップ
頻度取得部２２４は、特定シーン認識部２２２が医用画像において特定シーンを認識すると、認識頻度の記録を更新する（ステップＳ１２）。例えば、特定シーンである十二指腸が特定シーン認識部２２２で認識された場合には、十二指腸の認識頻度を０から１に更新する。認識頻度の更新は、様々な態様が考えられ、例えば０から６４等に更新してもよい。なお、認識頻度の更新に関しては、後で詳しく説明する。
頻度取得部２２４は、特定シーン認識部２２２が医用画像において特定シーンを認識すると、認識頻度の記録を更新する（ステップＳ１２）。例えば、特定シーンである十二指腸が特定シーン認識部２２２で認識された場合には、十二指腸の認識頻度を０から１に更新する。認識頻度の更新は、様々な態様が考えられ、例えば０から６４等に更新してもよい。なお、認識頻度の更新に関しては、後で詳しく説明する。
・表示制御ステップ
表示制御部２２６は、認識頻度が第１の閾値以上であって（ステップＳ１３のＹｅｓの場合）、初期表示がモニタ４００に表示されており、報知表示の一つである第１の表示が未だモニタ４００に表示されていない場合には（ステップＳ１４のＮｏの場合）、初期表示を第１の表示に変化させる（ステップＳ１５）。
表示制御部２２６は、認識頻度が第１の閾値以上であって（ステップＳ１３のＹｅｓの場合）、初期表示がモニタ４００に表示されており、報知表示の一つである第１の表示が未だモニタ４００に表示されていない場合には（ステップＳ１４のＮｏの場合）、初期表示を第１の表示に変化させる（ステップＳ１５）。
一方、表示制御部２２６は、認識頻度が第１の閾値以上であって（ステップＳ１３のＹｅｓの場合）、既にモニタ４００に第１の表示がモニタ４００に表示されている場合であって（ステップＳ１４のＹｅｓの場合）、認識頻度が第２の閾値以上である場合には（ステップＳ１６のＹｅｓの場合）、初期表示を第２の表示に変化させる。なお、第１の閾値及び第２の閾値は、ユーザにより適宜設定される。このように、特定シーン認識部２２２の特定シーンの認識頻度に応じて段階的に変化させて、初期表示、第１の画面、又は第２の画面をモニタ４００に表示させることにより、ユーザは認識頻度を知ることができる。
認識頻度が第１の閾値未満であったり（ステップＳ１３のＮｏの場合）、認識頻度が第２の閾値未満であったり（ステップＳ１６のＮｏの場合）、第２の表示が既にモニタ４００に表示されている場合には（ステップＳ１７のＹｅｓの場合）、次の医用画像がある場合には、医用画像取得部２２０は次の医用画像を取得する（ステップＳ１０）。
＜頻度取得ステップ＞
次に、頻度取得部２２４により行われる頻度取得ステップに関して説明する。
次に、頻度取得部２２４により行われる頻度取得ステップに関して説明する。
図７は、認識頻度の取得のフロー図である。図７では、内視鏡画像において特定シーン（例えば幽門）を認識した画像数に応じて、認識頻度を更新する場合について説明する。なお、図中のｎは特定シーンを認識した画像数であり、Ｎは頻度更新閾値でありユーザにより適宜設定される。
初期状態はｎ＝０とする（ステップＳ２０）。医用画像取得部２２０は医用画像を受信する（ステップＳ２１）。特定シーン認識部２２２が医用画像において特定シーンを認識した場合には（ステップＳ２２のＹｅｓ）、特定シーンを認識した画像数ｎはｎ＋１に更新される（ステップＳ２３）。頻度取得部２２４は、更新された画像数ｎが頻度閾値Ｎ以上である場合には（ステップＳ２４のＹｅｓの場合）、認識頻度の更新をする（ステップＳ２５）。例えば、頻度閾値が５の場合（Ｎ＝５）に、特定シーン認識部２２２が５枚の医用画像において幽門が認識された場合には、頻度取得部２２４は幽門部の認識頻度の更新を行う。その後、図６で説明をした表示制御ステップ（ステップＳ１３～１８：ステップＳ２６）に移行する。
特定シーン認識部２２２が取得した医用画像において特定シーンを認識しなかった場合（ステップＳ２２のＮｏの場合）、更新された画像数ｎが頻度閾値Ｎより小さい場合（ステップＳ２４のＮｏの場合）、図６で説明をした表示制御ステップ（ステップＳ１３～１８）の後には、次の医用画像がある場合には（ステップＳ２７のＹｅｓの場合）医用画像取得部２２０は次の医用画像を取得する。
なお、特定シーン認識部２２２が認識する特定シーンは１箇所であってもよいし複数箇所であってもよい。特定シーン認識部２２２が認識する特定シーンが複数箇所である場合には、各特定シーン毎に頻度閾値が設定され、各特定シーン毎に認識頻度の更新が行われる。
＜報知表示＞
次に、表示制御部２２６で行われるモニタ４００への報知表示に関して説明する。
次に、表示制御部２２６で行われるモニタ４００への報知表示に関して説明する。
図８は、表示制御部２２６で行われるモニタ４００への報知表示の例を示す図である。
図８に示す場合では、モニタ４００のメインの表示領域にリアルタイムで撮影されている内視鏡画像（医用画像）３０１が表示されている。また、モニタ４００のサブの表示領域では、参照画像で構成される報知表示３０３が表示されている。
報知表示３０３は、特定シーン１～９の参照画像（３０３Ａ～３０３Ｉ）で構成される。
未だ特定シーン認識部２２２により認識されていない特定シーン４、８、９（符号３０３Ｄ、３０３Ｈ、３０３Ｉ）では、初期表示であり枠線３０５のみが表示されている。このように、初期表示を報知表示とは異なる表示にすることにより、ユーザは未だ特定シーン認識部２２２で特定シーンの認識が行われていないことを知ることができる。一方、特定シーン１～３、５、６、７（符号３０３Ａ、３０３Ｂ、３０３Ｃ、３０３Ｅ、３０３Ｆ、３０３Ｈ、３０３Ｉ）では、認識頻度が第１の閾値以上であり第１の表示（特定シーンの参照画像３０７）が表示されている。また、特定シーン２では、認識頻度が第２の閾値以上であり第２の表示（枠線３０５の線種が実線から点線に変更）が表示されている。
以上で説明したように、本実施形態では、医用画像の特定シーンの認識頻度に応じて報知表示を切り替えてモニタ４００に表示させるので、ユーザは医用画像処理装置（特定シーン認識部２２２）における特定シーンの認識頻度を知ることができる。従って、本実施形態は、医用画像処理装置（特定シーン認識部２２２）の認識とユーザの認識との乖離を軽減することができる。
次に、上述した実施形態の変形例に関して説明する。
＜医用画像処理方法の各処理の変形例＞
医用画像処理方法の各処理の変形例に関して説明する。上述した実施形態では、第１の表示と第２の表示とがモニタ４００に表示されることを説明したが、本例では、第３の表示以上に変更して、報知表示をモニタ４００に行う場合について説明する。
医用画像処理方法の各処理の変形例に関して説明する。上述した実施形態では、第１の表示と第２の表示とがモニタ４００に表示されることを説明したが、本例では、第３の表示以上に変更して、報知表示をモニタ４００に行う場合について説明する。
図９は、本例における医用画像処理方法のフロー図である。なお、図９中のｍの値は、報知表示での画面の番号を示す。また各報知表示に対応して閾値が設定されている。従って、第ｍの表示は、認識頻度が第ｍの閾値以上の場合に表示される。
初期状態はｍ＝１である（ステップＳ３０）。医用画像取得部２２０は複数の医用画像を時系列に順次取得する（ステップＳ３１）。その後、特定シーン認識部２２２は、取得した医用画像において特定シーンが認識できた場合には（ステップＳ３２のＹｅｓの場合）、頻度取得部２２４は認識頻度の記録を更新する（ステップＳ３３）。その後、表示制御部２２６は、認識頻度が第ｍの閾値以上であり（ステップＳ３４のＹｅｓの場合）、第ｍの表示が未だモニタ４００に表示されていない場合には（ステップＳ３５のＮｏの場合）、第ｍの表示に変化させる（ステップＳ３６）。一方、第ｍの表示が既にモニタ４００に表示されている場合には、ｍ＝ｍ＋１とする（ステップＳ３７）。
特定シーン認識部２２２が特定シーンを認識できなかった場合（ステップＳ３２のＮｏの場合）、第ｍの表示に変化させた場合（ステップＳ３６）の後、次の医用画像がある場合には（ステップＳ３８のＹｅｓの場合）、医用画像取得部２２０は医用画像を取得する。
以上で説明したように、本例では、第１の表示及び第２の表示への変化に限定されず、第３の表示以上への変更が行われる。これにより、ユーザは、より正確に医用画像処理装置における特定シーンの認識頻度を把握することができる。
＜認識頻度の更新の変形例＞
次に、認識頻度の更新の変形例に関して説明する。図７では特定シーンを認識できた医用画像の枚数に基づいて認識頻度の更新を行う例を説明したが、本例では、時系列的に連続する認識画像の枚数に基づいて認識頻度の更新を行う。なお、図中のｎは特定シーンを認識した画像数であり、Ｎは頻度更新閾値でありユーザにより適宜設定される。
次に、認識頻度の更新の変形例に関して説明する。図７では特定シーンを認識できた医用画像の枚数に基づいて認識頻度の更新を行う例を説明したが、本例では、時系列的に連続する認識画像の枚数に基づいて認識頻度の更新を行う。なお、図中のｎは特定シーンを認識した画像数であり、Ｎは頻度更新閾値でありユーザにより適宜設定される。
図１０は、本例の頻度取得部２２４での認識頻度の取得のフロー図である。
初期状態はｎ＝０とする（ステップＳ４０）。医用画像取得部２２０は医用画像を時系列的に連続して取得する（ステップＳ４１）。特定シーン認識部２２２が医用画像において特定シーンを認識した場合には（ステップＳ４２のＹｅｓ）、特定シーンを認識した画像数ｎはｎ＋１に更新される（ステップＳ４４）。一方、特定シーン認識部２２２が特定シーンを認識できない場合には、カウンタをｎ＝０として（ステップＳ４９）次の医用画像がある場合には次の医用画像を取得する。
更新された特定シーンを認識した画像数ｎが頻度閾値Ｎ以上である場合には（ステップＳ４５のＹｅｓの場合）、認識頻度の更新をする（ステップＳ４６）。その後、図７で説明した表示制御ステップ（ステップＳ１３～ステップＳ１８：ステップＳ４７）が行われる。その後、次の医用画像がある場合には（ステップＳ４８のＹｅｓの場合）次の内視鏡画像の処理に移行する。
以上で説明したように、本例では、連続して所定の枚数の医用画像において特定シーンを認識できた場合に、認識頻度の更新が行われる。したがって、ユーザが観察していることを精度良く反映させて特定シーン認識部２２２の認識結果を出力することができる。
＜報知表示の変形例１＞
次に、報知表示の変形例１に関して説明する。本例では報知表示として、参照画像を使用した場合の様々な変形例を説明する。
次に、報知表示の変形例１に関して説明する。本例では報知表示として、参照画像を使用した場合の様々な変形例を説明する。
図１１～図１５に沿って、報知表示の第１の変形例１から第５の変形例１の具体例を説明する図である。なお、図中のＩＭＧＢは初期表示であり、ＩＭＧ１は初期表示から切り替えられる第１の表示であり、ＩＭＧ２は第１の表示から切り替えられる第２の表示である。
図１１で示された第１の変形例１では、枠線の色が認識頻度に応じて変化する。
例えば、ＩＭＧＢでは枠線３１１は黒色であり、ＩＭＧ１では枠線３１３は白色であり、ＩＭＧ２では枠線３１５は赤色である。このように、本例の報知表示を見たユーザは枠線の色により、特定シーン認識部２２２の認識頻度を把握することができる。
図１２で示された第２の変形例１では、枠線の種類（線種）が認識頻度に応じて変化する。
例えば、ＩＭＧＢでは枠線３２１は細かい点線であり、ＩＭＧ１では枠線３２３は枠線３２１より大まかな点線であり、ＩＭＧ２では枠線３２５は実線である。このように、本例の報知表示を見たユーザは枠線の種類により、特定シーン認識部２２２の認識頻度を把握することができる。
図１３で示された第３の変形例１では、認識頻度に応じて参照画像の背景色が変化する。
例えば、ＩＭＧＢでは背景３３１は白色であり、ＩＭＧ１では背景３３３は灰色であり、ＩＭＧ２では背景３３５は黒である。このように、本例の報知表示を見たユーザは背景の色により、特定シーン認識部２２２の認識頻度を把握することができる。
図１４で示された第４の変形例１では、参照画像の周辺の色が変化する。
例えば、ＩＭＧＢでは参照画像の周辺３４１は白色であり、ＩＭＧ１では参照画像の周辺３４３は桃色であり、ＩＭＧ２では参照画像の周辺３４５は赤色である。このように、本例の報知表示を見たユーザは参照画像の色により、特定シーン認識部２２２の認識頻度を把握することができる。
図１５で示された第５の変形例１では、参照画像の画像が徐々に鮮明になってくる（ボケ具合が変化する）。
例えば、ＩＭＧＢでは参照画像は表示されていなく無地画像３５１が表示され、ＩＭＧ１では不鮮明な（ボケ状態の）参照画像３５３が表示され、ＩＭＧ２では鮮明な状態の参照画像３５５が表示されている。このように、本例の報知表示を見たユーザは、参照画像の鮮明具合（ボケ具合）により、特定シーン認識部２２２の認識頻度を把握することができる。
＜報知表示の変形例２＞
次に、報知表示の変形例２に関して説明する。本例では、複数の特定シーンに対応する部位を含むモデル画像に報知表示を重畳させる。
次に、報知表示の変形例２に関して説明する。本例では、複数の特定シーンに対応する部位を含むモデル画像に報知表示を重畳させる。
図１６は、第１の変形例２を示す図である。本例では、胃を模したモデル画像３６１に報知表示が行われていることを示す図である。モデル画像３６１は、複数の特定シーンに対応する部位を含む。そして、各特定シーンが認識された場合には、報知表示として、認識頻度に応じて色を変えた帯表示が行われる。図１６に示す場合では、特定シーンＡに対して第１の表示である帯表示３６３Ａ、特定シーンＤに対して第１の表示である帯表示３６３Ｄが行われている。また、特定シーンＢに対して第２の表示である帯表示３６３Ｂ、特定シーンＣに対して第２の表示である帯表示３６３Ｃ、特定シーンＥに対して第２の表示である帯表示３６３Ｅが行われている。なお、第１の表示である帯表示３６３Ａ及び３６３Ｄは同色で表示され、第２の表示である帯表示３６３Ｂ、３６３Ｃ及び３６３Ｅは同色で表示される。このように、本例の報知表示を見たユーザは、モデル画像に重畳された帯表示の色により、特定シーン認識部２２２の認識頻度を把握することができる。
図１７は、第２の変形例２を示す図である。本例では、胃を模したモデル画像３７１に報知表示が行われることを示す図である。モデル画像３７１は、複数の特定シーンに対応する部位を含む。そして、各特定シーンが所定の閾値以上認識された場合には、認識された特定シーンに対応する位置に報知表示として認識マーク３７３が表示される。認識マーク３７３は、特定シーンの位置によっては重なりをもって表示され、認識マークが重なった箇所は重なる程度に応じて色が変化する。具体例としては、認識マーク３７３は重なる度に段々と明るくなるように表示を行う。このように、本例の報知表示を見たユーザは、モデル画像３７１に表示され、重なる度に色が変わる認識マーク３７３の表示により、特定シーン認識部２２２の認識頻度を把握することができる。
＜モニタ表示の変形例＞
次に、モニタ表示の変形例に関して説明する。本例では２つの第１のモニタ及び第２のモニタにおいて表示が行われる。
次に、モニタ表示の変形例に関して説明する。本例では２つの第１のモニタ及び第２のモニタにおいて表示が行われる。
図１８は、２つのモニタ（第１のモニタ及び第２のモニタ）に表示が行われる場合を示す図である。
第１のモニタ４００Ａには、リアルタイムで取得されている医用画像３０１が表示されている。第２のモニタ４００Ｂには、図８で説明を行った報知表示３０３が行われる。このように２つのモニタを使用して、報知表示３０３を行うことにより、視認性が向上した表示を行うことができる。
以上で本発明の例に関して説明してきたが、本発明は上述した実施の形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。
１０ ：内視鏡システム
１００ ：内視鏡スコープ
１０２ ：手元操作部
１０４ ：挿入部
１０６ ：ユニバーサルケーブル
１０８ ：ライトガイドコネクタ
１１２ ：軟性部
１１４ ：湾曲部
１１６ ：先端硬質部
１１６Ａ ：先端側端面
１２３ ：照明部
１２３Ａ ：照明用レンズ
１２３Ｂ ：照明用レンズ
１２６ ：鉗子口
１３０ ：撮影光学系
１３２ ：撮影レンズ
１３４ ：撮像素子
１３６ ：駆動回路
１４１ ：送気送水ボタン
１４２ ：吸引ボタン
１４３ ：機能ボタン
１４４ ：撮影ボタン
１７０ ：ライトガイド
２００ ：内視鏡プロセッサ装置
２０２ ：画像入力コントローラ
２０４ ：画像処理部
２０５ ：通信制御部
２０６ ：ビデオ出力部
２０７ ：記録部
２０８ ：操作部
２０９ ：音声処理部
２０９Ａ ：スピーカ
２１０ ：ＣＰＵ
２１１ ：ＲＯＭ
２１２ ：ＲＡＭ
２２０ ：医用画像取得部
２２２ ：特定シーン認識部
２２４ ：頻度取得部
２２６ ：表示制御部
１００ ：内視鏡スコープ
１０２ ：手元操作部
１０４ ：挿入部
１０６ ：ユニバーサルケーブル
１０８ ：ライトガイドコネクタ
１１２ ：軟性部
１１４ ：湾曲部
１１６ ：先端硬質部
１１６Ａ ：先端側端面
１２３ ：照明部
１２３Ａ ：照明用レンズ
１２３Ｂ ：照明用レンズ
１２６ ：鉗子口
１３０ ：撮影光学系
１３２ ：撮影レンズ
１３４ ：撮像素子
１３６ ：駆動回路
１４１ ：送気送水ボタン
１４２ ：吸引ボタン
１４３ ：機能ボタン
１４４ ：撮影ボタン
１７０ ：ライトガイド
２００ ：内視鏡プロセッサ装置
２０２ ：画像入力コントローラ
２０４ ：画像処理部
２０５ ：通信制御部
２０６ ：ビデオ出力部
２０７ ：記録部
２０８ ：操作部
２０９ ：音声処理部
２０９Ａ ：スピーカ
２１０ ：ＣＰＵ
２１１ ：ＲＯＭ
２１２ ：ＲＡＭ
２２０ ：医用画像取得部
２２２ ：特定シーン認識部
２２４ ：頻度取得部
２２６ ：表示制御部
Claims (30)
- プロセッサを備える医用画像処理装置であって、
前記プロセッサは、
内視鏡検査で撮影される、時系列に複数の医用画像を順次取得し、
取得した前記医用画像に基づいて、前記内視鏡検査における診察部位が前記医用画像に写っている特定シーンを認識し、
前記認識された前記特定シーンの認識頻度を取得し、
前記認識頻度と前記認識頻度に関する閾値に基づいて、２段階以上に表示態様を変化させて、前記診察部位の認識の程度を示す報知表示をモニタに表示させ、
前記プロセッサは、前記認識された前記特定シーンの連続する前記医用画像の枚数に基づいて、前記認識頻度を取得する医用画像処理装置。 - 前記プロセッサは、前記認識頻度に応じて、前記報知表示として異なる色を、前記モニタに表示させる請求項１に記載の医用画像処理装置。
- 前記プロセッサは、前記認識頻度に応じて、前記報知表示として異なる線種を、前記モニタに表示させる請求項１又は２に記載の医用画像処理装置。
- 前記プロセッサは、前記認識頻度に応じて、前記報知表示として異なるボケ具合を、前記モニタに表示させる請求項１から３のいずれか１項に記載の医用画像処理装置。
- 前記プロセッサは、前記認識された前記特定シーンの時系列的に連続する前記医用画像の枚数に基づいて、前記認識頻度を取得する請求項１から４のいずれか１項に記載の医用画像処理装置。
- 前記プロセッサは、前記特定シーンの前記医用画像の特徴量を算出し、前記特定シーンの前記特徴量に基づいて前記医用画像をクラス分類することにより、前記特定シーンを認識する請求項１から５のいずれか１項に記載の医用画像処理装置。
- 前記プロセッサは、前記特定シーンの前記医用画像の特徴量を算出し、前記特徴量と前記医用画像との類似度に基づいて前記特定シーンを認識する請求項１から５のいずれか１項に記載の医用画像処理装置。
- 前記プロセッサは、前記認識頻度が前記認識頻度に関する閾値である第１の閾値以上の場合には、前記報知表示を初期表示から第１の表示に切り替えて、前記モニタに表示させる請求項１から５のいずれか１項に記載の医用画像処理装置。
- 前記プロセッサは、前記認識頻度が前記第１の閾値よりも大きい第２の閾値以上の場合には、前記報知表示を前記第１の表示から第２の表示に切り替えて、前記モニタに表示させる請求項８に記載の医用画像処理装置。
- 前記プロセッサは、前記モニタに、複数の前記特定シーンの各々を有する複数の参照画像を表示して、前記第１の表示及び前記第２の表示を行う請求項９に記載の医用画像処理装置。
- 前記プロセッサは、前記モニタに、複数の前記特定シーンに対応する部位を含むモデル画像を表示し、前記モデル画像に認識された前記特定シーンを対応させて、前記第１の表示及び前記第２の表示を行う請求項９に記載の医用画像処理装置。
- 前記プロセッサは、前記特定シーンが認識された位置と前記モデル画像上の位置とを対応させて、前記報知表示を前記モデル画像に重畳させて、前記モニタに表示させる請求項１１に記載の医用画像処理装置。
- 前記プロセッサは、前記特定シーンの認識が未だなされていない場合には、前記報知表示とは異なる初期表示を、前記モニタに表示させる請求項１から１２のいずれか１項に記載の医用画像処理装置。
- 前記プロセッサは、前記報知表示の全体の表示態様を変化させて、前記診察部位の認識の程度を示す請求項１から１３のいずれか１項に記載の医用画像処理装置。
- 前記特定シーンとは、食道、十二指腸、噴門、幽門、胃角部、胃底部、胃体部、前庭部、小わん、又は大わんである請求項１から１４のいずれか１項に記載の医用画像処理装置。
- プロセッサを備える医用画像処理装置の作動方法であって、
前記プロセッサが行う、
内視鏡検査で撮影される、時系列に複数の医用画像を順次取得する医用画像取得ステップと、
取得した前記医用画像に基づいて、前記内視鏡検査における診察部位が前記医用画像に写っている特定シーンを認識する特定シーン認識ステップと、
前記特定シーン認識ステップにより認識された前記特定シーンの認識頻度を取得する頻度取得ステップと、
前記認識頻度と前記認識頻度に関する閾値に基づいて、２段階以上に表示態様を変化させて、前記診察部位の認識の程度を示す報知表示をモニタに表示させる表示制御ステップと、
を含む作動方法であって、
前記頻度取得ステップでは、前記プロセッサは、前記認識された前記特定シーンの連続する前記医用画像の枚数に基づいて、前記認識頻度を取得する、作動方法。 - 内視鏡検査で撮影される、時系列に複数の医用画像を順次取得する医用画像取得ステップと、
取得した前記医用画像に基づいて、前記内視鏡検査における診察部位が前記医用画像に写っている特定シーンを認識する特定シーン認識ステップと、
前記特定シーン認識ステップにより認識された前記特定シーンの認識頻度を取得する頻度取得ステップと、
前記認識頻度と前記認識頻度に関する閾値に基づいて、２段階以上に表示態様を変化させて、前記診察部位の認識の程度を示す報知表示をモニタに表示させる表示制御ステップと、
を含む医用画像処理方法をコンピュータに実行させるプログラムであって、
前記頻度取得ステップでは、前記認識された前記特定シーンの連続する前記医用画像の枚数に基づいて、前記認識頻度を取得する、医用画像処理方法をコンピュータに実行させるプログラム。 - プロセッサを備える医用画像処理装置であって、
前記プロセッサは、
時系列に複数の医用画像を順次取得し、
取得した前記医用画像に基づいて、前記医用画像の特定シーンを認識し、
前記認識された前記特定シーンの認識頻度を取得し、
前記認識頻度に応じて、２段階以上に変化する認識の程度を示す報知表示をモニタに表示させる、
医用画像処理装置であって、前記プロセッサは、前記認識された前記特定シーンの時系列的に連続する前記医用画像の枚数に基づいて、前記認識頻度を取得する、医用画像処理装置。 - プロセッサを備える医用画像処理装置の作動方法であって、
前記プロセッサが行う、
内視鏡検査で撮影される、時系列に複数の医用画像を順次取得する医用画像取得ステップと、
取得した前記医用画像に基づいて、前記内視鏡検査における診察部位が前記医用画像に写っている特定シーンを認識する特定シーン認識ステップと、
前記特定シーン認識ステップにより認識された前記特定シーンの認識頻度を取得する頻度取得ステップと、
前記認識頻度に応じて、２段階以上に表示態様を変化させて、前記診察部位の認識の程度を示す報知表示をモニタに表示させる表示制御ステップと、
を含む作動方法であって、
前記頻度取得ステップでは、前記認識された前記特定シーンの時系列的に連続する前記医用画像の枚数に基づいて、前記認識頻度を取得する、作動方法。 - 内視鏡検査で撮影される、時系列に複数の医用画像を順次取得する医用画像取得ステップと、
取得した前記医用画像に基づいて、前記内視鏡検査における診察部位が前記医用画像に写っている特定シーンを認識する特定シーン認識ステップと、
前記特定シーン認識ステップにより認識された前記特定シーンの認識頻度を取得する頻度取得ステップと、
前記認識頻度に応じて、２段階以上に表示態様を変化させて、前記診察部位の認識の程度を示す報知表示をモニタに表示させる表示制御ステップと、
を含む医用画像処理方法をコンピュータに実行させるプログラムであって、
前記頻度取得ステップでは、前記認識された前記特定シーンの時系列的に連続する前記医用画像の枚数に基づいて、前記認識頻度を取得する、医用画像処理方法をコンピュータに実行させるプログラム。 - プロセッサを備える医用画像処理装置であって、
前記プロセッサは、
内視鏡検査で撮影される、時系列に複数の医用画像を順次取得し、
取得した前記医用画像に基づいて、前記内視鏡検査における診察部位が前記医用画像に写っている特定シーンを認識し、
前記認識された前記特定シーンの認識頻度を取得し、
前記認識頻度に応じて、２段階以上に表示態様を変化させて、前記診察部位の認識の程度を示す報知表示をモニタに表示させる、
医用画像処理装置であって、
前記プロセッサは、
前記認識頻度が第１の閾値以上の場合には、前記報知表示を初期表示から第１の表示に切り替えて、前記モニタに表示させ、
前記認識頻度が前記第１の閾値よりも大きい第２の閾値以上の場合には、前記報知表示を前記第１の表示から第２の表示に切り替えて、前記モニタに表示させる、
医用画像処理装置。 - プロセッサを備える医用画像処理装置の作動方法であって、
前記プロセッサが行う、
内視鏡検査で撮影される、時系列に複数の医用画像を順次取得する医用画像取得ステップと、
取得した前記医用画像に基づいて、前記内視鏡検査における診察部位が前記医用画像に写っている特定シーンを認識する特定シーン認識ステップと、
前記特定シーン認識ステップにより認識された前記特定シーンの認識頻度を取得する頻度取得ステップと、
前記認識頻度に応じて、２段階以上に表示態様を変化させて、前記診察部位の認識の程度を示す報知表示をモニタに表示させる表示制御ステップと、
を含む作動方法であって、
前記表示制御ステップでは、
前記認識頻度が第１の閾値以上の場合には、前記報知表示を初期表示から第１の表示に切り替えて、前記モニタに表示させ、
前記認識頻度が前記第１の閾値よりも大きい第２の閾値以上の場合には、前記報知表示を前記第１の表示から第２の表示に切り替えて、前記モニタに表示させる、
作動方法。 - 内視鏡検査で撮影される、時系列に複数の医用画像を順次取得する医用画像取得ステップと、
取得した前記医用画像に基づいて、前記内視鏡検査における診察部位が前記医用画像に写っている特定シーンを認識する特定シーン認識ステップと、
前記特定シーン認識ステップにより認識された前記特定シーンの認識頻度を取得する頻度取得ステップと、
前記認識頻度に応じて、２段階以上に表示態様を変化させて、前記診察部位の認識の程度を示す報知表示をモニタに表示させる表示制御ステップと、
を含む医用画像処理方法をコンピュータに実行させるプログラムであって、
前記表示制御ステップでは、
前記認識頻度が第１の閾値以上の場合には、前記報知表示を初期表示から第１の表示に切り替えて、前記モニタに表示させ、
前記認識頻度が前記第１の閾値よりも大きい第２の閾値以上の場合には、前記報知表示を前記第１の表示から第２の表示に切り替えて、前記モニタに表示させる、
プログラム。 - プロセッサを備える医用画像処理装置であって、
前記プロセッサは、
内視鏡検査で撮影される、時系列に複数の医用画像を順次取得し、
取得した前記医用画像に基づいて、前記内視鏡検査における診察部位が前記医用画像に写っている特定シーンを認識し、
前記認識された前記特定シーンの認識頻度を取得し、
前記認識頻度と前記認識頻度に関する閾値に基づいて、２段階以上に表示態様を変化させて、前記診察部位の認識の程度を示す報知表示をモニタに表示させ、
前記プロセッサは、前記認識頻度が前記認識頻度に関する閾値である第１の閾値以上の場合には、前記報知表示を初期表示から第１の表示に切り替えて、前記モニタに表示させ、前記認識頻度が前記第１の閾値よりも大きい第２の閾値以上の場合には、前記報知表示を前記第１の表示から第２の表示に切り替えて、前記モニタに表示させる医用画像処理装置。 - 前記プロセッサは、前記モニタに、複数の前記特定シーンの各々を有する複数の参照画像を表示して、前記第１の表示及び前記第２の表示を行う請求項２４に記載の医用画像処理装置。
- 前記プロセッサは、前記モニタに、複数の前記特定シーンに対応する部位を含むモデル画像を表示し、前記モデル画像に認識された前記特定シーンを対応させて、前記第１の表示及び前記第２の表示を行う請求項２４に記載の医用画像処理装置。
- 前記プロセッサは、前記特定シーンが認識された位置と前記モデル画像上の位置とを対応させて、前記報知表示を前記モデル画像に重畳させて、前記モニタに表示させる請求項２６に記載の医用画像処理装置。
- プロセッサを備える医用画像処理装置の作動方法であって、
前記プロセッサが行う、
内視鏡検査で撮影される、時系列に複数の医用画像を順次取得する医用画像取得ステップと、
取得した前記医用画像に基づいて、前記内視鏡検査における診察部位が前記医用画像に写っている特定シーンを認識する特定シーン認識ステップと、
前記特定シーン認識ステップにより認識された前記特定シーンの認識頻度を取得する頻度取得ステップと、
前記認識頻度と前記認識頻度に関する閾値に基づいて、２段階以上に表示態様を変化させて、前記診察部位の認識の程度を示す報知表示をモニタに表示させる表示制御ステップと、
を含む作動方法であって、
前記表示制御ステップでは、前記プロセッサは、前記認識頻度が前記認識頻度に関する閾値である第１の閾値以上の場合には、前記報知表示を初期表示から第１の表示に切り替えて、前記モニタに表示させ、前記認識頻度が前記第１の閾値よりも大きい第２の閾値以上の場合には、前記報知表示を前記第１の表示から第２の表示に切り替えて、前記モニタに表示させる、作動方法。 - 内視鏡検査で撮影される、時系列に複数の医用画像を順次取得する医用画像取得ステップと、
取得した前記医用画像に基づいて、前記内視鏡検査における診察部位が前記医用画像に写っている特定シーンを認識する特定シーン認識ステップと、
前記特定シーン認識ステップにより認識された前記特定シーンの認識頻度を取得する頻度取得ステップと、
前記認識頻度と前記認識頻度に関する閾値に基づいて、２段階以上に表示態様を変化させて、前記診察部位の認識の程度を示す報知表示をモニタに表示させる表示制御ステップと、
を含む医用画像処理方法をコンピュータに実行させるプログラムであって、
前記表示制御ステップでは、前記認識頻度が前記認識頻度に関する閾値である第１の閾値以上の場合には、前記報知表示を初期表示から第１の表示に切り替えて、前記モニタに表示させ、前記認識頻度が前記第１の閾値よりも大きい第２の閾値以上の場合には、前記報知表示を前記第１の表示から第２の表示に切り替えて、前記モニタに表示させる、医用画像処理方法をコンピュータに実行させるプログラム。 - 非一時的かつコンピュータ読取可能な記録媒体であって、請求項１７、２０、２３、及び２９のいずれか１項に記載のプログラムが記録された記録媒体。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019236673 | 2019-12-26 | ||
| JP2019236673 | 2019-12-26 | ||
| PCT/JP2020/047179 WO2021132023A1 (ja) | 2019-12-26 | 2020-12-17 | 医用画像処理装置、医用画像処理方法及びプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2021132023A1 JPWO2021132023A1 (ja) | 2021-07-01 |
| JP7648540B2 true JP7648540B2 (ja) | 2025-03-18 |
Family
ID=76574466
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021567366A Active JP7648540B2 (ja) | 2019-12-26 | 2020-12-17 | 医用画像処理装置、作動方法、プログラム、及び記録媒体 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US12283367B2 (ja) |
| EP (1) | EP4082421A4 (ja) |
| JP (1) | JP7648540B2 (ja) |
| CN (1) | CN114845624B (ja) |
| WO (1) | WO2021132023A1 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021149552A1 (ja) * | 2020-01-20 | 2021-07-29 | 富士フイルム株式会社 | 医療画像処理装置、医療画像処理装置の作動方法、及び内視鏡システム |
| WO2023090091A1 (ja) * | 2021-11-19 | 2023-05-25 | 富士フイルム株式会社 | 画像処理装置及び内視鏡システム |
| CN117197867B (zh) * | 2023-08-29 | 2025-10-28 | 四川大学 | 一种调节人脸真伪检测算法的检测频率的方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008061704A (ja) | 2006-09-05 | 2008-03-21 | Olympus Medical Systems Corp | 画像表示装置 |
| JP2011087793A (ja) | 2009-10-23 | 2011-05-06 | Hoya Corp | 電子内視鏡用プロセッサ |
| JP2015112429A (ja) | 2013-12-13 | 2015-06-22 | オリンパスメディカルシステムズ株式会社 | 画像処理装置 |
| WO2019220848A1 (ja) | 2018-05-17 | 2019-11-21 | 富士フイルム株式会社 | 内視鏡装置、内視鏡操作方法、及びプログラム |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4624841B2 (ja) * | 2005-04-13 | 2011-02-02 | オリンパスメディカルシステムズ株式会社 | 画像処理装置および当該画像処理装置における画像処理方法 |
| JP5368668B2 (ja) * | 2006-06-01 | 2013-12-18 | 富士フイルム株式会社 | 医用画像表示装置、医用画像表示システム及び医用画像表示システムの作動方法 |
| US8900124B2 (en) | 2006-08-03 | 2014-12-02 | Olympus Medical Systems Corp. | Image display device |
| JP5226618B2 (ja) * | 2009-06-29 | 2013-07-03 | オリンパス株式会社 | 画像抽出装置、画像抽出方法および画像抽出プログラム |
| JP5492729B2 (ja) * | 2010-09-28 | 2014-05-14 | 富士フイルム株式会社 | 内視鏡画像記録装置、及び内視鏡画像記録装置の作動方法、並びにプログラム |
| WO2018138828A1 (ja) * | 2017-01-26 | 2018-08-02 | オリンパス株式会社 | 画像処理装置、動作方法およびプログラム |
| JP7100505B2 (ja) * | 2018-06-19 | 2022-07-13 | オリンパス株式会社 | 画像処理装置、画像処理装置の作動方法、及び画像処理装置の作動プログラム |
-
2020
- 2020-12-17 EP EP20905063.2A patent/EP4082421A4/en active Pending
- 2020-12-17 WO PCT/JP2020/047179 patent/WO2021132023A1/ja not_active Ceased
- 2020-12-17 CN CN202080086065.6A patent/CN114845624B/zh active Active
- 2020-12-17 JP JP2021567366A patent/JP7648540B2/ja active Active
-
2022
- 2022-05-24 US US17/752,403 patent/US12283367B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008061704A (ja) | 2006-09-05 | 2008-03-21 | Olympus Medical Systems Corp | 画像表示装置 |
| JP2011087793A (ja) | 2009-10-23 | 2011-05-06 | Hoya Corp | 電子内視鏡用プロセッサ |
| JP2015112429A (ja) | 2013-12-13 | 2015-06-22 | オリンパスメディカルシステムズ株式会社 | 画像処理装置 |
| WO2019220848A1 (ja) | 2018-05-17 | 2019-11-21 | 富士フイルム株式会社 | 内視鏡装置、内視鏡操作方法、及びプログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2021132023A1 (ja) | 2021-07-01 |
| CN114845624A (zh) | 2022-08-02 |
| US20220285010A1 (en) | 2022-09-08 |
| EP4082421A1 (en) | 2022-11-02 |
| JPWO2021132023A1 (ja) | 2021-07-01 |
| US12283367B2 (en) | 2025-04-22 |
| EP4082421A4 (en) | 2023-02-08 |
| CN114845624B (zh) | 2025-09-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7170032B2 (ja) | 画像処理装置、内視鏡システム、及び画像処理方法 | |
| US12303097B2 (en) | Medical image processing apparatus, endoscope system, and medical image processing method | |
| US11200460B2 (en) | Image learning device, image learning method, neural network, and image classification device | |
| CN112218570B (zh) | 图像处理装置、内窥镜系统及图像处理方法 | |
| CN113543694A (zh) | 医用图像处理装置、处理器装置、内窥镜系统、医用图像处理方法、及程序 | |
| CN115066196B (zh) | 医用图像处理装置、内窥镜系统、医用图像处理方法及记录介质 | |
| JP7648540B2 (ja) | 医用画像処理装置、作動方法、プログラム、及び記録媒体 | |
| JP7530434B2 (ja) | 医療画像処理方法及び医療画像処理装置 | |
| US20220327702A1 (en) | Medical image processing apparatus, method for operating medical image processing apparatus, and endoscope system | |
| JPWO2020031851A1 (ja) | 画像処理方法及び画像処理装置 | |
| US20250151974A1 (en) | Medical image processing apparatus, endoscope system, and medical image processing method | |
| WO2022186109A1 (ja) | 医療画像処理装置、内視鏡システム、医療画像処理方法、及び医療画像処理プログラム | |
| JP7774610B2 (ja) | 医療画像処理装置、内視鏡システム、医療画像処理方法、医療画像処理プログラム、及び記録媒体 | |
| JP7594015B2 (ja) | 医療画像処理装置、医療画像処理装置の作動方法、内視鏡システム、及び医療画像処理プログラム | |
| JP7796922B2 (ja) | 医療画像処理装置、医療画像処理方法、プログラム、及び記録媒体 | |
| WO2024166306A1 (ja) | 医療用装置、内視鏡システム、制御方法、制御プログラム、及び学習装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220810 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230711 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20230809 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231109 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240130 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20240315 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240516 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20240903 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20241129 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20241206 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20250228 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20250306 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7648540 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |