JP7767162B2 - 内視鏡システム及びその作動方法 - Google Patents

Description

本発明は、内視鏡システム及びその作動方法に関する。

内視鏡などの医療装置において、機器の故障等の異常を自動的に検出して、エラーログとして保存するシステムは一般的である。エラーログは異常の種別や発生日時のほか、異常発生時の機器の設定やプログラムの処理状況、モジュール間の通信状況などが記録される。エラーログによって、故障等の異常が発生した事実と、発生状況を把握することができる。エラーログによる故障等の検出では、故障の具体的な内容や故障の発生原因を特定しにくい。そのため、エラーログ以外のデータを用いて具体的な故障の内容を把握することが求められる。

具体的には、特許文献１では、機器の作動状態を表す複数の状態信号について検査を行う。状態信号が許容範囲から外れたことを検出し、検出した時刻と起動時からの経過時間、その後の状態を記録する。また、異常の種類を灯火、音声等にて表示する。特許文献２では、機器の運転状態を示すデータから異常を検出し、検出した異常の種類とともに運転状態を記録する。異常が故障と確定されているか否か判断し、故障と確定されていない異常が検出された時に記録されたデータを消去する。

特許第３２０７８７４号公報 特許第３５４９５０５号公報

特許文献１では機器の状態信号を用いて異常検出を行い、特許文献２では、異常が、極端な高負荷のときなどに一時的に発生する、経時的に自己回復する可能性が高いものか、そうでないものであるかの種類を判断する。特許文献１および２では機器の作動状態の信号を取得し、異常の検出、記録及び判定を行い、異常の種類を判断する。外部ノイズなどによる一時的な高負荷など、故障による異常ではないと判断はできても、故障であることの判断や、その原因を特定することは困難である。

また、内視鏡のようなサイズ制約のある機器では、故障を検知する専用のセンサなどは搭載できない、もしくはコストがかかる。更に、検査結果から得られたデータを全て解析する場合は、ユーザの手間がかかり、効率が悪い。そのため、通常の検査機器から得られる検査結果から故障の検出、及び記録において、効率よく故障内容の確認及び故障原因の特定を行うことが求められる。

本発明は、故障を検知する専用センサを用いずに、故障による機器の異常の検出と、故障の種類の判定を行い、故障ごとに検出結果を記録して故障原因の解析を効率よく行える内視鏡システム及びその作動方法を提供することを目的とする。

本発明の内視鏡システムは、プロセッサを備え、プロセッサは、内視鏡で撮影した医療動画から内視鏡の故障を検出し、故障の種類を判別し、医療動画から故障が検出されたタイミングである故障シーンを有する故障動画を抽出し、故障動画を、故障の種類を少なくとも含む故障情報と共に主記憶領域に保存する。

故障シーンの前又は前後のタイミングに、故障シーンではない複数のフレーム画像を有する故障動画を抽出することが好ましい。

故障シーン、及び故障シーンに対応する故障情報に基づいて、抽出する故障動画の抽出範囲を決定することが好ましい。

故障シーン、及び故障シーン付近のタイミングにおける操作履歴に応じて、抽出する故障動画の抽出範囲を決定することが好ましい。

故障動画を一時記憶領域に一時保存し、故障情報に基づいて故障動画の選別を行い、
選別済みの故障動画を主記憶領域に保存することが好ましい。

故障動画の重要度を算出し、重要度に基づいて選別を行うことが好ましい。

故障シーンの時系列の順番に基づいて選別を行うことが好ましい。

故障の種類ごとに少なくとも１つの故障動画を主記憶領域に保存することが好ましい。

ユーザ操作により、選別を行うことが好ましい。

内視鏡の形状情報を取得し、故障動画の保存の際に、故障動画及び故障情報と共に、形状情報を主記憶領域に保存することが好ましい。

形状情報を用いて、故障動画を抽出することが好ましい。

内視鏡検査中に故障を検出し、故障動画を抽出することが好ましい。

故障動画を不揮発メモリに一時保存し、内視鏡検査の終了状況に関わらず、一時保存された故障動画の選別を行い、選別された故障動画を、不揮発メモリから主記憶領域に保存することが好ましい。

故障動画の抽出時に、それぞれの故障動画に対して、互いに異なる識別子を設定し、主記憶領域に保存された故障動画の識別子を確認し、確認した識別子と同一の識別子を有する故障動画を、不揮発メモリから削除することが好ましい。

本発明の内視鏡システムの作動方法は、内視鏡で撮影した医療動画から内視鏡の故障を検出するステップと、故障の種類を判別するステップと、医療動画から故障が検出されたタイミングである故障シーンを有する故障動画を抽出するステップと、故障動画を、故障の種類を少なくとも含む故障情報と共に主記憶領域に保存するステップとを有する。

本発明によれば、故障を検知する専用センサを用いずに、故障による機器の異常の検出と、故障の種類の判定を行い、故障ごとに検出結果を記録して故障原因の解析を効率よく行える。

内視鏡システムの接続機器を示す説明図である。 プロセッサ装置の機能を示すブロック図である。 故障検出処理を行う医療動画の説明図である。 図４（Ａ）、（Ｂ）、（Ｃ）はそれぞれ故障検出処理で検出される各フレーム画像の説明図である。 故障動画を抽出する際の、故障シーンに対する抽出範囲の説明図である。 各保存モードの説明図である。 抽出した故障動画を選別せずに保存する場合の説明図である。 抽出した故障動画を選別して保存する場合の説明図である。 故障動画の再生画面を表示する画像図である。 故障動画をサムネイル表示する画像図である。 本発明の処理の一連の流れを示すフローチャートである。 図１２（Ａ）、（Ｂ）、（Ｃ）はそれぞれ第２実施形態で内視鏡挿入部の形状情報を取得する説明図である。 第３実施形態で不揮発性メモリに故障動画を一時保存する説明図である。

［第１実施形態］
図１は、本発明の実施の形態の内視鏡システム１０における内視鏡１１の接続機器を示す図である。内視鏡システム１０は、内視鏡１１と、光源装置１２と、プロセッサ装置１３と、データベース１４と、ディスプレイ１５と、ユーザインターフェース（ＵＩ）１６を有する。プロセッサ装置１３は、光源装置１２、データベース１４、ディスプレイ１５、及びユーザインターフェース１６と電気的に接続する。内視鏡１１は、細長い形状で、患者の体内に挿入して映像を取得する挿入部１１ａと、挿入部１１ａの湾曲や映像を取得する際のズームなどのユーザ操作を受け付ける操作部１１ｂを有する。また、挿入部１１ａの先端には、撮影機能を有し、照明光の照射や処置具の突出を行う先端部１１ｃが備わる。

光源装置１２は、内視鏡１１と光学的に接続し、内視鏡検査において内視鏡１１に照明光を供給する。データベース１４は、画像を保管しプロセッサ装置１３とデータの送受信ができる機器であり、ＵＳＢ(Universal Serial Bus)やＨＤＤ（Hard Disc Drive）などの記録媒体でも良い。ディスプレイ１５は、プロセッサ装置１３が取得した画像を表示する。ユーザインターフェース１６は、プロセッサ装置１３への入力等を行う入力デバイスであり、キーボードやマウスに加えて、又は代わりにフットペダル、ジェスチャー認識器、音声認識器を用いてもよい。ユーザインターフェース１６に限らず、内視鏡１１のスイッチなど医療機器に備わる入力手段を用いて入力を行ってもよい。なお、画像とは動画、静止画、及び動画を構成するフレーム画像を含む。

データベース１４は、プロセッサ装置１３や他の医療機器で作成した医療検査の動画や静止画を保管する。医療検査の撮影において特に指定がない場合は、照明光は白色光を使用し、1秒間に６０フレーム（６０ｆｐｓ（frame per second））の映像信号を取得し、撮影時間を記録する。また、映像信号が６０ｆｐｓの場合は１００分の１秒単位で時刻を数えることが好ましい。

図２に示すように、内視鏡システム１０においては、画像制御用プロセッサによって構成される中央制御部（図示しない）によって、プログラム用メモリ内のプログラムが動作することで、画像取得部２１、入力受信部２２、主記憶領域２３、表示制御部２４、及び故障動画作成部３０の機能が実現される。また、故障動画作成部３０の機能実現に伴って、故障検出部３１と、抽出範囲決定部３２と、抽出部３５と、一時保存部３６と、選別部３７との機能が実現される。抽出範囲決定部３２では更に、モード制御部３３と、画像情報管理部３４の機能が含まれ、また選別部３７では、更に重要度算出部３８の機能が含まれる。画像取得部２１は、内視鏡１１が撮影した医療動画やデータベース１４が保管した医療動画などのデータを受信する。取得した医療動画は、医療動画４０として、故障動画作成部３０に送信する。

入力受信部２２は、ユーザインターフェース１６と接続する。主記憶領域２３は、取得した医療動画、又は故障検出部３１で抽出した故障動画を保存する。主記憶領域２３の代わりに、プロセッサ装置１３と接続したデータベース１４がその機能を備えても良い。表示制御部２４は、画像をディスプレイ１５に表示させる制御を行う。プロセッサ装置１３には、画像処理などの処理に関するプログラムがプログラム用メモリ（図示しない）に格納されている。

図３に示すように、故障動画作成部３０では、故障動画を作成するにあたって、医療動画を構成する各フレームの種類を故障検出処理により、判定する。故障動画作成部３０に入力する医療動画４０は、生体内を撮影した時系列で連続する、すなわち同一検査において時間的に連続する。医療動画４０を構成する各フレーム画像は、故障検出部３１で故障検出処理が行われ、故障の無い正常フレーム画像４１と、故障による異常を有する故障フレーム画像４２、及び異常ではあるが故障ではない無故障異常フレーム画像４３に振り分けられる。また、故障の種類も判定される。

故障検出処理が行われた医療動画４０では、故障の種類が同じであり、かつ連続又は一定以上の頻度で検出された故障フレーム画像４２を同一の故障であると判断される。同一の故障を構成するフレーム画像群は、故障シーンとして検出される。医療動画４０は、故障シーンごとに故障動画抽出処理が行われる。なお、図３で示す各矩形は医療動画を構成する１フレームとし、連続する３フレームを故障シーンとしているが、実際の医療動画及び故障動画を構成する故障シーンを含むフレーム画像数は膨大となる。

図４に示すように、医療動画４０の故障検出処理では、正常フレーム画像４１か、故障フレーム画像４２、又は、無故障異常フレーム画像４３のいずれかが検出される。図３において矩形で示した各フレーム画像は、実際には図４（Ａ）～（Ｃ）のような状態で撮影されたものである。図４（Ａ）に示すように、正常フレーム画像４１は、医療動画４０において異常が検出されなかった通常のフレーム画像である。図４（Ｂ）に示すように、故障フレーム画像４２は、医療動画４０において内視鏡１１の故障が検出されたフレーム画像であり、「断線」により、画像内に縦線や横線が走った断線Ｃが映ったフレーム画像や、「スコープ汚れ」により観察対象に関わらず画像上の一部が塗りつぶされ、非病変異常領域Ｔが含まれるフレーム画像である。また、図４（Ｃ）に示すように、無故障異常フレーム画像４３は、、異常ではあるが故障ではないフレーム画像である。例えば「外部ノイズ」により一部又は全体を映さない状態や、重度の「病変」として病変領域Ｒが画像に映ったフレーム画像である。無故障異常フレーム画像４３は、故障ではないため、故障検出処理後の抽出においては、正常フレーム画像４１と同様に扱う。

故障動画作成部３０の機能は以下のようになる。故障動画作成部３０は、画像取得部２１がデータベース１４又は内視鏡１１から取得した、内視鏡１１で撮影した動画である医療動画４０を受信する。故障検出部３１では受信した医療動画４０に対して故障検出処理が行われる。故障検出処理では、故障が検出された１または複数のフレーム画像である故障シーンの有無、及び、故障シーンを有する場合に故障の種類を判定する。抽出部３５では故障検出処理により検出した、同一の故障を映した１または複数のフレーム画像である故障シーンごとに、短時間の故障動画である故障動画４４が抽出される。故障動画４４は、故障の情報を少なくとも含む故障情報と共に主記憶領域２３に保存される。

故障シーンは、連続した故障フレーム画像４２に限らず、一定以下の割合で正常フレーム画像４１又は無故障異常フレーム画像４３が含まれていてもよい。ただし、連続していても故障の種類が異なる故障フレーム画像は、別の故障シーンである。すなわち、故障シーンは、連続又は一定以上の頻度で検出され、かつ同じ種類の故障フレーム画像４２で構成される。また、故障検出処理で検出された故障フレーム画像４２が１枚のみ検出された場合でも、故障シーンとしてもよい。

故障動画４４の構成が故障シーンのみでは、フレーム画像が正常な状態との比較しにくいため、故障の原因を正確に解析できない可能性がある。そのため、医療動画４０から故障動画４４を抽出する際に、故障シーンの前又は後に正常フレーム画像４１を共に取得することが好ましい。

図５に示すように、故障動画４４の抽出において、設定した抽出範囲に基づいて医療動画４０から故障動画の抽出を行う。故障シーン及び故障シーンの前後におけるタイミングの複数の正常フレーム画像４１を抽出対象とする第１抽出範囲、故障シーン及び故障シーンの前におけるタイミングの複数の正常フレーム画像４１を抽出対象とする第２抽出範囲、または、故障シーンのみを抽出対象とする第３抽出範囲のいずれかの抽出範囲を抽出前に事前設定する。抽出に関しては、無故障異常フレーム画像４３は、故障ではないため、正常フレーム画像４１と同様に扱う。

画面表示による故障の確認や画像解析による故障原因の調査では、故障動画４４は故障シーンの前のタイミングに、故障シーンではない複数フレーム画像、例えば正常フレーム画像４１を有し、故障発生前後を比較できる第１抽出範囲に設定することが好ましい。発生した故障が一時的ではなく、発生から内視鏡検査終了まで継続した場合は、一定時間経過で故障シーンとしての検出を止めるなど、抽出する故障シーンの上限を設ける。その場合、故障発生後の正常フレーム画像４１は無いため、第２抽出範囲とすることが好ましい。大量に故障動画４４を保存する際など、データ容量の削減を優先する場合などでは、第３抽出範囲で故障動画４４を抽出することが好ましい。以下に説明する各保存モードにおける故障動画４４の抽出に関して、特に指定の無い場合は、第１抽出範囲で抽出処理が行われる。

故障検出部３１では、受信した医療動画４０に対して、画像の乱れや汚れなどの故障の有無を、フレームごとに検出する故障検出処理を実行する。故障検出部３１は、例えば故障検出処理に必要な学習済みモデルの機能を有する。すなわち、機械学習を行うニューラルネットワークからなるコンピュータアルゴリズムであり、学習内容に応じて入力された医療動画４０ごとの故障の有無の検出や、故障を有する場合に故障の種類に対する具体的な推論を行い、故障の種類を判定する。推論結果は、故障の種類に加え、あらかじめ学習していた学習内容との一致率などの情報も取得することが好ましい。

故障検出処理では、取得した医療動画４０におけるフレーム画像から故障フレーム画像４２を検出する故障検出と、故障フレーム画像４２に対し、「断線」や「スコープ汚れ」、「レンズの損傷」などの故障の種類の判定する故障判定を行う。判定結果は、故障情報として故障フレーム画像４２に紐づける。なお、故障検出処理では、異常検出と故障抽出を行い、医療動画４０における故障の有無を判定してもよい。異常検出では、映像の乱れやノイズなどの異常を有する正常フレーム画像４１ではないフレーム画像を検出し、故障抽出では、異常が内視鏡の故障による「故障」の故障フレーム画像４２か、内視鏡の故障ではない「無故障」の無故障異常フレーム画像４３かを判断する。

抽出範囲決定部３２では、故障検出処理で検出した故障シーンと、モード制御部３３で制御された保存モードの設定、及び、画像情報管理部３４で参照する操作履歴や故障情報などの情報を組み合わせて、医療動画４０から抽出する範囲、すなわち故障動画４４の構成を決定する。また、ユーザ操作により設定してもよい。例えば、選別された故障シーンの前後の正常画像フレームを残すか否か、また、故障シーンの種類や画像情報から抽出する故障動画４４の時間範囲を決定する。

モード制御部３３では、故障動画４４の抽出内容の設定に関するモード選択を受け付け、制御する。モード制御部３３では、通常モード又は保存モードに設定され、更に保存モードは、第１～第６保存モードのいずれかに設定される。モード選択は、例えばユーザ操作により行われる。通常モードでは、故障検出した医療動画４０を主記憶領域２３に保存及び表示制御部２４への送信による画面表示の少なくともいずれかを実行する。

図６に示すように、保存モードは６種類あり、医療動画４０から故障動画４４を抽出及び保存する際の条件及び方法によって分けることができる。第１保存モード及び第２保存モードは、故障シーンごとに抽出した故障動画４４を選別せず、全て主記憶領域２３に保存する。第３～第６保存モードは、故障シーンごとに抽出した故障動画４４を一時記憶領域に一時保存し、保存する故障動画４４の選別を行う。選別済みの故障動画４４を主記憶領域２３に保存する。各保存モードのおける抽出や選別における詳細は後述する。

画像情報管理部３４では、故障検出部３１で取得した故障の種類を含む故障情報や、内視鏡１１の操作履歴などを取得し、管理する。故障情報は、例えば故障の重篤度、故障による異常領域の面積、故障シーンの持続時間などである。内視鏡１１の操作履歴は、アングル操作、処置具使用、ズーム操作などである。

抽出部３５では、抽出範囲決定部３２で決定した抽出範囲に基づいて、医療動画４０から、故障シーンを少なくとも有する故障動画４４を抽出する。抽出した故障動画４４は、保存モードに応じて主記憶領域２３又は一時保存部３６へ送信する。保存モードが、保存する故障動画４４の選別を行う場合は、一時保存部３６へ送信し、選別を行わず、主記憶領域２３に保存するか、保存する故障動画４４の選別を行う場合は、故障動画４４を一時保存部３６に送信する。

故障動画保存モードが、第１保存モード又は第２保存モードに設定されている場合は、選別は非実施であるため、抽出した故障動画４４は、主記憶領域２３に送信して保存する。第３保存モード～第６保存モードである場合は、保存する故障動画４４の選別を実施するため、一時保存部３６に送信して一時保存する。

一時保存部３６は、故障動画作成において、抽出した故障動画４４の選別を行う際に、保存候補である各故障動画４４の一時保存を行う。選別は、抽出された故障動画４４が全て一時保存されてから選別部３７で実施されることが好ましい。一時保存は、一時保存部３６が、プロセッサ装置１３内の揮発性メモリまたは不揮発性メモリである一時記憶領域（図示しない）に保存することで実現される。なお、一時保存領域は、不揮発性メモリである場合は、主記憶領域２３と物理的に同一の装置であってもよい。

選別部３７では、第３～第６保存モードがそれぞれ規定する選別基準により故障動画として保存する故障動画４４の選別を行う。選別を実施することで故障原因の解析に有益である可能性が高い故障シーンを絞り込みができる。選別は、故障動画４４の故障シーンや故障情報同士の比較、または各保存モードで定めた基準を満たす故障シーンであるかの判断の少なくともいずれかが行われる。例えば、第３保存モードでは故障シーンの重要度に基づいて選別を行う。

重要度算出部３８では、故障検出部３１で検出した故障シーンの重要度を算出する。重要度の表し方は、例えばパーセンテージ（％）や段階的な評価（高、中、低）などである。重要度は、故障の発生した順番、故障の種類、故障発生の頻度、故障重篤度、故障検出の確信度、故障の視認性、及び影響度の少なくともいずれかから算出される。重要度が高い故障であるほど、故障の解析などに役立つ動画である可能性が高くなる。重要度を算出するための画像情報は、画像情報管理部３４で取得する。

選別された故障動画４４は、主記憶領域２３に送信して保存する。また、保存した故障動画４４を確認するために表示制御部２４に送信し、画面表示してもよい。なお、主記憶領域２３の代わりに、または同様にデータベース１４に故障動画４４を保存してもよい。

表示制御部２４は故障動画作成部３０から受信した医療動画４０又は故障動画４４の画面表示を制御する。また、故障動画４４を表示する場合は、ユーザインターフェース１６を介した、ユーザによる故障動画の構成や故障情報を含む画像情報の編集を受け付ける。故障動画４４を表示する場合は、故障シーンの確認及び故障情報の参照が行える。

保存モードの決定について説明する。保存モードは、内視鏡検査の内容などからユーザが設定することが好ましい。保存モードは、故障シーンごとに抽出した故障動画４４を直接、主記憶領域２３に保存する第１、第２保存モードと抽出した故障動画４４を一時保存部３６に送信して一時記憶領域に一時保存し、主記憶領域２３に保存する故障動画４４を選別する第３～第６モードがある。

図７に示すように、第１、第２保存モードに共通する、抽出された故障動画４４の選別を行わない場合について説明する。医療動画４０は故障検出処理により、それぞれ異なる故障シーンである、故障フレーム画像４２の故障シーンと、故障フレーム画像４２ａの故障シーン、及び故障フレーム画像４２ｂの故障シーンが検出され、検出された故障情報と共に抽出部３５に送信される。抽出部３５では、故障シーンごとに故障動画４４が抽出される。故障フレーム画像４２の故障シーンを有する故障動画４４と、故障フレーム画像４２ａの故障シーンを有する故障動画４４ａ、及び故障フレーム画像４２ｂの故障シーンを有する故障動画４４ｂが作成される。作成された故障動画４４、４４ａ、４４ｂは抽出された順に主記憶領域２３に保存される。

第１保存モードでは、医療動画４０が有する故障シーン及び故障シーンに対応する故障情報に基づいて、抽出する故障動画４４の抽出範囲を決定する。具体的には、故障検出処理で検出した、故障の種類、故障の持続時間、フレーム画像内の故障による異常部位の平均面積をもとに故障シーンごとの故障動画４４の抽出範囲を決定する。例えば、持続時間が長い故障シーンや、故障の種類が「断線」である故障シーンでは、共に抽出する正常フレーム画像４１の時間すなわち抽出する故障動画４４の範囲を長くする。抽出範囲はフレーム画像の枚数で決定してもよいし、１秒あたりのフレーム画像数に基づいて、時間範囲で決定してもよい。

第２保存モードでは、医療動画４０が有する故障シーン及び故障シーン付近のタイミングにおける内視鏡１１の操作履歴に応じて、抽出する故障動画４４の抽出範囲を決定する。具体的には、アングル操作、処置具操作、ズーム操作、撮影モード切替操作などである。内視鏡１１の操作に関連する故障の特定につながる。アングル操作の際に断線の故障が連動する場合や、処置具を画像に写すことで処置具に関する故障が確認できる場合がある。故障は、内視鏡操作から数秒経過してから発生しうるので、故障シーンの前のタイミングの操作履歴も対象とする。

操作履歴に応じて抽出する故障動画４４の範囲の決定は、例えば、処置具操作を行った場合、処置具は１回の操作で突出又は収納ができるため、処置具に関する故障は、処置具の突出又は収納の変化による故障シーンと、故障シーンと比較できる程度の正常フレーム画像４１が比較的短い範囲で抽出される。アングル操作を行った場合、アングル操作は１回の操作を数秒間かけて行う場合や、複数回操作を行い、内視鏡１１の挿入部１１aを徐々に湾曲させる。そのため、正常フレーム画像４１を多く抽出することで、故障としては検出されないほどわずかな故障の確認や、故障による異常領域の面積が大きくなる変化を確認しやすくなる。

第３～第６保存モードに共通する、設定された抽出範囲に基づいて抽出された故障動画４４の選別を行う場合について説明する。選別を行う場合は、一時保存部３６で一時保存した故障動画４４を、故障情報に基づいて故障動画の選別を行い、選別済みの故障動画４４を主記憶領域２３に保存する。

図８に示すように、例えば、医療動画４０は故障検出処理により、異なる故障シーンである、故障フレーム画像４２、故障フレーム画像４２ａ、及び故障フレーム画像４２ｂの故障シーンがそれぞれ検出され、故障情報と共に抽出部３５に送信される。抽出部３５では、故障フレーム画像４２の故障シーンを有する故障動画４４と、故障フレーム画像４２ａの故障シーンを有する故障動画４４ａ、及び故障フレーム画像４２ｂの故障シーンを有する故障動画４４ｂが抽出される。抽出された故障動画４４、４４ａ、及び４４ｂは順に一時保存部３６に一時保存される。抽出された故障動画４４が全て一時保存された後、選別部３７で故障シーンを比較し、選別を行う。故障動画４４が選別された場合、故障動画４４ａ及び４４ｂは削除され、故障動画４４は主記憶領域２３に保存される。

第３保存モードでは、故障動画４４の重要度を算出し、重要度に基づいて故障動画４４の選別を行う。選別に重要度を用いる場合は、重要度算出部３８で故障シーンごとに重要度が算出され、故障シーンの故障情報に紐づけられる。重要度は重大な故障の可能性や故障の原因解析に有用性を示し、例えば、重要度が７０％以上、又は「高」である算出結果は故障動画４４として保存し、重要度が７０％未満、又は「低」である算出結果は削除する。重要度の算出方法については後述する。また、重要度が一定値以上の評価となった場合ではなく、重要度が高い順に一定数又は一定割合の故障動画４４を選別してもよい。

第４保存モードでは、医療動画４０から検出された故障シーンの時系列の順番に基づいて主記憶領域２３に保存する故障動画を選別する。例えば、医療動画４０で検出された複数の故障シーンうち、最初又は最後からＮ回分の故障シーンや、一定間隔ごとに１つの故障シーンの選別を有する故障動画４４を保存する。最初の故障シーンは、内視鏡検査を始めて経過時間が少なく、スコープ汚れなどの内視鏡検査が原因のもの以外の故障を検出しやすい。最後側の故障シーンでは、複数の故障が発生した場合、１つの故障シーンで複数種類の故障を検出しやすい。また、一定間隔の選別では、内視鏡検査全体で発生する故障があるか確認できる。

第５保存モードでは、検出された故障シーンの種類に基づいて故障動画の選別を行う。複数の故障が発生した場合に、種類ごとに少なくとも１つの故障動画４４を主記憶領域２３に保存する。複数の故障において、高頻度で発生し、異常領域の面積が大きい種類の故障と、低頻度で発生し、異常領域面積が小さい種類の故障が医療動画４０内で検出された場合でも、保存した故障動画を確認する際に、各種類の故障シーンを見落とさずに確認できる。また、同時又は短い間隔で異なる種類の故障シーンが検出された場合は、別の種類の故障シーンとして両方を含む故障動画４４を作成してもよい。

第６保存モードでは、ユーザ選択により主記憶領域２３に保存する故障動画４４を選別する。具体的には、一時保存した故障動画４４と、少なくとも故障情報を含む画像情報を共にディスプレイ１５に表示し、ユーザが再生した故障動画４４と、画像情報を確認し、主記憶領域２３に保存する故障動画４４を決定する。なお、表示する画像情報は、故障動画４４の情報でも良いし、表示したフレーム画像ごとの情報でも良い。

図９に示すように、ディスプレイ１５には故障動画４４を再生し、故障内容を確認する画像表示領域５０と、再生する故障動画４４の故障情報を含む画像情報を表示する画像情報表示欄５１を表示する。画像表示領域５０では、例えば抽出された故障動画４４を順番に再生し、個別に主記憶領域２３に保存するか否か選別する。故障情報は、例えば、故障の種類、故障シーン時間、異常領域平均面積、操作履歴などがある。

選別処理におけるユーザ操作は、ユーザインターフェース１６を介して行われ、コマンド領域５２に備わる、再生コマンドや保存コマンドをキーボードやマウス、又はフットペダルなどで実行する方法などがある。また、ユーザ操作による画像情報の編集を行ってもよい。

図１０に示すように、故障動画４４を順番に再生して確認する方法ではなく、画像表示領域５０に、サムネイルを用いた一覧表示を行って選別してもよい。複数表示された故障動画４４のサムネイル画像を選択し、画像情報表示欄５１では選択された故障動画４４の画像情報が表示される。画像情報に基づいて、コマンド領域５２するか否かを判断してもよい。選択した故障動画４４を再生する場合は、サムネイル表示されたサイズのまま再生を行っても良いし、図９のように一時的に拡大して再生してもよい。

故障動画保存モードは、上記第１～第６保存モードの内容に限られず、各保存モードの抽出基準や選別の条件を組み合わせて、故障動画４４の保存をしてもよい。また、各保存モードによる故障動画４４を主記憶領域２３へ保存した後は、保存した故障動画４４をディスプレイ１５に表示して、確認をしてもよい。

図１１に示すフローチャートに沿って、本実施形態の故障動画４４の保存を制御する動作の一連の流れについて説明する。内視鏡システム１０は、データベース１４や内視鏡１１から、故障動画４４の抽出元である、医療検査を撮影した医療動画４０を取得する（ステップＳＴ１１０）。取得した医療動画４０の検査内容や、予想される故障内容に応じて、故障動画４４を抽出及び保存するための保存モードのいずれかを選択する。（ステップＳＴ１２０）。医療動画４０から故障シーンを検出する故障検出処理を実行する（ステップＳＴ１３０）。故障検出処理により医療動画４０から故障シーンが検出されなかった場合（ステップＳＴ１４０でＮ）は、故障無しであると判断される。故障動画４４の抽出を行うためには別の医療動画４０を取得する（ステップＳＴ１１０）。故障検出処理により医療動画４０における故障シーンを検出した場合（ステップＳＴ１４０でＹ）は、検出した故障シーンごとの故障の種類を判定する（ステップＳＴ１５０）。選択した保存モード、及び故障検出処理の結果に応じた抽出範囲に従って、医療動画４０から少なくとも故障シーンを有する故障動画４４を抽出する（ステップＳＴ１６０）。

抽出された故障動画４４は、そのまま全て保存する場合と、保存する故障動画４４を選別する場合がある。選別を実施するか否かは保存モードによって決定される。保存モードが第１保存モード又は第２保存モード、すなわち故障動画４４の選別を実施しない場合（ステップＳＴ１７０でＮ）は、抽出した故障動画４４を全て主記憶領域２３に全て保存する（ステップＳＴ２００）。

保存モードが第３～第６保存モード、すなわち故障シーンの選別を実施する場合（ステップＳＴ１７０でＹ）では、故障動画４４は故障情報を含む画像情報と共に一時保存される（ステップＳＴ１８０）。一時保存された故障動画４４は、保存モードごとに、
一定基準を満たすか否かの判断や、故障動画４４同士の比較が行われ、保存対象となる故障動画４４が選別される（ステップＳＴ１９０）。選別された故障動画４４を主記憶領域２３に保存する（ステップＳＴ２００）。

故障の原因解析にあたって、故障動画４４の数が不十分である場合や、同じ医療動画４０から抽出を行う際の保存モードなどを変更する場合（ステップＳＴ２１０でＮ）は、改めて医療動画４０を取得して、故障の検出、故障動画４４の抽出、保存を行うことが好ましい（ステップＳＴ１１０）。故障の原因解析に十分な故障動画４４を保存できた場合（ステップＳＴ２１０でＹ）は、一連の流れを終了する。

［第２実施形態］
上記第１実施形態では、故障検出処理で医療動画４０を構成する各フレームから故障シーンを検出し、検出した故障シーンごとに故障動画４４を抽出し、保存する形態である。第２実施形態では、それに加えて、内視鏡１１の形状情報を取得し、抽出した故障動画４４を保存する際に、形状情報と故障情報を共に保存する形態について説明する。なお。上記実施形態と共通する内容に関しては説明を省略する。

故障動画４４の保存の際には、主記憶領域２３に、形状情報と故障情報が紐づけられた故障動画４４を保存する。形状情報を用いて故障動画４４の故障原因の解析に用いてもよい。また、内視鏡１１の形状情報を用いて、故障動画４４の抽出を行う。また、抽出だけでなく、選別を行う際に形状情報を用いてもよい。

図１２に示すように、医療動画４０の故障検出処理において、例えば図１２（Ａ）のような、内視鏡１１の先端部１１ｃから一定距離における挿入部１１ａの湾曲が、操作部１１ｂに対して約４５度である場合は断線が発生せず、図１２（Ｂ）のような、内視鏡１１の先端部１１ｃから一定距離における挿入部１１ａの湾曲が、操作部１１ｂに対して約９０度に湾曲した場合には断線が発生する場合など、内視鏡１１の物理的な形状によって故障が検出される場合と、検出されない場合がある。その場合、アングル操作が１回や２回など少ない回数では断線が発生せず、また、アングル操作は短時間ではなく時間をかけて徐々に湾曲させる場合もあるため、操作履歴では必ずしも十分に追跡できるとは限らない。また、図１２（Ｃ）のような、内視鏡１１の先端部１１ｃから一定距離における挿入部１１ａの湾曲が、操作部１１ｂに対して約１８０度である場合は、同じ断線であるが、約９０度の湾曲よりも深刻な故障として検出される場合がある。そのため、内視鏡１１の挿入部１１ａの形状情報を加えた故障検出処理では、機械学習などによる医療動画４０の故障検出処理よりも精度の高い故障検出処理を行うことができる。

具体的には、スコープの形状情報センサを有する内視鏡システム１０を用いることで、故障検出処理と内視鏡１１の形状情報の変動をフレーム単位で組み合わせる。故障シーン検出をトリガーとして、形状情報を記憶することが好ましい。これにより、内視鏡検査中に発生する断線などの故障が、外部ノイズによるものと判断される場合や、故障シーンの重要度が低く算出される場合を防ぎ、精度の高い検出ができる。また、故障原因の解析において、故障の発生が特定の形状となることが条件であるという結果を得ることで、故障の修理がしやすくなる。

内視鏡１１の挿入部１１ａの形状情報センサとして、例えば内視鏡挿入形状観測装置（コロナビ）などの、外部から磁気を発生させて形状情報を取得する機能を用いることが好ましい。また、内視鏡１１は形状情報センサに加えて、先端部の故障検出が目的ではない機能、例えば、動態センサや挿入深度計を用いて形状情報を取得してもよい。

［第３実施形態］
上記第１実施形態及び第２実施形態は、内視鏡検査全体を撮影した医療動画４０を取得し、故障動画４４を抽出及び保存する形態である。本実施形態では、リアルタイムに内視鏡検査をしている状態でプロセッサ装置が受信したフレーム画像に対して故障検出処理を行い、故障動画４４を抽出する形態について説明する。なお、上記実施形態と共通する内容に関しては説明を省略する。

内視鏡検査中にリアルタイムで故障検出処理を行う。内視鏡検査が開始すると、画像取得部２１は、１枚又は少数ずつのフレーム画像を受信し、故障動画作成部３０に入力する。故障動画作成部３０に入力されたフレーム画像は、故障検出部３１で順次に、故障検出処理が行われ、故障シーンが検出される。

故障シーンごとに故障動画４４が抽出される。選別を行わない保存モードである場合は、抽出した故障動画４４を主記憶領域２３に保存する。選別を行う保存モードである場合は、抽出した故障動画４４を一時保存部３６に一時保存する。一時保存された故障動画４４は、保存モードに応じた選別を行い、選別後に主記憶領域２３へ保存される。なお、医療検査全体を記録する医療動画４０は作成しなくてもよい。

一時保存部３６は、プロセッサ装置１３が通電していない状態でも、保存したデータを維持する不揮発性メモリにより機能が実現されてもよい。内視鏡検査中に内視鏡１１又はプロセッサ装置１３の電源がオフになる事態や、内視鏡検査終了後に、一時保存した故障動画４４の主記憶領域２３への保存が完了する前にプロセッサ装置１３の電源がオフになる事態が起こりうる。このような場合でも、不揮発メモリである一時保存部３６に一時保存したデータは、電源オフによって失われるのを防ぐことができる。

選別を行う保存モードである場合、故障ごとに抽出された故障動画４４は、順次、不揮発メモリである一時保存部３６に一時保存される。内視鏡検査中に内視鏡１１又はプロセッサ装置１３の電源オフになった場合は、その時点で内視鏡検査を終了とし、再び電源をオンにした際には故障動画４４の選別を開始する。内視鏡検査の終了後は、選別が行われ、選別された故障動画４４を主記憶領域２３へ保存する。

図１３に示すように、不揮発メモリである一時保存領域に対して一時保存を行うリアルタイム検出において、検査中に電源オフとなった場合について説明する。検査Ａは、電源がオフにならずに内視鏡検査が終了し、検査Ｂは、リアルタイム検出中に内視鏡１１又はプロセッサ装置１３が電源オフになった場合の検査である。ユーザが内視鏡検査における終了を操作した検査Ａでは、内視鏡検査の終了後に、一時保存した故障動画４４に対して、選別及び保存が行われる。ユーザが操作した終了ではなく、電源がオフとなり強制終了となった検査Ｂでは、再び電源がオンとなった際に、電源がオフとなった時点で不揮発メモリに保存された分の故障動画４４の選別、及び保存が行われる。不揮発性メモリに一時保存を行うことで、検査中に電源がオフになった場合など、内視鏡検査の終了状況に関わらず、故障動画４４の選別ができる。

選別終了後に、選別された故障動画４４を不揮発メモリから主記憶領域２３に保存処理を行うが、保存中にプロセッサ装置１３の電源がオフになる場合や、主記憶領域２３がプロセッサ装置１３から着脱できるものであると接続が切れる場合がある。保存処理が中断されると、主記憶領域２３に保存された故障動画４４と、保存されていない故障動画４４の判別がつかない恐れがある。そのため、自動で判別するために故障動画４４を抽出する際に、フラグなどの識別子を設定する。

故障動画４４を一時保存する場合、故障動画の抽出時にそれぞれの故障動画４４に対して、互いに異なる識別子が設定される。識別子はフラグなどであり、画像情報として設定されることが好ましいが、互いの故障動画４４を判別できるものであればよく、特に限定しない。中断された保存処理を再開する際に、主記憶領域２３に保存された故障動画４４の識別子を確認し、不揮発メモリである一時記憶領域に同一の識別子を有する故障動画４４の有無を判別する。確認した識別子と同一の識別子を有する故障動画４４は、保存処理は行わず、不揮発メモリから削除する。

同一の識別子が確認されなかった故障動画４４が一時保存領域にある場合、その故障動画４４は、主記憶領域２３に保存されていないと判定し、保存処理を行う。なお、識別子の利用は、保存処理が中断された時のみではなく、通常の保存処理の際にも保存が確実に行われたか確認するために用いてもよい。

第３実施形態（リアルタイムの故障検出）において、故障動画４４の選別を、全ての故障動画４４が揃うタイミング、すなわち検査終了まで待つ必要はなく、故障動画４４の抽出後すぐに行ってもよい。例えば、既に一時保存されているｍ番目に抽出した故障動画４４と、新たに抽出したｍ＋１番目の故障動画４４の重要度を比較し、重要度が低い一方を削除する。これにより、一時保存の領域が限られる場合などにメモリ領域を節約できる。

上記実施形態において、中央制御部、画像取得部２１、入力受信部２２、表示制御部２４、及び故障動画作成部３０に含まれる故障検出部３１、抽出範囲決定部３２モード制御部３３、画像情報管理部３４、抽出部３５、一時保存部３６、選別部３７、及び重要度算出部３８といった各種の処理を実行する処理部（processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウエア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit)、ＦＰＧＡ(Field Programmable Gate Array) などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device:ＰＬＤ）、各種の処理を実行するために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。

１つの処理部は、これら各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合せ（例えば、複数のＦＰＧＡや、ＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウエアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。

さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた形態の電気回路（circuitry）である。また、記憶部のハードウェア的な構造はＨＤＤ（hard disc drive）やＳＳＤ（solid state drive）等の記憶装置である。

１０ 内視鏡システム
１１ 内視鏡
１１ａ 挿入部
１１ｂ 操作部
１１ｃ 先端部
１２ 光源装置
１３ プロセッサ装置
１４ データベース
１５ ディスプレイ
１６ ユーザインターフェース
２１ 画像取得部
２２ 入力受信部
２３ 主記憶領域
２４ 表示制御部
３０ 故障動画作成部
３１ 故障検出部
３２ 抽出範囲決定部
３３ モード制御部
３４ 画像情報管理部
３５ 抽出部
３６ 一時保存部
３７ 選別部
３８ 重要度算出部
４０ 医療動画
４１ 正常フレーム画像
４２ 故障フレーム画像
４２ａ 故障フレーム画像
４２ｂ 故障フレーム画像
４３ 無故障異常フレーム画像
４４ 故障動画
４４ａ 故障動画
４４ｂ 故障動画
５０ 画像表示領域
５１ 画像情報表示領域
５２ コマンド領域
Ｃ 断線
Ｒ 病変領域
Ｔ 非病変異常領域

Claims (15)

1. プロセッサを備え、
   前記プロセッサは、
   内視鏡で撮影した医療動画から前記内視鏡の故障を検出し、
   前記故障の種類を判別し、
   前記医療動画から前記故障が検出されたタイミングである故障シーンを有する故障動画を抽出し、
   前記故障動画を、前記故障の種類を少なくとも含む故障情報と共に主記憶領域に保存する内視鏡システム。
2. 前記プロセッサは、
   前記故障シーンの前又は前後のタイミングに、故障シーンではない複数のフレーム画像を有する前記故障動画を抽出する請求項１記載の内視鏡システム。
3. 前記プロセッサは、
   前記故障シーン、及び前記故障シーンに対応する前記故障情報に基づいて、抽出する前記故障動画の抽出範囲を決定する請求項１又は２記載の内視鏡システム。
4. 前記プロセッサは、
   前記故障シーン、及び前記故障シーン付近のタイミングにおける操作履歴に応じて、抽出する前記故障動画の抽出範囲を決定する請求項１ないし３いずれか１項記載の内視鏡システム。
5. 前記プロセッサは、
   前記故障動画を一時記憶領域に一時保存し、
   前記故障情報に基づいて前記故障動画の選別を行い、
   選別済みの前記故障動画を主記憶領域に保存する請求項１又は２に記載の内視鏡システム。
6. 前記プロセッサは、
   前記故障動画の重要度を算出し、
   前記重要度に基づいて前記選別を行う請求項５記載の内視鏡システム。
7. 前記プロセッサは、
   前記医療動画から検出された前記故障シーンの時系列の順番に基づいて前記選別を行う請求項５記載の内視鏡システム。
8. 前記プロセッサは、
   前記故障の種類ごとに少なくとも１つの前記故障動画を主記憶領域に保存する請求項５記載の内視鏡システム。
9. 前記プロセッサは、
   ユーザ操作により、前記選別を行う請求項５記載の内視鏡システム。
10. 前記プロセッサは、
    前記内視鏡の形状情報を取得し、
    前記故障動画の保存の際に、前記故障動画及び前記故障情報と共に、前記形状情報を前記主記憶領域に保存する請求項１ないし９いずれか１項記載の内視鏡システム。
11. 前記プロセッサは、
    前記形状情報を用いて、前記故障動画を抽出する請求項１０記載の内視鏡システム。
12. 前記プロセッサは、
    内視鏡検査中に前記故障を検出し、前記故障動画を抽出する請求項１ないし９いずれか１項記載の内視鏡システム。
13. 前記プロセッサは、
    前記故障動画を一時記憶領域に一時保存し、
    内視鏡検査の終了状況に関わらず、一時保存された前記故障動画の選別を行い、
    選別された前記故障動画を、前記一時記憶領域から前記主記憶領域に保存する請求項１２記載の内視鏡システム。
14. 前記プロセッサは、
    前記故障動画の抽出時に、それぞれの前記故障動画に対して、互いに異なる識別子を設定し、
    前記主記憶領域に保存された前記故障動画の前記識別子を確認し、
    確認した前記識別子と同一の前記識別子を有する前記故障動画を、前記一時記憶領域から削除する請求項１３記載の内視鏡システム。
15. 内視鏡で撮影した医療動画から前記内視鏡の故障を検出するステップと、
    前記故障の種類を判別するステップと、
    前記医療動画から前記故障が検出されたタイミングである故障シーンを有する故障動画を抽出するステップと、
    前記故障動画を、前記故障の種類を少なくとも含む故障情報と共に主記憶領域に保存するステップとを有する内視鏡システムの作動方法。