JP4716794B2 - 画像表示装置 - Google Patents

Description

本発明は、取り込まれた被検体内導入装置からの画像とともに、この画像の変化点を表示部に表示する画像表示装置に関するものである。

近年、内視鏡の分野では、撮像機能と無線通信機能とが装備されたカプセル型内視鏡が登場している。このカプセル型内視鏡は、観察（検査）のために被検体である被検者の口から飲み込まれた後、被検者の生体（人体）から自然排出されるまでの観察期間、たとえば食道、胃、小腸などの臓器の内部（体腔内）をその蠕動運動に伴って移動し、撮像機能を用いて所定の撮像レートで順次撮像する構成を有する。

また、これら臓器内を移動するこの観察期間、カプセル型内視鏡によって体腔内で撮像された画像データは、順次無線通信などの無線通信機能により、被検体の外部に送信され、外部の受信装置内に設けられたメモリに蓄積される。被検者がこの無線通信機能とメモリ機能を備えた受信装置を携帯することにより、被検者は、カプセル型内視鏡を飲み込んだ後、排出されるまでの観察期間であっても、不自由を被ることなく自由に行動が可能になる。観察後は、医者もしくは看護士によって、受信装置のメモリに蓄積された画像データに基づいて、体腔内の画像をディスプレイなどの表示手段に表示させて診断を行うことができる（特許文献１参照）。

ところで、近年では、ワークステーションなどの画像表示装置のディスプレイ（表示部）に体腔内の画像を表示させることがあり、この場合には、表示部に上記画像を順次表示するほか、たとえば画像認識の容易化や診断の迅速化をはかるために、表示される画像の時刻を認識可能なタイムバーや医師などによって上記画像から選択された選択画像（サムネイル画像）を合わせて表示するとともに、このタイムバーとサムネイル画像を撮像時間に対応させて結線させて、表示部に表示するものも考案されている。

特開２００３−１９１１１号公報 特開２０００−３３３１１７号公報

しかしながら、カプセル型内視鏡によって取得された検査画像は、たとえば１０時間の長時間にわたり、膨大な枚数の画像となり、通常はこれら画像を１コマ毎、表示部に連続表示させて医者などが観察していた。そして、所望の画像を見たい場合には、適当な画像で表示を止めて、１コマ１コマ、コマ送りをして所望の画像を選択して表示させていたので、これら画像の中から医者などが見たい画像を素早く選択することができないという問題があった。

また、特許文献２に示すように、表示されるシーンのシーンチェンジ単位で巻き戻しや早送りを行う再生装置もあるが、カプセル型内視鏡によって取得される検査画像は連続画像であり、シーンチェンジなどはなく、また医者などが認識したい画像は、たとえば出血部位などが表示されている画像であり、たとえシーンチェンジがあったとしても、単純にシーンチェンジなどで変化点を設定したのでは、認識の必要な出血部位などの認識したい画像を見逃す恐れがある。

本発明は、上記問題に鑑みてなされたものであって、長時間撮像された画像であっても、容易に必要な画像を選択および表示することが可能となる画像表示装置を提供することを目的とする。

また、本発明の他の目的は、画像観察時の操作を効率的に行うことができる画像表示装置を提供することにある。

上述した課題を解決し、目的を達成するために、本発明にかかる画像表示装置は、取り込んだ画像を表示部内の画像表示領域に順次表示する画像表示手段と、連続する前記画像における所定の特徴を表す特徴量の変化が所定量変化した画像を変化点の画像として検知する画像検知手段と、前記画像検知手段によって検知された前記変化点の画像のうち、現に前記画像表示手段に表示された画像の近傍に位置する前記変化点の画像を表示させることを指定する指定手段と、前記指定手段による指定をもとに前記変化点の画像を選択する画像選択手段と、前記取り込んだ画像を前記画像表示手段に順次表示させるとともに、前記指定手段による指定があった場合、前記順次表示される画像に代えて、前記画像選択手段によって選択された前記変化点の画像を、前記画像表示手段に表示させる制御を行う表示制御手段と、を備えることを特徴とする。

また、本発明にかかる画像表示装置は、上記発明において、前記取り込んだ画像全体の時刻を示す時間情報を前記表示部内の時刻表示領域に表示する時刻表示手段と、前記画像検知手段によって検知された前記変化点の画像の時刻を示す時間情報を、前記時刻表示手段に表示させる制御を行う時刻表示制御手段と、をさらに備えることを特徴とする。

また、本発明にかかる画像表示装置は、上記発明において、前記画像検知手段は、前記所定の特徴を表す特徴量として、前記各画像における特定の赤色成分をもつ領域が含まれる割合を示す赤色レベル値が所定レベル値変化した画像を前記変化点の画像として検知することを特徴とする。

また、本発明にかかる画像表示装置は、上記発明において、前記画像表示装置に取り込まれる画像は、被検体内導入装置で取得された画像であり、前記変化点検知手段は、前記所定の特徴を表す特徴量として、前記被検体内導入装置の移動量が所定量移動したことを示す前記画像を前記変化点の画像として検知することを特徴とする。

また、本発明にかかる画像表示装置は、上記発明において、前記表示制御手段は、経時的に前記画像を前記画像表示手段に順次表示させることを特徴とする。

また、本発明にかかる画像表示装置は、上記発明において、前記画像選択手段が前記指定手段による指定をもとに選択する前記変化点の画像は、現に前記画像表示手段に表示された画像の次または直前に位置する前記変化点の画像であることを特徴とする。

また、本発明にかかる画像表示装置は、上記発明において、前記時刻表示制御手段は、前記時刻表示手段に前記変化点の画像の時刻を指示する時刻指示部を表示させ、かつ前記指定手段の指定毎に前記位置指定部を、現指示位置の次または直前の前記変化点の画像の時刻を指示する位置に表示させる制御を行うことを特徴とする。

本発明にかかる画像表示装置は、連続する画像における所定特徴を表す特徴量の変化が所定量変化した画像を変化点の画像として画像検知手段によって検知し、指定手段による変化点の画像の表示指定をもとに前記変化点の画像を画像選択手段によって選択し、さらに表示制御手段がこの選択された前記変化点の画像を、順次表示される画像に代えて、画像表示手段に表示させるので、たとえば前記指定手段による指定があった場合、不要な画像をスキップすることができるようになり、長時間撮像された画像であっても、容易に必要な画像を選択および表示することが可能となるという効果を奏する。

以下に、本発明にかかる画像表示装置の実施の形態を図１〜図１１の図面に基づいて詳細に説明する。なお、本発明は、これらの実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲で種々の変更実施の形態が可能である。

（実施の形態１）
図１は、本発明にかかる被検体内情報取得システムの構成概念を示すシステム概念図である。図１において、この被検体内情報取得システムは、被検体１の外部に配置され、受信機能を有する受信装置２と、被検体１の体腔内に導入され、体腔内画像を撮像して受信装置２に対してデータ送信を行う飲み込み型のカプセル型内視鏡３とを備えている。また、被検体内情報取得システムは、受信装置２が受信したデータに基づいて体腔内画像の表示を行う画像表示装置４と、受信装置２と画像表示装置４間でデータの受け渡しを行うための携帯型記録媒体５とを備えている。なお、受信装置２は、被検体１によって着用される受信ジャケット２ａと、受信ジャケット２ａを介して受信される無線信号の処理などを行う外部装置２ｂとを備える。

画像表示装置４は、カプセル型内視鏡３によって撮像された体腔内画像を表示するためのものであり、携帯型記録媒体５によって得られるデータに基づいて画像表示を行うワークステーションなどのような構成を有する。具体的には、画像表示装置４は、ＣＲＴディスプレイ、液晶ディスプレイなどによって、カプセル型内視鏡３が撮像した複数の静止画像を、静止画像のフレーム番号にしたがって順次表示するように構成される。

携帯型記録媒体５は、外部装置２ｂおよび画像表示装置４にも接続可能であって、両者に対して挿入されて、接続された時に情報の出力または記録が可能な構造を有する。この実施の形態では、携帯型記録媒体５は、カプセル型内視鏡３が被検体１の体腔内を移動している間は、外部装置２ｂに挿入されてカプセル型内視鏡３から送信されるデータを記録する。次に、カプセル型内視鏡３が被検体１から排出された後、つまり、被検体１の内部の撮像が終了した後には、外部装置２ｂから取り出されて画像表示装置４に挿入され、この画像表示装置４によって、画像表示装置４に記録されたデータが読み出される構成を有する。たとえば、この携帯型記録媒体５は、コンパクトフラッシュ（登録商標）メモリなどから構成され、外部装置２ｂと画像表示装置４とのデータの入出力を、携帯型記録媒体５を介して間接的に行うことができ、外部装置２ｂと画像表示装置４との間が有線で直接接続された場合と異なり、被検体１が体腔内の撮影中に自由に動作することが可能となる。

次に、図２のブロック図の一例を用いて画像表示装置４の構成を説明する。図２において、画像表示装置４は、入力部２０と、記憶部３０と、表示部４０と、制御部５０とを備える。

入力部２０は、キーボードやマウスなどのポインティングデバイスなどによって実現され、画像表示装置４の動作指示および画像表示装置４が行う処理の指示情報を入力し、各指示情報を制御部５０に送出している。また、入力部２０は、表示部４０の画像表示領域に表示された画像の中から所望の画像を選択する選択情報を入力する。たとえば、入力部２０のマウスを操作し、画面上に表示されたカーソルを、画像表示領域に表示された画像上に移動させて、所望の画像に対してボタンをクリックした場合、入力部２０は、この画像を選択するための選択情報としての指示情報を入力する。

たとえば、入力部２０のマウスを操作し、後述する画面上のカーソル２１を体腔内画像上に移動させた状態で、マウスの左ボタンがダブルクリックされた場合に、入力部２０は、所望の体腔内画像の縮小表示（サムネイル表示）を指示する指示情報を入力する。また、入力部２０のマウスを操作し、後述する画面上のカーソル２１を画像再生ボタン４１上に移動させた状態でマウスの左ボタンがクリックされた場合に、体腔内画像の再生を指示する指示情報を入力する。

また、指定手段としての入力部２０は、マウスを操作し、後述する画面上のカーソル２１をコマ送りボタン４７上に移動させた状態で、マウスの左ボタンがクリックされた場合（画像の表示が順送りの場合）に、現に画像表示手段としての画像表示部４０ａに表示された画像の近傍、つまり現に画像表示部４０ａに表示された画像の次に位置する後述する変化点の画像を表示させることを指定するための指定情報としての指示情報を入力する。また、指定手段としての入力部２０は、マウスを操作し、後述する画面上のカーソル２１をコマ送りボタン４８上に移動させた状態で、マウスの左ボタンがクリックされた場合（画像の表示が逆送りの場合）に、入力部２０は、現に画像表示部４０ａに表示された画像の直前に位置する変化点の画像を表示させることを指定するための指定情報としての指示情報を入力する。

記憶部３０は、たとえばハードディスク装置などによって実現され、各種画像などを保持する。たとえば、記憶部３０は、フォルダＦ１とフォルダＦ２とフォルダＦ３を有し、フォルダＦ１内には、カプセル型内視鏡３によって撮像された画像群Ｐａが格納される。フォルダＦ１に格納された画像群Ｐａには、画像ごとに、受信装置２における画像データの受信順にしたがってフレーム番号と時間が付与されている。

フォルダＦ２内には、画像群Ｐａの各フレーム番号と、入力部２０によって選択指示された体腔内画像を示すためのフラグとを対応付けたテーブルＴａが格納される。なお、体腔内画像のフレーム番号は、撮像順に１からＮ（Ｎは任意の正数）まで順番に番号が付されており、選択指示された体腔内画像のフレーム番号には、フラグ“１”が立っている。また、フォルダＦ３内には、画像処理部５１の画像処理によって生成された情報が格納される。たとえば、フォルダＦ３内には、画像群Ｐａの各画像のフレーム番号と赤色レベル値などの特徴量とを対応させたテーブルＴｂが格納される。

表示部４０は、ＣＲＴディスプレイ、液晶ディスプレイなどによって実現され、入力部２０の指示情報あるいは指示結果などを表示する。表示部４０は、記憶部３０のフォルダＦ１に格納された画像群Ｐａにおける体腔内画像、指示情報によって指示された縮小画像（サムネイル画像）などが表示される画像表示領域を有する。すなわち、表示部４０は、図３の表示画面の一例に示すように、表示画面に画像表示領域（ウィンドウ）Ｗが表示される。このウィンドウＷには、大きくは、体腔内画像を表示する体腔内画像表示領域Ａ１、サムネイル画像を表示するサムネイル画像表示領域Ａ２、検査ＩＤや患者ＩＤなどの識別情報を表示する識別情報表示領域Ａ３が設けられている。サムネイル画像表示領域Ａ２は、体腔内画像表示領域Ａ１の下方の領域に、識別情報表示領域Ａ３は、体腔内画像表示領域Ａ１の向かって左側の領域に設けられ、体腔内画像表示領域Ａ１とサムネイル画像表示領域Ａ２との間には、再生ボタン４１などの動画表示制御ボタン群とタイムバー４２ａとがそれぞれ設けられている。

この表示部４０は、図２に示すように、画像表示手段としての画像表示部４０ａと、時刻表示手段としての時刻表示部４０ｂとを有する。画像表示部４０ａは、フォルダＦ１に格納された画像群Ｐａにおける体腔内画像Ｐｂを、所望の再生フレームレート（画像を再生するための表示レート）で順次表示する。また、時刻表示部４０ｂは、被検体内の体腔内画像全体のたとえば撮像時間を示す情報を表示する。この撮像時間の情報は、被検体内の体腔内画像の撮像時間を示すタイムバー４２ａと、１時間ごとに表示される時間情報４２ｂとからなる。なお、この実施の形態では、体腔内画像全体の撮像時間を１０時間に想定している。このタイムバー４２ａと選択されてサムネイル画像表示領域Ａ２に表示されているサムネイル画像とは、体腔内画像Ｐｂに付与された時間情報によって互いに結線４４でリンクされている。

また、時刻表示部４０ｂは、図５に示すように、タイムバー４２ａ中に後述する画像検知部５５によって検知された変化点の画像の位置（たとえば撮像時刻）を示す位置情報４５と、位置情報４５上に変化点の画像の位置を示す位置表示部としての表示位置マーカー４６とを合わせて表示する。この表示位置マーカー４６は、現に画像表示部４０ａに表示された画像の、たとえば画像の表示が順送りの場合には、次に位置する変化点の画像、また画像の表示が逆送りの場合には、直前の変化点の画像の位置を示している。

再生ボタン４１は、入力部２０のマウスを操作し、画面上のカーソルを移動させて、たとえば右クリックされると、図４に示すように、表示制御部５２の表示制御によって停止ボタン４３に表示が切り替わるとともに、体腔内画像Ｐｂが体腔内画像表示領域Ａ１に順次表示される。また、停止ボタン４３がたとえば右クリックされると、再生ボタン４１に表示が切り替わるとともに、停止指示時の体腔内画像Ｐｂが体腔内画像表示領域Ａ１に停止表示される。すなわち、再生ボタン４１と停止ボタン４３は、互いに切り替わってトグル表示されることとなる。

制御部５０は、入力部２０、記憶部３０、表示部４０の各処理または動作を制御する。制御部５０は、画像群Ｐａに含まれる画像などを処理する画像処理部５１と、表示部４０における表示処理を制御する表示制御部５２と、入力部２０によって選択指示された所定の画像を抽出する画像選択手段としての画像選択部５３とを備える。

画像処理部５１は、画像群Ｐａに含まれる画像などを処理するとともに、画像群Ｐａの各画像のフレーム番号と、フラグとを対応付けたテーブルＴａを生成する。また、画像処理部５１は、このテーブルＴａに、入力部２０からの指示情報に基づく、画像のフレーム番号にサムネイル画像である旨を示すフラグを付与して出力する。たとえば、テーブルＴａにおいて、フラグ“１”はサムネイル画像であることを示し、フラグ“０”は、サムネイル画像でないことを示す。

また、画像処理部５１は、特徴量取得部５４と、画像検知手段としての画像検知部５５とを備える。特徴量取得部５４は、特願２００４−１２０３６７に示すように、画像情報の中に所定の色情報（所定の特徴に相当）に該当する領域が含まれていた場合、この所定の色情報が含まれる領域の割合をレベル化した特徴量を取得する。たとえば、特徴量取得部５４は、画像情報の色情報のうち、赤色情報の有無および分布をもとに画像全体に占める赤色情報の割合を求め、この割合をレベル化した赤色レベル値を特徴量として取得する。

画像検知部５５は、特徴量取得部５４が取得した各画像の特徴量をもとに、所定量の閾値に基づく特徴量を有する画像を変化点の画像として検知する。たとえば、画像検知部５５は、特徴量取得部５４によって取得された各画像の特定の赤色成分をもつ領域の割合を示す赤色レベル値が所定量の閾値を超えた場合には、この画像に出血部がある可能性が高いと判断し、変化点の画像として検知する。この場合、図２に示すように、画像処理部５１は、画像群Ｐａの各画像のフレーム番号と、赤色レベル値などの特徴量とを対応付けたテーブルＴｂとを生成する。そして、画像処理部５１は、このテーブルＴｂに、画像検知部５５によって変化点の画像として検知された画像のフレーム番号に、変化点の画像である旨を示唆するフラグを付与して出力する。たとえば、テーブルＴｂにおいて、フラグ“１”は変化点の画像であることを示し、フラグ“０”は、変化点の画像でないことを示す。

表示制御部５２は、表示部４０における表示処理を制御する機能であり、画像の表示処理を制御する画像表示制御手段としての画像表示制御部５６と、タイムバー４２ａなどの時刻の表示処理を制御する時刻表示制御手段としての時刻表示制御部５７とを備える。

画像表示制御部５６は、フォルダＦ１に格納された画像群ＰａおよびフォルダＦ２に格納されたテーブルＴａの情報をもとに、表示部４０に対して、体腔内画像表示領域Ａ１に画像群Ｐａにおける体腔内画像を、フレーム番号順にしたがって表示させる。また、画像表示制御部５６は、選択画像の表示処理を制御する選択画像表示制御機能を有する。すなわち、画像表示制御部５６は、画像選択部５３で選択された画像（変化点の画像を含む）を画像表示部４０ａに表示させる表示制御を行う。

時刻表示制御部５７は、取り込んだ画像全体の時刻を表示部４０の時刻表示部４０ｂに表示させる表示制御を行う。すなわち、時刻表示部４０ｂは、時刻表示制御部５７の制御によって、体腔内画像の撮像時間を示すタイムバー４２ａと、１時間ごとの時間情報４２ｂと、変化点の画像の位置（時刻）を示す位置情報４５と、変化点の画像の位置を示す表示位置マーカー４６とを表示する。なお、この実施の形態では、この時刻表示部４０ｂに表示されるタイムバー４２ａは、１０時間のデフォルト値として設定されている。

画像選択部５３は、入力部２０からの指示情報に基づき、フォルダＦ１に格納された画像群Ｐａの中から指示された体腔内画像を抽出する。そして、画像表示制御部５６は、画像選択部５３によって画像群Ｐａの中から抽出された体腔内画像における縮小画像であるサムネイル画像を、サムネイル画像表示領域Ａ２にフレーム番号順にしたがって表示させる。また、画像表示制御部５６は、タイムバー４２ａとサムネイル画像表示領域Ａ２に表示させたサムネイル画像とを体腔内画像Ｐｂに付与された時間情報に基づき、結線４４でリンク表示させている。

次に、図６のフローチャートを用いて、図２に示した画像表示装置４の画像表示の動作を説明する。図６において、まず、画像処理部５１は、記憶部３０のフォルダＦ１に格納されている画像群Ｐａの画像情報を取得する（ステップ１０１）。特徴量取得部５４は、取得した画像群Ｐａの各画像情報をもとに、各画像の特徴量を取得し、画像検知部５５は、特徴量取得部５４が取得した各画像の特徴量をもとに、所定の閾値を超えた特徴量を有する画像を、連続画像のうちの変化点の画像として検知する（ステップ１０２）。なお、画像処理部５１は、特徴量取得部５４が取得した各画像の特徴量をもとに、フォルダＦ３にフレーム番号に対応した赤色レベル値などの特徴量を対応付けたテーブルＴｂを生成して出力する。

次に、表示制御部５２は、画像群Ｐａの画像表示を指示する指示情報が入力部２０から入力したかどうか判断する（ステップ１０３）。ここでは、たとえば入力部２０のマウスを操作し、図３に示す画面上のカーソル２１を画像再生ボタン４１上に移動させた状態でマウスの左ボタンがクリックされた場合に、体腔内画像の再生、すなわち画像群Ｐａの画像表示を指示する指示情報が入力される。

ここで、表示制御部５２が、画像群Ｐａの画像表示を指示する指示情報を入力しないと判断した場合（ステップ１０３：Ｎｏの場合）、制御部５０は、画像群Ｐａに対する画像処理を終了する。また、表示制御部５２が、画像群Ｐａの画像表示を指示する指示情報を入力したと判断した場合（ステップ１０３：Ｙｅｓの場合）、時刻表示制御部５７は、各変化点の表示位置を示す位置情報４５と、この変化点の表示位置を示す表示位置マーカー４６とをタイムバー４２ａ上に表示する（ステップ１０４）。

また、画像表示制御部５６は、表示部４０に対して、体腔内画像表示領域Ａ１に画像群Ｐａにおける体腔内画像を、フレーム番号順にしたがって表示させるとともに、サムネイル画像を、サムネイル画像表示領域Ａ２にフレーム番号順にしたがって表示させる（ステップ１０５）。

次に、表示制御部５２は、変化点の画像の表示指示があるかどうか判断する（ステップ１０６）。ここでは、たとえば入力部２０のマウスを操作し、図４に示す画面上のカーソル２１を停止ボタン４３上に移動させた状態で、マウスの左ボタンがクリックされた場合に、画像群Ｐａの画像表示を停止させるための指示情報が入力して、次に入力部２０のマウスを操作し、図４に示す画面上のカーソル２１をコマ送りボタン４７または４８上に移動させた状態で、マウスの左ボタンがクリックされた場合に、連続画像の変化点を指定して表示させるための指示情報を入力する。表示制御部５２は、これらの指示情報の入力によって、変化点の画像の表示指示を判断する。

ここで、変化点の画像の表示指示がない場合（ステップ１０６：Ｎｏの場合）、画像表示制御部５６は、ステップ１０５の画像表示を続行する。また、変化点の画像の表示指示があった場合（ステップ１０６：Ｙｅｓの場合）、すなわちステップ１０６では変化点の画像の表示指示があるかどうか判断するが、画像表示制御部５６は、体腔内画像表示領域Ａ１での画像群Ｐａの表示を停止し、画像選択部５３は、たとえば順送りのコマ送りボタン４７がクリックされた場合には、図５に示すように、表示位置マーカーの存在する現表示位置の次の変化点（図中、右方向への矢印による変化点）４５の画像を選択し、また画像選択部５３は、逆送りのコマ送りボタン４８がクリックされた場合には、現表示位置の直前の変化点（図中、左方向への矢印による変化点）４５の画像を選択する。そして、画像表示制御部５６は、この画像選択部５３で選択された変化点の画像を体腔内画像表示領域Ａ１に表示する。また、時刻表示制御部５７は、表示位置マーカー４６を、上記現表示位置の次または直前の変化点を示す位置情報４５に、表示位置マーカー４６を移動表示させる（ステップ１０７）。

次に、表示制御部５２は、コマ送りボタン４７または４８がクリックされたかどうか判断する（ステップ１０８）。ここで、コマ送りボタンがクリックされた場合（ステップ１０８：Ｙｅｓの場合）、ステップ１０６と同様に、順送りまたは逆送りのコマ送りボタン４７または４８がクリックされたかによって、画像表示制御部５６がステップ１０７においては現表示位置の次または直前の変化点の画像表示を行う。また、いずれのコマ送りボタン４７または４８もクリックされない場合（ステップ１０８：Ｎｏの場合）、現表示の画像を維持し（ステップ１０９）、画像表示の指示があるかどうか判断する（ステップ１１０）。

ここでは、ステップ１０３と同様の判断を行い、画像表示の指示があった場合（ステップ１１０：Ｙｅｓの場合）、次に最終画像まで表示したかどうか判断し（ステップ１１２）、最終画像まで表示していない場合（ステップ１１２：Ｎｏの場合）には、ステップ１０５に戻って、画像表示制御部５６による画像表示を行い、また最終画像まで表示した場合（ステップ１１２：Ｙｅｓの場合）には、上記動作を終了する。

また、画像表示の指示がない場合（ステップ１１０：Ｎｏの場合）、最終変化点の画像まで表示したかどうか判断し（ステップ１１１）、最終変化点の画像まで表示してない場合（ステップ１１１：Ｎｏの場合）、ステップ１０８にコマ送りボタンのクリックがあったかどうか判断して上記動作を繰り返し、また最終変化点の画像まで表示した場合（ステップ１１１：Ｙｅｓの場合）、上記動作を終了する。

このように、この実施の形態では、画像の赤色レベル値（出血部位）から、連続画像の変化点を検知し、各変化点をタイムバーに表示するとともに、変化点の画像表示の指示があった場合には、該当する変化点の画像表示を行うので、長時間撮像された画像であっても、容易に必要な画像を表示および選択することができる。
また、変化点をサムネイル画像として自動的に登録することも可能である。この場合、実施例１における特徴量取得部５４により、変化点の画像として画像が検知されるとともに、テーブルＴｂに特徴量が登録される。サムネイル表示する画像選択部５３がサムネイル画像および、特徴量取得部５４が選択した画像をサムネイル画像表示領域Ａ２に表示すればよい。これにより、サムネイル画像の選択を容易にすることができるという効果を奏する。

なお、実施の形態１では、画像の出血部位などの変化点を検知したが、本発明はこれに限らず、カプセル型内視鏡３の移動距離から画像の変化点を検知することも可能である。以下に、この実施の形態を説明する。

（実施の形態２）
この実施の形態では、カプセル型内視鏡３から取得した画像からカプセル型内視鏡３がどのくらい移動したかを、動きベクトルで推測して所定距離移動したと判断した画像を、変化点の画像として検知する。この動きベクトルによる移動量（移動距離）の推測では、図７に示すように、テンプレートマッチングを行う。なお、実施の形態２における画像表示装置４の構成は、図２とほぼ同様であり、記憶部３０には、テーブルＴｂの代わりに、後述するテンプレートの動きベクトルに基づいて求めた変化点の画像のフレーム番号が記憶される。

図７は、実施の形態２における画像の変化点検知を説明するためのフレームの概念図である。図において、この実施の形態では、たとえば表示部４０の画像上で、あるテンプレート１を設定し、画像検知部５５が時間的に遠隔する連続画像上でテンプレートマッチングを行い、テンプレート１の画像間での移動量から動きベクトル（Ｘｃ１−Ｘｃ，Ｙｃ１−Ｙｃ）を求めて変化点を検知する。すなわち、図８より図９のフレームの図を用いて具体的に説明すると、フレームｆ（ｔ）におけるマスタ画像（テンプレート）と次のフレームｆ（ｔ＋１）の画像を重ね合わせ、フレームｆ（ｔ）のテンプレート１と画素値が最も近いところを検出することによって、フレームｆ（ｔ＋１）からテンプレート１を探し出し、動きベクトルを求める。この動きベクトルは、連続する画像毎に求められる。

次に、画像検知部５５は、図９に示すように、連続する各画像毎に求めた上記動きベクトルの累積値を求め、この累積値が予め設定した所定値（閾値レベル）を超えた場合に、その画像を変化点の画像として検知する。実施の形態１と同様に、画像表示制御部５６は、変化点の画像の表示指示に基づいて、連続画像の変化点の画像を画像表示部４０ａに表示させる制御を行い、時刻表示制御部５７は、タイムバー４２ａ、１時間ごとに表示される時間情報４２ｂ、各変化点の画像の撮影時刻を示す時間情報４５および表示位置マーカー４６を時刻表示部４０ｂに表示させる制御を行う（図３、図４参照）。

このように、この実施の形態では、カプセル型内視鏡の移動量に相当するテンプレートの動きベクトルの累積値から連続画像における変化点の画像を検知し、各時間情報をタイムバーに表示するとともに、変化点の画像を表示する旨の指示があった場合には、該当する変化点の画像表示を行うので、この長時間撮像された画像であっても、容易に必要な画像を表示および選択することができる。

なお、上記実施の形態では、出血部位やカプセル型内視鏡の移動量から連続画像の変化点を検知したが、本発明はこれに限らず、たとえば臓器の違いから連続画像の変化点を検知することも可能である。特開２００４−３２１６０３号公報には、連続画像の平均色の時間軸方向の変化点を検出することで、撮像された画像の臓器を判別する方法が開示されている。このような方法により、食道から胃、胃から小腸、小腸から大腸といった連続画像の臓器が変化する箇所を変化点として検知する。この変形例の場合も実施の形態１と同様、長時間撮像された画像であっても、容易に必要な画像を表示および選択することができるという効果を奏する。また、この変形例の臓器の違いの検知と、実施の形態１の赤色レベル値の検知とを組み合わせて、実施することも無論可能である。

また、変化点の検知では、たとえばサムネイル画像を選択した時に、このサムネイル画像を変化点の画像として、画像検知部５５が自動的に検知することも可能である。さらに、たとえば変化点を編集する編集モードを画像表示装置に予め設定しておき、操作者が一度観察してから、この編集モードにおいて入力部２０などを用いて手入力で変化点を設定することも可能である。これらの変形例の場合も実施の形態１と同様、長時間撮像された画像であっても、容易に必要な画像を表示および選択することができるという効果を奏するとともに、画像表示装置の汎用性を向上させることができる。

なお、画像表示装置４は、実施の形態１に示すように、静止画像を１枚ずつ順次表示するほか、静止画像を複数枚、たとえば４枚ずつ順次表示してもよい。以下に、この実施の形態を説明する。

（実施の形態３）
図１０は、図２に示した実施の形態３にかかる表示部の表示画面を示す図であり、図１１は、実施の形態３にかかる操作パネルとしてのマウスの上面を示す上面図である。図１０において、体腔内画像表示領域Ａ１には、画像表示制御部５６の表示制御によって、フォルダＦ１に格納された画像群Ｐａにおける体腔内画像が所望の再生フレームレート（画像を再生するための表示レート）で４つの画像表示部４０ａ１〜４０ａ４に順次表示される。この実施の形態では、たとえば撮像時間順に体腔内画像Ｐｂ１〜Ｐｂ４が表示されている例を示しており、マウス２２には、この４つの画像表示部４０ａ１〜４０ａ４（この実施の形態では、体腔内画像Ｐｂ１〜Ｐｂ４の表示位置）に対応させた画像選択ボタン２３が設けられている。

したがって、操作者は、この表示部４０の画面に表示される体腔内画像Ｐｂ１〜Ｐｂ４のうちの所望の体腔内画像、たとえば体腔内画像Ｐｂ２を選択する場合、マウス２２の画像選択ボタン２３のうちの該当する画像選択ボタンＰｂ２をクリックすることで、サムネイル画像の登録指示が入力する。画像表示制御部５６は、この登録指示情報が入力すると、該当画像を記憶部３０にサムネイル登録することができる。

このように、この実施の形態では、表示部の画面表示領域（体腔内画像の表示位置）とマウスの画像選択ボタンを対応付け、所望の画像選択ボタンをクリックすることで、簡単に該当する体腔内画像を選択することができるので、画像観察時の操作を効率的に行うことができ、これによって必要な画像の選択を容易に行うことができる。

なお、上記実施の形態１では、マウスカーソルによって変化点の画像表示の指示を行ったが、本発明はこれに限らず、マウスのジョグダイヤル２４（図１１参照）によって変化点の画像表示の指示を行うことも可能である。この場合には、たとえば図５に示すタイムバー４２ａ上をマウスカーソルで右クリックすることにより、ジョグダイヤル２４を起動させて、変化点の画像表示の指示を行う。なお、この場合、たとえばジョグダイヤル２４を時計方向に回すと、順方向のコマ送りを可能とし、またジョグダイヤル２４を時計方向と逆に回すと、逆方向のコマ送りを可能とする。

この変形例の場合には、マウスカーソルで１回１回コマ送りボタンを選んで変化点の画像のコマ送りを行う手間が省け、ジョグダイヤル２４を回すだけで、変化点の画像のコマ送りを行うことができるので、画像観察時の操作を効率的に行うことができ、これによって必要な画像の選択を容易に行うことができる。

本発明にかかる被検体内情報取得システムの構成概念を示すシステム概念図である。 本発明にかかる画像表示装置の概略構成の一例を示すブロック図である。 図２に示した実施の形態１にかかる表示部の表示画面を示す図である。 同じく、実施の形態１にかかる表示部の表示画面を示す図である。 図３に示したタイムバーの拡大図である。 画像表示の動作を説明するためのフローチャートである。 実施の形態２における画像の変化点検知を説明するためのフレームの概念図である。 同じく、画像の変化点検知を具体的に説明するためのフレームの図である。 同じく、画像の変化点検知を具体的に説明するためのフレームの図である。 図２に示した実施の形態３にかかる表示部の表示画面を示す図である。 実施の形態３にかかるマウスの上面を示す上面図である。

符号の説明

１ 被検体
２ 受信装置
２ａ 受信ジャケット
２ｂ 外部装置
３ カプセル型内視鏡
４ 画像表示装置
５ 携帯型記録媒体
２０ 入力部
２１ カーソル
２２ マウス
２３ 画像選択ボタン
２４ ジョグダイヤル
３０ 記憶部
４０ 表示部
４０ａ，４０ａ１〜４０ａ４ 画像表示部
４０ｂ 時刻表示部
４１ 再生ボタン
４２ａ タイムバー
４２ｂ 時間情報
４３ 停止ボタン
４４ 結線
４５ 位置情報
４６ 表示位置マーカー
４７，４８ コマ送りボタン
５０ 制御部
５１ 画像処理部
５２ 表示制御部
５３ 画像選択部
５４ 特徴量取得部
５５ 画像検知部
５６ 画像表示制御部
５７ 時刻表示制御部
Ａ１ 体腔内画像表示領域
Ａ２ サムネイル画像表示領域
Ａ３ 識別情報表示領域
Ｆ１〜Ｆ３ フォルダ
Ｔａ，Ｔｂ テーブル
Ｗ ウィンドウ

Claims (10)

1. 取り込んだ画像を表示部内の画像表示領域に順次表示する画像表示手段と、
   連続する前記画像における所定の特徴を表す特徴量が所定量変化した画像を変化点の画像として検知する画像検知手段と、
   前記画像検知手段によって検知された前記変化点の画像のうち、現に前記画像表示手段に表示された画像の近傍に位置する前記変化点の画像を表示させることを指定する指定手段と、
   前記指定手段による指定をもとに、前記画像表示手段に表示された画像の直前または次に位置する前記変化点の画像を選択する画像選択手段と、
   前記取り込んだ画像を前記画像表示手段に順次表示させるとともに、前記指定手段による指定があった場合、前記順次表示される画像に代えて、前記画像選択手段によって選択された前記変化点の画像を、前記画像表示手段に表示させる制御を行う表示制御手段と、
   を備えることを特徴とする画像表示装置。
2. 前記取り込んだ画像全体の時刻を示す時間情報を前記表示部内の時刻表示領域に表示する時刻表示手段と、
   前記画像検知手段によって検知された前記変化点の画像の時刻を示す時間情報を、前記時刻表示手段に表示させる制御を行う時刻表示制御手段と、
   をさらに備えることを特徴とする請求項１に記載の画像表示装置。
3. 前記画像検知手段は、前記所定の特徴を表す特徴量として、前記各画像における特定の赤色成分をもつ領域が含まれる割合を示す赤色レベル値が所定レベル値変化した画像を前記変化点の画像として検知することを特徴とする請求項１または２に記載の画像表示装置。
4. 前記画像表示装置に取り込まれる画像は、被検体内導入装置で取得された画像であり、
   前記変化点検知手段は、前記所定の特徴を表す特徴量として、前記被検体内導入装置の移動量が所定量移動したことを示す前記画像を前記変化点の画像として検知することを特徴とする請求項１〜３のいずれか一つに記載の画像表示装置。
5. 前記表示制御手段は、経時的に前記画像を前記画像表示手段に順次表示させることを特徴とする請求項１または２に記載の画像表示装置。
6. 前記画像選択手段が前記指定手段による指定をもとに選択する前記変化点の画像は、現に前記画像表示手段に表示された画像の次または直前に位置する前記変化点の画像であることを特徴とする請求項１または２に記載の画像表示装置。
7. 前記時刻表示制御手段は、前記時刻表示手段に前記変化点の画像の時刻を指示する時刻指示部を表示させ、かつ前記指定手段の指定毎に前記時刻指定部を、現指示位置の次または直前の前記変化点の画像の時刻を指示する位置に表示させる制御を行うことを特徴とする請求項２に記載の画像表示装置。
8. 前記画像表示手段の画像の表示位置と対応付けられた画像選択ボタンの選択操作で、前記画像表示手段により表示された該当画像をサムネイル画像として選択する手段を有することを特徴とする請求項１または２に記載の画像表示装置。
9. 前記画像検知手段により検知される画像を、サムネイル画像として自動的に設定する手段を有することを特徴とする請求項１または２に記載の画像表示装置。
10. 前記画像検知手段により検知される画像を、前記変化点の画像として編集する手段を有することを特徴とする請求項１、２または９のいずれか一つに記載の画像表示装置。

Images