JP2017536873A - 注視追跡駆動による関心領域セグメンテーション - Google Patents

注視追跡駆動による関心領域セグメンテーション Download PDF

Info

Publication number
JP2017536873A
JP2017536873A JP2017522093A JP2017522093A JP2017536873A JP 2017536873 A JP2017536873 A JP 2017536873A JP 2017522093 A JP2017522093 A JP 2017522093A JP 2017522093 A JP2017522093 A JP 2017522093A JP 2017536873 A JP2017536873 A JP 2017536873A
Authority
JP
Japan
Prior art keywords
point
region
interest
image
gaze
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017522093A
Other languages
English (en)
Inventor
コンクオ リュー
コンクオ リュー
エリック コーエン‐ソラール
エリック コーエン‐ソラール
ユエチェン チーアン
ユエチェン チーアン
ガブリエル ライアン マンコヴィッチ
ガブリエル ライアン マンコヴィッチ
アクセル サールバッハ
アクセル サールバッハ
ダニエル ビストロフ
ダニエル ビストロフ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of JP2017536873A publication Critical patent/JP2017536873A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/36Applying a local operator, i.e. means to operate on image points situated in the vicinity of a given point; Non-linear local filtering operations, e.g. median filtering
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842Selection of displayed objects or displayed text elements
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/19Sensors therefor
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20092Interactive image processing based on input by user
    • G06T2207/20104Interactive definition of region of interest [ROI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Ophthalmology & Optometry (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Nonlinear Science (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Image Processing (AREA)

Abstract

関心領域(ROI)セグメンテーションシステム10は、表示装置20、注視追跡装置28、注視点コレクタ32、境界特定部36、および領域特定部38を含む。表示装置20は、画像14を表示する。注視点線追跡装置28は、表示された画像14に対して注視点を生成する。注視点コレクタ32は、表示された画像14の関心領域(ROI)25に対応する生成された注視点30からの注視点を選択する。境界特定部36は、選択された注視点54,60に基づいて境界70を推定する。領域特定部38は、推定された境界70に基づいてROI25をセグメント化する。

Description

以下は、医療イメージングに関する。それは医用画像における関心領域のセグメンテーションと関連して特定の用途を見出し、特にそれを参照して説明する。しかしながら、他の使用シナリオにおいても適用を見出し、前述のアプリケーションに必ずしも限定されないことが理解されるであろう。
関心領域(ROI)のセグメンテーションは、病気の検出および/または疾患の進行などの医療画像における組織および構造の分析に使用される。セグメンテーションは、構造および/または組織の境界を特定することを含み、特定された境界、および、ある画像から別の画像への測定における強度、サイズ、形状および/または変化などの他の特性に基づく測定を含むことができる。セグメンテーションは、磁気共鳴イメージング(MRI)、超音波(US)、X線コンピュータ断層撮影(CT)、陽電子放出断層撮影(PET)、単一陽子放射型コンピュータ断層撮影(SPECT)やそれらの組み合わせなどといった、多くのイメージングモダリティにおいて採用されている。
ROIの根底にある性質、異なるモダリティ、および各モダリティで利用可能な異なるイメージングパラメータのために、強度、サイズ、形状が変化するため、標的ROIのセグメンテーションは困難である。分析されるべき標的ROIには、訓練された医療従事者が認識することができる腫瘍、結節、リンパ節、すりガラス陰影を伴う組織が含まれ得るが、医療図表から供給されない場合がある。モダリティは、構造及び/又は代謝活性の異なる画像表現を提示する。標的ROIは、検出可能な特徴を周囲の構造/臓器/組織と共有する可能性がある。各モダリティは、同じ被験者と同じ時間に異なる画像表現を提示する、異なるイメージングパラメータを使用する場合がある。
1つのアプローチは、標的ROIを示すために一連のツールを使用する医療従事者による標的ROIの手動による特定である。例えば、線画ツールおよび/または多角形ツールを使用して、医療従事者は標的ROIのおおよその輪郭を描く。ツールは、典型的には、境界に沿って形状を描くために使用されるコンピュータマウスおよび/またはライトペンに基づいている。セグメンテーションアルゴリズムは、組織および/または構造を区分けするために概略的に描かれた形状をさらに改善する。このアプローチは、手作業で特定された標的ROIに向けてコンピュータ処理リソースを集中させ、相当な医療従事者の時間を必要とし、これは医療従事者が多くの画像を分析する際のスループットを低下させる。このプロセスは、退屈で時間がかかり、一般に、個々の被験者の画像であっても、撮像施設によって撮像された多くの被験者にとってはなおさら、費用効果がないと考えられる。
別のアプローチは、完全自動化であり、これは、医療従事者の入力なしで画像内のすべての組織および/または構造を区分けする。このアプローチは、医療従事者の希少なリソースを節約するが、構造のばらつきのためにセグメント化アルゴリズムが失敗することがある。分析に使用されない構造の区分けに、膨大な計算リソースと時間が浪費される。
ハイブリッドアプローチは、それぞれ異なる態様を含み、医療従事者の入力は、典型的には、手で操作される入力装置を使用して点および/または多角形を示す。入力装置は、画像に対する入力の配置を表す装置の動きを調整するための手先の器用さと時間を必要とする。基本的なオペレーティングシステムには、クリック速度、ポインタ速度、ポインタ軌跡、ポインタ表現などの、マウスによるカーソル操作のためのパラメータが含まれ、個々のコンピュータユーザの生産性およびスループットに対する入力装置による影響を示す。
以下に、上述した問題および他の問題に対処する新規かつ改良された注視追跡駆動型関心領域セグメンテーションを開示する。
一態様によれば、関心領域(ROI)セグメンテーションシステムは、表示装置、注視追跡装置、注視点コレクタ、境界特定部、および領域特定部を含む。表示装置は、 画像を表示します 。注視追跡装置は、表示された画像に対する追跡された注視点を提供する。注視点コレクタは、表示された画像の関心領域(ROI)に対応する、提供された注視点からの注視点を選択する。境界特定部は、選択された注視点に基づいて境界を推定する。領域特定部は、推定された境界に基づいてROIをセグメント化する。
別の態様によれば、関心領域(ROI)セグメンテーションの方法は、画像を表示することを含む。表示された画像に対して注視点が生成される。表示された画像の関心領域(ROI)に対応する生成された注視点から注視点が選択される。選択された注視点に基づいて境界が推定される。ROIは、推定された境界に基づいてセグメント化される。
別の態様によれば、関心領域(ROI)セグメンテーションシステムは、表示装置上に医用画像を表示するように構成された1つ以上のプロセッサを含む。注視点は、表示された医用画像上の滞留点の入力に基づいて、注視追跡装置によって生成された所定の滞留期間に従って選択される。滞留地点は、表示された医用画像の関心領域(ROI)内の点を空間的に選択し、所定の滞留期間に対して、ある点を時間的に選択する。選択された注視点は、注視点に対応する位置の画像特性に基づいて空間的にフィルタリングされる。ROIは、フィルタリングされた注視点の空間的位置および表示された画像に対応する画素値に基づいてセグメント化される。
一つの利点は、注視点のクラスタによる標的関心領域の識別である。
別の利点は、標的ROIを識別する際の医療従事者の入力の速度にある。
別の利点は、標的ROIを識別する際の入力の選択性にある。
もう一つの利点は、ユーザーのインタラクションを最小限に抑えることにある。
別の利点は、標的ROIを表す最初に得られた空間的位置および/または画像値の分布にある。
別の利点は、初期入力からセグメント化された標的ROIまでのセグメント化の速度にある。
さらに別の利点は、以下の詳細な説明を読み、理解することにより当業者には理解されるであろう。
本発明は、様々な構成要素及び構成要素の配置、ならびに、様々なステップ及びステップの順序の形をとることができる。図面は、好ましい実施形態を説明する目的のためのみであり、本発明を限定するものとして解釈されるべきではない。
注視追跡駆動型の関心領域セグメンテーションシステムの実施形態を図式的に示す図。 表示された画像および注視点の分解図を有する例示的な医療用画像を示す図。 キャリブレーション設定を有する例示的な医療用画像を示す図。 フィルタされた注視点を有する例示的な医用画像を示す図。 フィルタリングされた注視点に基づく初期境界を有する例示的な医用画像を示す図。 セグメント化されたROIを有する例示的な医療用画像を示す図。 注視点駆動型ROIセグメンテーションの実施形態を使用する1つの方法のフローチャート。
図1を参照すると、注視追跡駆動型の関心領域セグメンテーションシステム10の実施形態が図式的に示されている。コンピュータまたはコンピューティング装置12は、記憶装置16から、または被験者の医学的画像を生成する医用撮像装置18から画像14を受け取る。コンピュータ12は、ワークステーション、ラップトップ、スマートフォン、タブレットなどによって適切に実施される。表示される画像は、2次元、3次元ボリューム表現の2次元スライス、3次元ボリュームの2次元表現などとすることができる。表示される画像14は動きを含むことができる。記憶装置16は、画像アーカイブ通信システム(PACS)、部門放射線システム、患者医療記録システムといったシステムがアクセス可能な記憶装置、および/または、クラウド記憶装置、ローカル記憶装置などの直接アクセス可能な記憶装置を含む。医用撮像装置18は、磁気共鳴イメージング(MRI)スキャナ、コンピュータ断層撮影(CT)スキャナ、陽電子放射断層撮影(PET)スキャナ、単一陽子放射型コンピュータ断層撮影(SPECT)スキャナ、超音波(US)スキャナ、それらの組み合わせなどといった、被検体の医用画像を生成する装置である。コンピュータ12は、受信した画像を表示する表示装置20を含む。コンピュータ12は、1つ以上のデータプロセッサ26を含む。
コンピュータ12は、マウス、ライトペン、キーボード、マイクロフォン、タッチスクリーンなどのような表示された画像14に対する基準点または滞留点24を入力する1つ以上の入力装置22を含む。例えば、関心領域(ROI)25内に配置されたマウスのポインタを用いて、マウスボタンのクリックは、空間的に且つ時間的に滞留点24を識別する。滞留点24は、表示された画像内において、例えば、着色されたドットまたは幾何学的形状、対照十字線などで表すことができる。
注視追跡装置または手段28は、表示された画像14に対する注視点30を生成する。注視追跡装置28は、コンピュータ12および/またはディスプレイ装置20に対して取り付けられてもよく、および/または眼鏡などの身体に装着される装置を含んでもよい。例えば、ラップトップおよびワークステーションに取り付けられ較正されたTobii(TM)ポータブルアイトラッキングシステムは、マイクロプロジェクタを使用して、注視方向を推定する角膜反射パターンを生成する。画像センサは、注視点を決定するのに十分な解像度で角膜反射パターンを記録する。注視追跡装置28は、表示装置20および/または表示された画像14に対する注視点30を較正するための較正活動を含むことができる。注視追跡装置28は、個々のユーザの注視に対して較正されたプロファイルを含むことができる。注視追跡装置28は、毎秒30個の注視点のように、リアルタイムで注視点30を生成する。
一実施形態では、注視追跡装置28は、滞留点24を示す入力を追跡し提示する。例えば、所定の時間の間、局所領域に向かう注視および/または音声コマンドのような別の入力を伴う注視により、滞留点は空間的および時間的に決定される。
注視点コレクタ、プロセッサ、コンピュータルーチンまたは手段32は、表示された画像14のROI25に対応する生成された注視点30から注視点を選択する。各注視点は、表示された画像14の座標系に関連している。滞留点24は、注視点30の空間的及び時間的近接度を識別する。例えば、ROI内の滞留点は、ROIに対する各注視点までの距離、動きに基づく画像のインスタンスにおけるROIとの時間的関係、および、滞留点の+ 1秒の時間のような滞留点に対する時間的関係を規定する。
時間的近接度は、滞留点24に対する所定の時間窓すなわち区間[T0, T1]における注視点30を含むことができる。例えば、選択される注視点は、滞留点の1秒前の時間間隔で追跡された注視点を含む。別の例では、選択される注視点は、滞留点の1秒前と滞留点の0.5秒後の間の時間間隔で追跡された注視点を含む。注視点は、頻繁に(例えば毎秒30回)サンプリングされる。所定の間隔[T0, T1]は、追跡された注視点30の適切なサンプリングまたは選択を生成するために十分に大きいように選択される所定の時間間隔[T0, T1]は、 ROIに空間的に近接した注視点を位置付けるために、滞留点24に時間的に近接して、例えば、滞留点決定の前および/または後の時間として、決定される。選択された注視点の分布は、ROIを示す単一の位置の入力より多くの情報、例えば分散を提供する。
注視点フィルタ、プロセッサ、コンピュータルーチンまたは手段34は、関連ROI25の画像特性に従って選択された注視点をフィルタリングする。例えば、滞留点24の画素強度に類似する画素強度に対応する注視点30が、フィルタされた注視点に含まれる。画像特性は、空間的な測定値および/または画像画素値を含むことができる。注視点フィルタ34は、注視点30と滞留点24の空間的位置間の画像特性の最尤解析を用いる。
境界特定部、プロセッサ、コンピュータルーチン、または手段36は、選択された注視点に基づいて境界を推定する。一実施形態では、選択された注視点は、注視点フィルタ34によってフィルタされた注視点である。境界は、注視点30の離散点から、ROI25内の表示画像14の面積または容積に近い連続境界領域または容積に変化する。
領域特定部、セグメント化プロセッサ、コンピュータルーチン、または手段38は、生成された境界に基づいてROI25をセグメント化する。領域特定部は、画像特性に基づいてROI25へと境界を拡張および/または縮小するアルゴリズムを使用し、生成された境界を自動分割アルゴリズムへの入力のための初期推定として使用する。セグメント化されたROI25は、表示された画像14上に別々に表示され、ならびに/または、システムアクセス可能記憶装置および/もしくは直接アクセス可能記憶装置などの画像データ記憶装置40に記憶される。セグメント化されたROI25を使用して、面積測定および/または容積測定を行うことができる。例えば、セグメント化されたROIを用いて、被験体の1つの画像および同じ被験体の後の画像におけるROIをセグメント化することにより、腫瘍の成長を決定することができる。
注視点コレクタ32、注視点フィルタ34、境界特定部36および領域特定部38は、コンピュータ12の電子プロセッサまたは電子処理装置のようなデータ処理装置26によって、または、ネットワークによってコンピュータ12と動作可能に接続されたネットワークベースのサーバコンピュータなどによって、適切に実施される。さらに、開示された収集、フィルタリング、境界識別、およびセグメンテーション技術は、データ処理装置によって読み出し可能であり、開示された技術を実行するためにデータ処理装置によって実行可能である命令(例えば、ソフトウェア)を記憶する非一過性記憶媒体を使用して、適切に実装される。
図2を参照すると、選択された注視点54が示されている、表示された画像14の一部の例示的な医用画像50および分解図52が示されている。ROI25は、選択された注視点54によって全体的に覆われた白っぽい領域である。選択された注視点54は、チェッカーボードパターンで示されている。選択された注視点54は、表示された画像14と対比する異なる色、形状、および/または強度で図示されることができる。滞留点24は白丸で示されている。滞留点は、表示画像14および選択された注視点54とは対照的な異なる色、形状および/または強度で示されることができる。例えば、滞留点は点滅するドットで示され、注視点はグレースケールの画像中の黄色の点で示される。選択される注視点54は、マウスクリックの1秒前に注視追跡装置によって生成された点から、リスト中に集められる。リストに集められた点は、滞留点24および表示された画像14に空間的に関連する。
図3を参照すると、注視点を有する例示的な医用画像の分解図52は、1つ以上の入力装置22からの較正設定または追加の入力を示す。滞留点24および選択された注視点54は、ROI25から離れて表示されている。注視点コレクタ32は、ROI25に対する選択された注視点54の空間的位置を較正する。例えば、意図されるROI25上でのマウスからのクリックまたは「クリックアンドドラッグ」入力などの入力空間位置56により、32における注視点の較正は、滞留点24と並進した滞留点60との間の不整合に基づく。滞留点24と並進した滞留点60との間の距離は、滞留点24に基づいて選択された注視点54に適用される較正された測定値を提供する。較正された測定値は、ユーザーバイアスとシステム誤差の両方を考慮する。適切に位置合わせされた滞留点、例えば、結果として生じる並進が図2の分解図52に示されている。
図4を参照すると、典型的な医用画像の分解図が、フィルタリングされた注視点60と共に示される。一実施形態では、注視点フィルタ34による最尤分析が、選択された注視点54を部分集合へと洗練する。最尤法分析は、滞留点24と各注視点の画素間の輝度類似度、勾配類似度および/または空間距離を使用してフィルタリングする。他のフィルタ技術が企図される。同様の可能性が高い選択された注視点54はフィルタリングされたサブセットに含まれ、そして異なる可能性が高い選択された注視点54は除外される。例えば、暗い領域に位置する図2に示された選択された注視点は除外され、ROIの白っぽい領域に位置する選択された注視点は、フィルタリングされた注視点60に含まれる。ROIの根本的な性質、異なるモダリティ、および、各モダリティで利用可能な異なる撮像パラメータによる医用画像において、選択された注視点54にはノイズがあり、例えば、ROIの近くおよび外側に位置する注視点は、フィルタリングによって除外される。
図5を参照すると、フィルタされた注視点60に基づく初期境界70を有する例示的な医用画像が示される。境界特定部36は、動的輪郭モデルもしくはアルゴリズム、および/またはレベルセットアルゴリズムを使用して境界を生成する。アルゴリズムは、注視点またはフィルタリングされた注視点によって表される画素値による空間点を連続境界に変換する。初期境界70は、表示装置20に表示されることができる。例示的な医用画像では、初期境界70は、チェッカーボードパターンで幅広の線を有する連続境界領域として表される。初期境界70は、表示された画像14とは対照的な、異なるテクスチャ、色、ハイライトなどで表されることができる。
図6を参照すると、セグメント化されたROI80を有する例示的な医療画像が示される。領域特定部38は、初期境界70を入力として用いてROI25をセグメント化する。領域特定部38は、領域成長アルゴリズム、動的輪郭アルゴリズム、ライブワイヤアルゴリズム、および/または領域ベースのレベルセットアルゴリズムなどの自動領域セグメント化技術を使用してROI25をセグメント化する。一実施形態では、コスト関数は、現在の境界の外の画素位置の画素値を、現在の境界の内の画素位置の画素値と比較して、修正された境界内の包含を決定する。セグメント化されたROI80は、表示された画像14上に表示され、別に表示され、領域測定または容積測定のためにさらに使用され、かつ/または画像データ記憶装置40に記憶される。例示的な医用画像では、セグメント化されたROI80は、ROI25を囲む連続したチェッカーボード線によって表され、暗い周辺領域において白っぽく見える。セグメント化されたROI80は、表示された画像14とは対照的な色、テクスチャ、ハイライトなどを使用して表示されることができる。
図7を参照すると、注視点駆動型ROIセグメンテーションの実施形態を使用する1つの方法がフローチャートで示されている。ステップまたはモジュール90によって、注視追跡が較正される。注視追跡装置28を用いた注視追跡較正は、ユーザの注視を表示装置20の座標系に較正する。較正は、記憶され、再使用されるユーザプロファイルの構築および/または更新を含むことができる。例えば、点が表示されることができ、ユーザの測定された注視点は表示点に対して較正されることができる。画面上のさまざまな場所に追加の点を表示してこの技術を繰り返すことで、構成を洗練させることができる。
画像14は、ステップまたは表示装置20のモジュール92によって表示される。表示される画像14は、システム・アクセス可能な記憶装置、直接アクセス可能な記憶装置などのような、画像データ記憶装置16から受信されることができる。
注視点30は、ステップまたはモジュール94によって、注視追跡装置28によって表示画像14に対して生成される。各注視点は、時間属性および空間属性を含む。例えば、注視点は、タイムスタンプTi、ならびに、表示装置および/または表示された画像に対する位置(xi, yi)を含む。表示装置に対する位置は、表示された画像に対する相対位置に変換される。
ステップまたはモジュール96において、注視点30は、表示された画像14のROI25に対応する生成された注視点30から選択される。1つ以上の入力装置22からの入力が、滞留点24を決定する。入力は、空間的におよび時間的に、ある点を決定します。所定の時間間隔内に生成された注視点30から選択される注視点を選択するために、対応する所定の時間間隔が使用される。例えば、 マウスクリックは画像位置を入力して時刻Tmに発生し、Tmは、入力前に0.2秒ずれた0.8秒間の所定の時間間隔[Tm-1.0秒, Tm-0.2秒]に対応し、間隔[Tm-1.0秒, Tm-0.2秒]内に発生した生成された注視点を選択する。選択された注視点54は、セグメンテーションに使用されるROI25のユーザ入力を示す。
決定ステップまたはモジュール98によって、較正が決定される。較正は、入力を使用して、選択された注視点54を平行移動させる。例えば、選択された注視点が表示された状態で、システムは入力を一時停止する。ステップまたはモジュール100において、選択された注視点54は入力を用いて較正される。例えば、マウス入力を使用するドラッグアンドドロップ操作は、選択された注視点を表示された画像に対して平行移動させ、例えば、表示されている注視点をシフトする。この平行移動は、平行移動のためのアンカーポイントとして滞留点24を使用することができる。一実施形態では、平行移動は、選択された注視点を、接続された注視点のクラウドまたはクラスタとして使用して、1つの入力操作でクラウドまたはクラスタを移動させる。
選択された注視点54は、ステップまたはモジュール102によってフィルタリングされることができる。フィルタは、滞留点24の画素値と選択された注視点54の画素値との最尤分析を使用して、フィルタリングされた注視点60への包含/除外を決定する。最尤分析は、強度類似度、勾配類似度、および/または空間距離を使用する。例えば、滞留点からの距離は、最大距離よりも大きい選択された注視点を除外するために使用される。一実施形態では、フィルタリングされた注視点60が表示され、追加の入力が、個々のフィルタリングされた注視点をさらに除去することができる。
ステップまたはモジュール104によって、初期推定境界70が、フィルタリングされた注視点60に基づいて生成される。一実施形態では、境界70は、選択された注視点54に基づいて生成される。境界70は、例えば、動的輪郭アルゴリズムまたはレベルセットアルゴリズムを使用して、境界特定部36によって生成される。アルゴリズムは、フィルタリングされた注視点60および表示された画像14の画素位置および値を入力し、連続境界、例えばスネークを生成する。
ステップまたはモジュール106によって、ROI25は、推定された境界70に基づいてセグメント化される。領域特定部38は、自動セグメント化技術を使用して、推定された境界70をセグメント化されたROI80へと拡張/縮小する。自動セグメンテーション技術は、例えば、領域拡張アルゴリズム、動的輪郭アルゴリズム、ライブワイヤアルゴリズム、または領域ベースのレベルセットアルゴリズムを含む。
これらのステップは、他のROIに対して繰り返されることができる。これらのステップは、反復および/または他のステップに戻ることを含むことができる。例えば、選択点100の較正を繰り返すことができる。別の例では、選択された注視点54および/またはフィルタリングされた注視点60の表示に基づいて、処理は注視点94の生成または注視追跡90の較正に戻ることができる。
本明細書に提示された特定の例示的な実施形態に関連して、特定の構造的および/または機能的特徴は、定義された要素および/または構成要素に組み込まれるものとして記載されることを理解されたい。しかしながら、これらの特徴は、同じまたは同様の利益のために、同様に他の要素および/または構成要素に同様に組み込まれてもよいことが企図される。また、例示的な実施形態の異なる態様は、所望の用途に適した他の代替実施形態を達成するために適宜選択的に使用されてもよく、他の代替実施形態はそれに組み込まれる態様のそれぞれの利点を実現する。
また、本明細書に記載された特定の要素または構成要素は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの組み合わせを介して適切に実装された機能を有することができることも理解されたい。さらに、本明細書に記載されている特定の要素は、適切な状況下では、独立した要素であるか、または別の態様で分割されてもよいことを理解されたい。同様に、1つの特定の要素によって実行されると記載された複数の特定の機能は、個々の機能を実行するために独立して作用する複数の個別の要素によって実行されてもよく、あるいは、特定の個々の機能は、一斉に動作する複数の異なる要素によって分割されて実行されてもよい。あるいは、本明細書において他と区別されて説明および/または示されているいくつかの要素または構成要素は、必要に応じて物理的または機能的に組み合わされてもよい。
要するに、本明細書は、好ましい実施形態を参照して説明されている。明らかに、本明細書を読んで理解すると、他への修正および変更が生じるであろう。本発明は、添付の特許請求の範囲またはその均等物の範囲内に入る限りにおいて、そのような改変および変更の全てを含むと解釈されることが意図される。すなわち、上述した様々な特徴および機能、またはそれらの代替物は、多くの他の異なるシステムまたはアプリケーションに望ましく組み合わせることができ、また、現在予期せぬまたは予期せぬ様々な代替形態、 当業者であれば、以下の特許請求の範囲によって包含されるように同様に意図されている変形または改良を後で行うことができる。

Claims (20)

  1. 画像を表示する表示装置、
    表示された前記画像に対する注視点を生成する注視点追跡装置、
    表示された前記画像の関心領域に対応する前記生成された注視点から注視点を選択する注視点コレクタ、
    選択された注視点に基づいて境界を推定する境界特定部、および
    推定された境界に基づいて前記関心領域をセグメント化する領域特定部、
    を有する関心領域セグメンテーションシステム。
  2. 前記注視点コレクタが、
    前記生成された注視点から滞留点を生成し、前記滞留点は、前記関心領域内の表示された前記画像中の空間的位置を特定し、前記滞留点は、選択された注視点の空間的および時間的な近接度を定め、前記表示装置は、表示された前記画像に対する前記滞留点の視覚的表現を表示する、請求項1に記載の関心領域セグメンテーションシステム。
  3. 前記関心領域内の表示された前記画像中の空間的位置を特定する滞留点を入力するコンピュータ入力装置を有し、前記滞留点は選択された注視点の時間的近接度を定め、前記表示装置は、表示された前記画像に対する前記滞留点の視覚的表現を表示する、請求項1に記載の関心領域セグメンテーションシステム。
  4. 前記滞留点の画像特性にしたがって、選択された前記注視点をフィルタリングする注視点フィルタを有し、前記境界特定部は、フィルタリングされた注視点に基づいて前記境界を生成する、請求項1から請求項3のいずれか一項に記載の関心領域セグメンテーションシステム。
  5. 前記注視点フィルタは、
    前記滞留点に対応する前記画像の画素と選択された注視点に対応する前記画像の画素との間の強度類似度、
    前記滞留点に対応する前記画像の画素と選択された注視点に対応する前記画像の画素との間の勾配類似度、
    前記滞留点に対応する前記画像の画素と選択された注視点に対応する前記画像の画素との間の空間的距離、
    のうちの少なくとも1つを含む最尤分析を用いてフィルタリングを行う、請求項4に記載の関心領域セグメンテーションシステム。
  6. 前記表示装置が選択された注視点の視覚的表現を表示し、
    前記注視点コレクタが、表示された前記画像中の位置を特定するコンピュータ入力装置からの入力に基づいて前記関心領域に対する選択された注視点の空間的位置を較正する、請求項2から請求項5のいずれか一項に記載の関心領域セグメンテーションシステム。
  7. 前記境界特定部が、動的輪郭アルゴリズムおよびレベルセットアルゴリズムの少なくとも1つを用いて推定される境界を生成する、請求項1から請求項6のいずれか一項に記載の関心領域セグメンテーションシステム。
  8. 前記領域特定部が、
    領域成長アルゴリズム、
    動的輪郭アルゴリズム、
    ライブワイヤアルゴリズム、
    レベルセットアルゴリズム、
    の少なくとも1つに基づいて前記関心領域をセグメント化する、請求項1から請求項7のいずれか一項に記載の関心領域セグメンテーションシステム。
  9. 前記注視点追跡装置が、固定式装置および身体装着装置の少なくとも1つを含む、請求項1から請求項8のいずれか一項に記載の関心領域セグメンテーションシステム。
  10. 表示される前記画像が、
    画像アーカイブ通信システム(PACS)、
    医療撮像装置、
    のうちの少なくとも1つから受信される、請求項1から請求項9のいずれか一項に記載の関心領域セグメンテーションシステム。
  11. 画像を表示し、
    表示された前記画像に対する注視点を生成し、
    表示された前記画像の関心領域に対応する前記生成された注視点から注視点を選択し、
    選択された注視点に基づいて境界を推定し、および
    推定された境界に基づいて前記関心領域をセグメント化する、
    関心領域セグメンテーション方法。
  12. 前記選択が、
    前記関心領域内の表示された前記画像中の空間的位置を特定し、選択される注視点の時間的近接度を決定する滞留点を入力し、
    前記画像に対する前記滞留点の視覚的表現を表示する、
    請求項11に記載の関心領域セグメンテーション方法。
  13. 前記滞留点の画像特性にしたがって選択された注視点をフィルタリングし、
    前記境界の推定がフィルタリングされた注視点に基づく、
    請求項12に記載の関心領域セグメンテーション方法。
  14. 前記フィルタリングが、
    前記滞留点に対応する前記画像の画素と選択された注視点に対応する前記画像の画素との間の強度類似度、
    前記滞留点に対応する前記画像の画素と選択された注視点に対応する前記画像の画素との間の勾配類似度、
    前記滞留点に対応する前記画像の画素と選択された注視点に対応する前記画像の画素との間の空間的距離、
    のうちの少なくとも1つを含む最尤分析を用いる、
    請求項13のいずれか一項に記載の関心領域セグメンテーション方法。
  15. 選択された注視点の視覚的表現を表示し、
    コンピュータ入力装置から入力された画像位置に基づいて前記関心領域に対する選択された注視点の空間的位置を較正する、
    請求項11から請求項14のいずれか一項に記載の関心領域セグメンテーション方法。
  16. 前記境界の推定が、動的輪郭アルゴリズムおよびレベルセットアルゴリズムの少なくとも1つを用いる、請求項11から請求項15のいずれか一項に記載の関心領域セグメンテーション方法。
  17. 前記関心領域のセグメント化が、
    領域成長アルゴリズム、
    動的輪郭アルゴリズム、
    ライブワイヤアルゴリズム、
    レベルセットアルゴリズム、
    の少なくとも1つに基づく、請求項11から請求項16のいずれか一項に記載の関心領域セグメンテーション方法。
  18. コンピュータにより実行され、前記コンピュータに請求項11から請求項17のいずれか一項に記載の方法を実行させるコンピュータプログラム。
  19. 請求項11から請求項17のいずれか一項に記載の方法を実行するように構成されたデータ処理装置。
  20. 表示装置上に医用画像を表示し、
    表示された医用画像上の滞留点の入力に基づいて注視追跡装置によって生成された所定の滞留期間による注視点を選択し、
    前記注視点に対応する位置における画像特性に基づいて、選択された注視点を空間的にフィルタリングし、
    フィルタリングされた注視点の空間的位置および表示された画像に対応する画素値に基づいて関心領域をセグメント化する、
    1つまたは複数のプロセッサを有し、
    前記滞留点は、表示された医用画像の関心領域内の点を空間的に選択し、前記所定の滞留期間に対する点を時間的に選択する、
    関心領域セグメンテーションシステム。
JP2017522093A 2014-10-23 2015-10-10 注視追跡駆動による関心領域セグメンテーション Pending JP2017536873A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201462067464P 2014-10-23 2014-10-23
US62/067,464 2014-10-23
PCT/IB2015/057760 WO2016063167A1 (en) 2014-10-23 2015-10-10 Gaze-tracking driven region of interest segmentation

Publications (1)

Publication Number Publication Date
JP2017536873A true JP2017536873A (ja) 2017-12-14

Family

ID=54360498

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017522093A Pending JP2017536873A (ja) 2014-10-23 2015-10-10 注視追跡駆動による関心領域セグメンテーション

Country Status (6)

Country Link
US (1) US10133348B2 (ja)
EP (1) EP3210163B1 (ja)
JP (1) JP2017536873A (ja)
CN (1) CN107077211B (ja)
RU (1) RU2673975C2 (ja)
WO (1) WO2016063167A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200122141A (ko) * 2019-04-17 2020-10-27 옵티멈솔루션 주식회사 의료 영상 세그멘테이션 장치 및 이를 이용한 모델링 방법

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016097909A1 (en) * 2014-12-16 2016-06-23 Koninklijke Philips N.V. Automatic radiology reading session detection
WO2016112531A1 (en) * 2015-01-16 2016-07-21 Hewlett-Packard Development Company, L.P. User gaze detection
US10921979B2 (en) * 2015-12-07 2021-02-16 Huawei Technologies Co., Ltd. Display and processing methods and related apparatus
US11579686B2 (en) * 2016-03-07 2023-02-14 Apple Inc. Method and device for carrying out eye gaze mapping
US10733275B1 (en) * 2016-04-01 2020-08-04 Massachusetts Mutual Life Insurance Company Access control through head imaging and biometric authentication
US10956544B1 (en) 2016-04-01 2021-03-23 Massachusetts Mutual Life Insurance Company Access control through head imaging and biometric authentication
SK289010B6 (sk) 2016-10-17 2022-11-24 Ústav experimentálnej fyziky SAV, v. v. i. Spôsob interaktívnej kvantifikácie digitalizovaných 3D objektov pomocou kamery snímajúcej pohľad
US10971044B2 (en) * 2017-08-24 2021-04-06 Radiant Vision Systems, LLC Methods and systems for measuring electronic visual displays using fractional pixels
US10959696B1 (en) * 2019-11-25 2021-03-30 Robert Edwin Douglas Method and apparatus for an improved localizer for 3D imaging
CN108683841B (zh) * 2018-04-13 2021-02-19 维沃移动通信有限公司 图像处理方法及移动终端
US10748021B2 (en) * 2018-05-11 2020-08-18 Samsung Electronics Co., Ltd. Method of analyzing objects in images recorded by a camera of a head mounted device
CN108919957A (zh) * 2018-07-16 2018-11-30 北京七鑫易维信息技术有限公司 一种图像传输方法、装置、终端设备及存储介质
CN113544749B (zh) * 2019-02-20 2025-05-02 三星电子株式会社 用于在增强现实装置上显示内容的设备和方法
DE102019211536A1 (de) * 2019-08-01 2021-02-04 Siemens Healthcare Gmbh Automatische Lokalisierung einer Struktur
EP3786765A1 (en) * 2019-08-29 2021-03-03 Leica Instruments (Singapore) Pte. Ltd. Microscope, control circuit, method and computer program for generating information on at least one inspected region of an image
US11490968B2 (en) * 2020-07-29 2022-11-08 Karl Storz Se & Co. Kg Devices, systems, and methods for labeling objects of interest during a medical procedure
US11567569B2 (en) 2021-04-08 2023-01-31 Google Llc Object selection based on eye tracking in wearable device
CN113537295B (zh) * 2021-06-22 2023-10-24 北京航空航天大学 基于离群点引导的视线估计跨场景适配方法和装置
CN113837171B (zh) * 2021-11-26 2022-02-08 成都数之联科技有限公司 候选区域提取方法及系统及装置及介质及目标检测方法
US11556174B1 (en) * 2022-03-30 2023-01-17 Motorola Mobility Llc Monitoring system having contextual gaze-detection-based selection/triggering of caregiver functions
WO2024120958A1 (en) * 2022-12-09 2024-06-13 Koninklijke Philips N.V. Method, system, and computer program element for controlling an interface displaying medical images
CN116030247B (zh) * 2023-03-20 2023-06-27 之江实验室 一种医学图像样本生成方法、装置、存储介质及电子设备

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2735598B1 (fr) * 1995-06-16 1997-07-11 Alsthom Cge Alcatel Methode d'extraction de contours par une approche mixte contour actif et amorce/guidage
US5831594A (en) * 1996-06-25 1998-11-03 Sun Microsystems, Inc. Method and apparatus for eyetrack derived backtrack
US6697506B1 (en) * 1999-03-17 2004-02-24 Siemens Corporate Research, Inc. Mark-free computer-assisted diagnosis method and system for assisting diagnosis of abnormalities in digital medical images using diagnosis based image enhancement
US7176881B2 (en) * 2002-05-08 2007-02-13 Fujinon Corporation Presentation system, material presenting device, and photographing device for presentation
US7400761B2 (en) * 2003-09-30 2008-07-15 Microsoft Corporation Contrast-based image attention analysis framework
US7396129B2 (en) * 2004-11-22 2008-07-08 Carestream Health, Inc. Diagnostic system having gaze tracking
US8172754B2 (en) * 2006-04-18 2012-05-08 Panasonic Corporation Ultrasonograph
WO2008104082A1 (en) * 2007-03-01 2008-09-04 Titan Medical Inc. Methods, systems and devices for threedimensional input, and control methods and systems based thereon
US7556377B2 (en) * 2007-09-28 2009-07-07 International Business Machines Corporation System and method of detecting eye fixations using adaptive thresholds
US9237844B2 (en) * 2010-03-22 2016-01-19 Koninklijke Philips N.V. System and method for tracking the point of gaze of an observer
WO2012026145A1 (ja) * 2010-08-27 2012-03-01 コニカミノルタエムジー株式会社 診断支援システム及びプログラム
US8510166B2 (en) * 2011-05-11 2013-08-13 Google Inc. Gaze tracking system
CN102221881A (zh) * 2011-05-20 2011-10-19 北京航空航天大学 基于仿生代理与视线追踪兴趣区域分析的人机交互方法
US20120326969A1 (en) 2011-06-24 2012-12-27 Krishnan Ramanathan Image slideshow based on gaze of a user
US9503713B2 (en) * 2011-11-02 2016-11-22 Intuitive Surgical Operations, Inc. Method and system for stereo gaze tracking
CN102521595B (zh) * 2011-12-07 2014-01-15 中南大学 一种基于眼动数据和底层特征的图像感兴趣区域提取方法
JP6165846B2 (ja) * 2012-05-09 2017-07-19 インテル コーポレイション 目のトラッキングに基づくディスプレイの一部の選択的強調
US9239956B2 (en) 2012-06-28 2016-01-19 Oliver Hein Method and apparatus for coding of eye and eye movement data
EP2907453B1 (en) * 2012-09-28 2018-11-21 JVC Kenwood Corporation Diagnosis assistance device and diagnosis assistance method
US10775882B2 (en) * 2016-01-21 2020-09-15 Microsoft Technology Licensing, Llc Implicitly adaptive eye-tracking user interface
JP6740699B2 (ja) * 2016-05-10 2020-08-19 コニカミノルタ株式会社 画像解析システム
JP6812685B2 (ja) * 2016-07-13 2021-01-13 コニカミノルタ株式会社 動態解析装置
US10049457B2 (en) * 2016-08-29 2018-08-14 CephX Technologies Ltd. Automated cephalometric analysis using machine learning

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200122141A (ko) * 2019-04-17 2020-10-27 옵티멈솔루션 주식회사 의료 영상 세그멘테이션 장치 및 이를 이용한 모델링 방법
KR102235196B1 (ko) 2019-04-17 2021-04-02 이진균 의료 영상 세그멘테이션 장치 및 이를 이용한 모델링 방법

Also Published As

Publication number Publication date
EP3210163A1 (en) 2017-08-30
RU2673975C2 (ru) 2018-12-03
US20170242481A1 (en) 2017-08-24
CN107077211A (zh) 2017-08-18
RU2017117524A (ru) 2018-11-23
US10133348B2 (en) 2018-11-20
CN107077211B (zh) 2021-02-02
EP3210163B1 (en) 2020-12-23
WO2016063167A1 (en) 2016-04-28

Similar Documents

Publication Publication Date Title
EP3210163B1 (en) Gaze-tracking driven region of interest segmentation
US11033251B2 (en) Systems and methods for ultrasound imaging
JP6598452B2 (ja) 医用画像処理装置及び医用画像処理方法
CN106062753B (zh) 使得用户能够研究图像数据
US11263754B2 (en) Systems and methods for volumetric segmentation of structures in planar medical images
EP3606437B1 (en) Method and apparatus for physiological functional parameter determination
CN109416835B (zh) 医学图像中的变化检测
US9542012B2 (en) System and method for processing a pointer movement
EP4156089A1 (en) Method, device and system for automated processing of medical images to output alerts for detected dissimilarities
US10188361B2 (en) System for synthetic display of multi-modality data
US20180064409A1 (en) Simultaneously displaying medical images
US10810717B2 (en) Image processing apparatus, image processing method, and image processing system
CN107106137A (zh) 医学图像处理设备和方法
JP5654561B2 (ja) 輪郭形成のための自動コントラスト増強法
BRPI0709584A2 (pt) método para delinear uma roi ou um voi, e, sistema
US8121364B2 (en) System and methods for computer aided analysis of images
CN105684040A (zh) 支持肿瘤响应测量的方法
Gudise et al. Segmentation of MR Images of the Brain to Detect WM, GM, and CSF Tissues in the Presence of Noise and Intensity Inhomogeneity
KR102700668B1 (ko) 대상체의 초음파 영상을 디스플레이하는 방법 및 장치
Pourtaherian et al. Benchmarking of state-of-the-art needle detection algorithms in 3D ultrasound data volumes
CN107908323B (zh) 医学图像显示方法、装置和计算机存储介质
Lu Intelligent editing for post-processing of ROI segmentation