KR20170016461A - 메디컬 이미징에서 공간 및 시간 제약들을 이용하는 랜드마크 검출 - Google Patents

메디컬 이미징에서 공간 및 시간 제약들을 이용하는 랜드마크 검출 Download PDF

Info

Publication number
KR20170016461A
KR20170016461A KR1020177000509A KR20177000509A KR20170016461A KR 20170016461 A KR20170016461 A KR 20170016461A KR 1020177000509 A KR1020177000509 A KR 1020177000509A KR 20177000509 A KR20177000509 A KR 20177000509A KR 20170016461 A KR20170016461 A KR 20170016461A
Authority
KR
South Korea
Prior art keywords
detecting
valve
frames
bounding box
candidate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020177000509A
Other languages
English (en)
Other versions
KR101908520B1 (ko
Inventor
미하이 스큐타루
잉마르 포크트
톰마소 만시
라즈반 이오나세크
헬렌 씨. 하울
아난드 비노드 탓패티
도린 커마니시우
보그단 조르제스쿠
노하 유쓰리 엘-제히리
Original Assignee
지멘스 메디컬 솔루션즈 유에스에이, 인크.
지멘스 악티엔게젤샤프트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 지멘스 메디컬 솔루션즈 유에스에이, 인크., 지멘스 악티엔게젤샤프트 filed Critical 지멘스 메디컬 솔루션즈 유에스에이, 인크.
Publication of KR20170016461A publication Critical patent/KR20170016461A/ko
Application granted granted Critical
Publication of KR101908520B1 publication Critical patent/KR101908520B1/ko
Assigned to 지멘스 헬스케어 게엠베하 reassignment 지멘스 헬스케어 게엠베하 권리지분의 전부이전등록 Assignors: 지멘스 악티엔게젤샤프트
Assigned to 지멘스 헬스케어 게엠베하 reassignment 지멘스 헬스케어 게엠베하 권리지분의 전부이전등록 Assignors: 지멘스 메디컬 솔루션즈 유에스에이, 인크.
Assigned to 지멘스 헬시니어스 아게 reassignment 지멘스 헬시니어스 아게 권리의 전부이전등록 Assignors: 지멘스 헬스케어 게엠베하
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2136—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on sparsity criteria, e.g. with an overcomplete basis
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/29—Graphical models, e.g. Bayesian networks
    • G06F18/295—Markov models or related models, e.g. semi-Markov models; Markov random fields; Networks embedding Markov models
    • G06K9/6256—
    • G06K9/6297—
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/143—Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/84—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using probabilistic graphical models from image or video features, e.g. Markov models or Bayesian networks
    • G06V10/85—Markov-related models; Markov random fields
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/192—Recognition using electronic means using simultaneous comparisons or correlations of the image signals with a plurality of references
    • G06V30/194—References adjustable by an adaptive method, e.g. learning
    • G06K2209/051—
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20164—Salient point detection; Corner detection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30048—Heart; Cardiac
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/12—Bounding box
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/031—Recognition of patterns in medical or anatomical images of internal organs

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Probability & Statistics with Applications (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

해부학적 구조, 이를테면, 유두근이 자동으로 검출(34)되고 그리고/또는 실시간으로 검출된다. 소형 해부학적 구조의 자동 검출(34)을 위해, 공간(32) 및 시간(예컨대, 마르코프)(34) 제약들을 이용하는 기계 학습 분류가 사용된다. 실시간 검출을 위해, 광학적 흐름 추적(38)과 인터리빙된 희소 기계 학습 검출(34)이 사용된다.

Description

메디컬 이미징에서 공간 및 시간 제약들을 이용하는 랜드마크 검출{LANDMARK DETECTION WITH SPATIAL AND TEMPORAL CONSTRAINTS IN MEDICAL IMAGING}
관련 출원들
[0001] 본 특허 문서는, 미국 가 특허 출원 일련 번호들인 2015년 3월 4일자로 출원된 제 62/128,177호 및 2014년 6월 9일자로 출원된 제 62/009,512호의 출원일들의 이득을 35 U.S.C. §119(e) 하에서 주장하며, 이들은 이로써 인용에 의해 통합된다.
[0002] 본 실시예들은 랜드마크(landmark)(예컨대, 지점, 윤곽들, 표면들, 또는 볼륨(volume)들) 검출에 관한 것이다. 특히, 해부학적 구조(anatomy)가 메디컬 이미징(medical imaging)에서 검출된다.
[0003] 경식도 심초음파(transesophogeal echocardiography)는 환자의 심장을 스캔(scan)한다. 승모판막(mitral valve)은 특정한 관심대상일 수 있다. 좌심방으로부터 좌심실로의 일방향 흐름을 보장하는 승모판막은 불충분한 폐쇄를 겪을 수 있다. 불충분한 폐쇄는 수축기 동안에 혈액이 심방으로 누출되게 한다. 치료를 위해, 카테터 장착 임플란트(catheter mounted implant)가 승모판막에 전달된다. 임의의 승모판막 치료를 위한 계획 및/또는 수행은 메디컬 이미징에서의 승모판막 구조들의 검출 및 추적으로부터 이득을 얻을 수 있다.
[0004] 승모판막 구조들의 검출은, 소형 사이즈(size) 및 신속한 움직임으로 인해 어려울 수 있다. 승모판막 구조들의 시간 소모적인 수동 식별이 아니라, 자동화된 접근법들이 사용될 수 있다. 대동맥판막 및 승모판막 양쪽 모두를 검출하기 위해 가장자리 공간 학습(marginal space learning)이 사용될 수 있지만, 유두상(papillary) 랜드마크들에 대한 일관된 결과들이 없다. 기계적 제약들이 추가될 수 있으며, 이는 더욱 강건한 소엽(leaflet) 추적 및 판막밑(sub-valvular) 장치의 식별을 제공한다.
[0005] 반자동 메커니즘(mechanism)들은 일반적으로, 이미지(image)에서 랜드마크를 식별하기 위해 초기 사용자 입력을 결합시킨다. 이후, 이웃 프레임(frame)들에 걸쳐 랜드마크가 추적된다. 하나의 반자동 접근법에서, 사용자들은 유두근들이 수동으로 식별되는 20개 평면들을 갖는다. 이 접근법은 시간 소모적이다.
[0006] 승모판 복원 시술을 안내하기 위해 수술중 이미징(intra-operative imaging )이 사용된다. 검출은 실시간 안내를 위해 충분히 신속하게 동작하지 않을 수 있다. 실시간 가능 사차원(즉, 시간에 따른 삼차원 공간) 이미징 하드웨어(hardware)의 이용가능성에도 불구하고, 한 번에 단일 심장 페이즈(cardiac phase)의 제한된 이차원 이미징 및 분석이 통상적으로 사용된다. 값비싼 자기 추적 하드웨어를 이용하여 승모판막 고리가 이차원 이미징 동안에 실시간으로, 그러나 제한된 공간 분해능으로 검출될 수 있으며, 동일한 심장 페이즈의 이미지들에 대해 추적하는 것으로 제한된다.
[0007] 도입부로서, 아래에 설명되는 바람직한 실시예들은 해부학적 구조, 이를테면, 유두근을 자동으로 및/또는 실시간으로 검출하기 위한 방법들, 컴퓨터 판독가능 매체(computer readable media) 및 시스템(system)들을 포함한다. 소형 해부학적 구조의 자동 검출을 위해, 공간 및 시간 제약들을 이용하는 기계 학습 분류(machine-learnt classification)가 사용된다. 실시간 검출을 위해, 광학적 흐름 추적과 인터리빙된(interleaved) 희소 기계 학습 검출이 사용된다.
[0008] 제 1 양상에서, 메디컬 이미징에서 유두근 위치처럼 지점별 랜드마크(point-wise landmark)들을 강건하게 검출 및/또는 추적하기 위한 방법이 제공된다. 메디컬 이미징 데이터(data)의 프레임(frame)들의 시퀀스(sequence)가 취득된다. 프레임들 각각은 환자의 심장의 볼륨(volume)을 표현한다. 심장의 판막을 에워싸는 판막 바운딩 박스(bounding box)가 프레임들 각각에서 검출된다. 판막 바운딩 박스에 기반하여, 판막밑 랜드마크(예컨대, 유두근) 위치를 에워싸는 판막밑 바운딩 박스가 프레임들 각각에서 검출된다. 판막밑 바운딩 박스 내의 판막밑 랜드마크 위치의 후보 위치들이 프레임들 각각에서 검출된다. 공간 제약 밖의 후보 위치들이 제거된다. 제거 이후에 남아 있는 후보 위치들 중 하나의 후보 위치가 판막밑 랜드마크 위치로서 프레임들 각각에서 선택된다. 이 선택은 프레임들에 걸친 후보 위치들의 함수이다. 판막밑 랜드마크 위치는 환자의 심장의 이미지에서 하이라이팅된다(highlighted).
[0009] 제 2 양상에서, 비-일시적 컴퓨터 판독가능 저장 매체는, 랜드마크 검출을 위해, 프로그래밍된 프로세서(programmed processor)에 의해 실행가능한 명령들을 표현하는 데이터를 저장하고 있고, 랜드마크들은 지점들, 윤곽들, 표면들 또는 볼륨들일 수 있다. 저장 매체는, 기계 학습 분류기를 이용하여 후보 해부학적 랜드마크들을 위치결정하고, 공간 제약을 이용하여 후보 해부학적 랜드마크들을 제한하고, 제한 이후에 남아 있는 후보 해부학적 랜드마크들로부터의 랜드마크의 위치를 복수의 볼륨들 각각에서 선택하고 ―이 선택은 시간에 따른 후보 랜드마크들의 함수임―, 그리고 랜드마크의 이미지를 생성하기 위한 명령들을 포함한다.
[0010] 제 3 양상에서, 해부학적 랜드마크를 검출하기 위한 시스템이 제공되며, 여기서 랜드마크는 지점들, 곡선들 및 메시(mesh)들 또는 표면들을 포함하는 일반적인 용어이다. 초음파 스캐너(scanner)는 환자의 심장 볼륨을 스캔(scan)하도록 구성된다. 스캔은 시간에 따라 심장의 적어도 일부를 표현하는 메디컬 진단 초음파 데이터를 제공한다. 프로세서는, 스캔을 이용하여 실시간으로 해부학적 랜드마크의 위치를 결정하도록 구성되고, 위치는, 희소 프레임들에 대한 기계 학습 분류 및 희소 프레임들 사이에 끼어 있는 프레임들에 대한 광학적 흐름을 이용하여 결정되며, 위치는 희소 프레임들 및 인터리빙된(interleaved) 프레임들이 취득될 때 순차적으로 결정된다.
[0011] 본 발명은 하기의 청구항들에 의해 정의되며, 본 섹션(section)의 아무것도 그러한 청구항들에 대한 제한으로서 취해지지 않아야 한다. 본 발명의 추가적인 양상들 및 장점들은 바람직한 실시예들과 함께 아래에서 논의되며, 독립적으로 또는 결합하여, 이후에 청구될 수 있다.
[0012] 컴포넌트(component)들 및 도면들이 반드시 축척에 맞는 것은 아니며, 대신에 본 발명의 원리들을 예시할 때 강조가 이루어진다. 게다가, 도면들에서, 동일한 참조 부호들은 상이한 도면들 전체에 걸쳐 대응하는 부분들을 지시한다.
[0013] 도 1-도 3은 해부학적 구조를 위치결정하기 위한 방법의 상이한 실시예들의 흐름도 다이어그램(diagram)들이다.
[0014] 도 4는 검출된 바운딩 박스를 와이어(wire) 프레임으로서 보여 주는 예시적인 렌더링된(rendered) 이미지이다.
[0015] 도 5a 및 도 5b는 각각, 타이트(tight)한 패턴(pattern) 및 넓은 패턴으로, 유두상 끝(papillary tip)들의 후보 지점들의 하이라이팅된 위치들을 갖는 예시적인 렌더링된 이미지들을 도시한다.
[0016] 도 6은, 공간 제약을 이용하여 제한한 이후에 남아 있으며 시간 제약을 사용하여 선택된, 검출기에 의해 출력된 예시적 후보 유두상 끝 위치와 지상 검증자료(ground truth) 유두상 끝 위치를 도시한다.
[0017] 도 7은 승모판막의 개개의 오버레이된 그래픽들(overlaid graphics)을 갖는 예시적 초음파 이미지들을 도시한다.
[0018] 도 8 및 도 9는 기계 학습 분류기를 이용하여 해부학적 구조를 검출하고, 광학적 흐름을 이용하여 해부학적 구조를 추적하기 위한 방법의 상이한 실시예들의 흐름도 다이어그램들이다.
[0019] 도 10은 지상 검증자료와 오버레이된, 검출된 승모판막 고리(mitral valve annulus)의 예시적 이미지들을 도시한다.
[0020] 도 11a 및 도 11b는, 기계 학습 검출에 의한 위치의 가끔의 업데이팅(occasional updating)을 이용하는, 그리고 이용하지 않는 광학적 흐름 추적에 대한 예시적 오차들을 도시한다.
[0021] 도 12는 해부학적 검출을 위한 시스템의 일 실시예의 블록(block) 다이어그램이다.
[0022] 미국에서는 매년 대략 65,000번의 판막 복원들 및 교환들이 수행된다. 승모판막 협착증 및 탈출된 상태들은 복원된다. 남자들보다 두 배만큼 많은 여자들이 승모판막 협착증에 의해 영향받는다. 승모판막 탈출증은 심장 판막들의 가장 흔한 상태이며, 일반 대중의 약 2%에서 존재한다. 외과의들은 심초음파로부터의 이미지들을 주의 깊게 검토하며, 복원 기술에 관해 결정하기 이전에, 판막 및 주변의 구조들을 시각적으로 어세싱(assess)한다. 두 개의 주요한 외과적 옵션(option)들은, 조직을 절제하고 끈(chord)들을 복원하거나 또는 교환함으로써 판막 소엽들의 임의의 비정상 모션(motion)을 고정시키는 것, 그리고 링(ring)을 임플란팅(implanting)함으로써 승모판 고리의 사이즈를 감소시키는 것이다. 다른 접근법들은, (1) 최적 판막 코옵테이션(cooptation)을 위해 유두상들을 리포지셔닝(repositioning)하는 것, (2) 정확한 판막 모션을 재설정하기 위해 인공 끈을 통해 근육 끝을 재부착함으로써, 끈 파열 복원(chordae rupture repair), 및 (3) 힘줄끈(chordae tendineae)으로 인한 카테터 또는 안내 와이어 얽힘(guide wire entanglement)을 정정하는 것을 포함한다.
[0023] 이러한 유형의 시술들을 용이하게 하기 위하여, 유두근들의 포지션(position)이 식별되어 외과의에게 제시된다. 4D 경식도(transesphogeal)(TEE) 또는 컴퓨터 단층촬영(CT;computed tomography) 이미지들과 같은 이미지들로부터의 랜드마크 검출을 사용하여, 전방(anterior) 및 후방(posterior) 유두근들이 식별될 수 있다. 주요한 어려움은, 타겟팅된(targeted) 랜드마크들이 취득된 프레임들 전부에서 항상 보이는 것이 아니라는 점이다. 이는 통상적인 검출을 비효율적으로 만드는데, 그 이유는 정확한 결정들을 하기 위한 충분한 정보가 없기 때문이다. 시간 데이터 및 상대적 공간 데이터 양쪽 모두를 활용하는 것은 검출기들이 이용가능한 지식을 증가시킨다. 가장자리 공간 학습은, 검출의 상이한 단계들 내에서 랜덤 샘플 컨센서스(RANSAC;random sample consensus) 및 마르코프(Markov) 제약들과 결합된다. 결과는, 4D 심초음파 취득들에서 유두근 끝들의 포지션을 식별하기 위해 임상적으로 배치될 수 있고, 이에 따라 최적 테라피(therapy) 계획을 위한 판막밑 계통(sub-valvular system)의 정량적 및 정성적 평가를 외과의에게 제공하는 강건하고 효율적인 랜드마크 검출 메커니즘이다.
[0024] 일 실시예에서, 심장 유두근 랜드마크들이 검출된다. 승모판막 바운딩 박스에 기반하여, 해부학적 하위구조 바운딩 박스 포지션이 추정된다. 두 개의 바운딩 박스들이 아니라 두 개의 랜드마크들(예컨대, 좌심방 부속기 끝(left atrial appendage tip)과 좌심방)이 공간적으로 관련되자마자, 동일한 시술이 작용할 수 있다. RANSAC 알고리즘(algorithm)을 사용하여, 박스 추정은 시간적으로(temporally) 미세조정된다(refined). 가장자리 공간 학습 분류기를 사용하여, 랜드마크들이 박스에서 검출된다. 검출된 랜드마크들에 공간 제약이 적용된다. 검출된 랜드마크들의 시간 미세조정은 마르코프 제약들을 사용한다.
[0025] 제안된 실시예는, 랜드마크 검출에서 보통 사용되는 것보다 추가적인 정보를 고려하도록 맞춤화된다. 추가적인 정보는, 시야 밖의 신호 드롭(drop) 또는 시야 밖의 구조를 보상한다. 먼저 전체 판막밑 복합체(complex)의 정확한 추정을 보장하고, 이후 각각의 랜드마크의 검출을 추가로 미세조정함으로써, 제안된 알고리즘의 정확성 및 강건성이 달성될 수 있다.
[0026] 다른 실시예에서, 4D 경식도 심초음파 이미징 데이터로부터 전방 및 후방 유두상 랜드마크들의 포지션이 자동으로 검출된다. 시스템은 전문가 주석이 달린 이미지 데이터베이스(expert annotated image database)로 통계적으로 트레이닝되고(trained), 주어진 순간(moment in time)의 해부학적 구조 포지션, 그러나 또한 상이한 시간 샘플(sample)들 사이의 해부학적 구조 모션 양쪽 모두를 고려한다. 일단 검출되면, 시스템은 측정 목적들을 위해 이미지들 상에 랜드마크들을 렌더링한다(render). 랜드마크 및 소엽 모델(model)을 사용하여 끈의 모델이 또한 렌더링된다(rendered).
[0027] 다른 실시예에서, 4D 경식도 이미징 데이터로부터 전방 및 후방 유두상 랜드마크들의 포지션을 자동으로 추적하기 위한 시스템이 제공된다. 해부학적 구조는 제 1 프레임에서 자동으로 검출되고, 제 1 프레임에서의 검출로부터 후속 검출들이 도출된다. 렌더링된 랜드마크들 및 끈은 그 해부학적 구조의 동역학(dynamics)을 보여 주도록 시간에 따라 업데이팅된다(updated).
[0028] 실시간으로 추적하기 위해, 임의의 해부학적 구조의 임의의 검출이 사용될 수 있는데, 이를테면, 승모판막 구조들이 검출된다. 중재적 사용(interventional use)을 허용하기 위해 충분히 높은 프레임-레이트(frame-rate)로 4D 이미지 데이터로부터 실시간으로 동적 기관들이 모델링된다(modeled). 변환기 탐침 모션으로 인한 잠재적으로 큰 변형들에 대처하기 위해, 기계 학습 기반 검출 알고리즘 및 고속 광학적 흐름 추적 방법의 결합이 사용된다.
[0029] 승모판막 역류는 US 인구의 1.7%에 영향을 끼치는 중요한 심장 장애이다. 점점 더 많은 경우들이 클립(clip)을 이용하여 경피적으로 치료되는데, 즉, 두 개의 승모판 소엽들이 함께 클립핑되어(clipped) 역류성 구멍이 폐쇄되는 테라피로 치료된다. 인터벤션(intervention)의 복잡성으로 인해, 계획 및/또는 클립 배치를 위한 이미지 안내가 제공된다. 계획 또는 배치 모니터링(monitoring)을 위해 승모판막 고리는 초당 많은(예컨대, 18개) 프레임들로 추적될 것이다. 강건한 기계 학습 분류 및 이미지-기반 추적을 결합함으로써, 실시간 검출이 제공된다. 이미지-기반 추적을 규칙적으로 초기화하기 위해 더욱 강건한 기계 학습 분류가 사용될 수 있다. 4D 메디컬 이미징에서 일 초에 10개 또는 그 초과의 프레임들로 판막 해부학적 구조의 실시간 추적이 제공될 수 있다.
[0030] 4D 경식도 심초음파에서의 승모판막 고리 및/또는 유두상 끝들이 아래에서 예들로서 사용된다. 다른 해부학적 구조 및/또는 다른 유형들의 메디컬 이미징이 사용될 수 있다. 동적 이미지 데이터(예컨대, 다른 초음파 또는 4D CT)로부터 모델링될 수 있는 임의의 다른 동적 해부학적 구조(예컨대, 다른 심장 판막들, 좌심방 부속기, 폐정맥들)가 실시간 검출 및/또는 공간 및 시간 제약들을 이용하는 검출로부터 이득을 얻을 수 있다. 단순한 매개변수 조절들을 통해, 이 실시예는 유사한 약한 표현(weak representation)을 겪는 임의의 다른 랜드마크들을 검출하도록 적응될 수 있다. 다른 실시예들에서, 하나보다 많은 심장 판막이 동시에 또는 동일한 이미징 세션(session) 동안에 식별 및 매개변수화된다. 예컨대, 승모판막 및 대동맥판막이 생리학적으로 모델링된다. 전체 심장, 심장의 절반, 또는 심장의 다른 하위-부분이 모델링될 수 있다.
[0031] 승모판막은 소형이고, 비교적 신속하게 움직인다. 그 결과, 승모판막을 보기 위해 사용되는 이미징의 유형들은 제한될 수 있는데, 이를테면, 초음파를 사용하는 것으로 제한된다. 4D CT 또는 MRI와 같은 임의의 다른 동적 이미징 모달리티(modality)가 사용될 수 있다. 제한된 유형들의 이미징을 이용하면, 승모판막의 스피드(speed) 및 소형 사이즈로 인해 시간 및/또는 공간 분해능 제한들이 주어지는 경우, 이미지들만으로 진단하거나 또는 계획하는 것이 어려울 수 있다. 일 실시예에서, 진단, 치료 계획 및 어세스먼트(assessment) 그리고 외과적 안내를 위한 심혈관 형태를 스캔하기 위해 경식도 심초음파(transesophageal echocardiography)(TEE)가 사용된다. 고품질 4D(시간에 따른 볼륨) TEE 이미징은 승모판막의 기하학적 구조의 분석 뿐만 아니라 동역학의 분석도 허용한다.
[0032] 도 1은 메디컬 이미징에서 유두근 위치를 검출하기 위한 방법의 일 실시예를 도시한다. 도 1의 방법은 공간 및 시간 제약들을 이용하는 자동 유두상 끝 검출과 실시간 추적 양쪽 모두를 포함한다. 다른 실시예들에서, 공간 및 시간 제약들을 이용하는 자동 검출(동작들 32 및 34)이 실시간 추적(동작들 38 및 40) 없이 제공되거나, 또는 그 반대이다. 추가적이거나, 상이하거나, 또는 더 적은 개수의 동작들이 제공될 수 있다. 예컨대, 바운딩 박스들을 사용하지 않고 해부학적 구조가 검출되는 경우, 동작들(26 및 28)은 제공되지 않는다. 다른 예로서, 스캐닝(scanning)하거나, 렌더링(rendering)과 상호작용하거나, 또는 계획 또는 인터벤션을 위한 다른 작업흐름의 초음파 시스템을 구성하기 위한 동작들이 제공된다.
[0033] 도 1은 승모판막 및 유두근 또는 끝을 위치결정하는 특정 예를 도시한다. 다른 실시예들에서, 임의의 판막 또는 임의의 판막에 대한 바운딩 박스가 발견된다. 유사하게, 임의의 판막밑 구조 또는 랜드마크 바운딩 박스, 그리고 구조 또는 랜드마크 자체가 검출될 수 있다. 예컨대, 이러한 다중-바운딩 박스 접근법은, 지점별(예컨대, 단일 픽셀(pixel) 또는 다중 픽셀 지점 유사) 랜드마크들을 검출하도록 동작할 수 있다. 다른 유형들의 랜드마크들, 이를테면, 라인(line)들, 곡선들, 영역들, 표면들(예컨대, 메시들), 또는 볼륨들이 검출될 수 있다.
[0034] 동작들은 도시된 순서로 또는 상이한 순서로 수행된다. 예컨대, 동작들(24-34)은 동작들(38 및 40)과 인터리빙된다(interleaved). 동작(36)은 동작(34) 이후에 그리고/또는 동작(40) 이후에 계속적인 방식으로 수행된다.
[0035] 방법은 메디컬 진단 이미징 시스템, 검토 스테이션(station), 워크스테이션(workstation), 컴퓨터, PACS 스테이션, 서버(server), 이들의 결합들, 또는 메디컬 데이터를 이미지 프로세싱(image processing)하기 위한 다른 디바이스(device)에 의해 구현된다. 예컨대, 도 12에 도시된 시스템 또는 컴퓨터 판독가능 매체(media)가 방법을 구현하지만, 다른 시스템들이 사용될 수 있다. 메모리(memory), 사용자 입력, 디스플레이(display), 및/또는 다른 컴포넌트들과 상호작용하는 임의의 유형의 시스템의 프로세서가 동작들을 수행할 수 있다.
[0036] 도 2는 하나 또는 그 초과의 유두상 끝들의 위치를 검출하기 위한 방법의 다른 실시예를 도시한다. 도 2의 방법은 도 1의 방법과 유사하지만, 흐름의 상이한 양상들을 하이라이팅한다. 도 2의 방법의 경우, 시간 및 공간 제약들을 사용하지만 광학적 흐름 추적은 이용되지 않고 해부학적 랜드마크가 자동으로 검출된다. 도 3은 도 2의 방법의 또 다른 실시예를 도시하는데, 동작들 중 일부에 대한 추가적인 세부사항을 갖는다.
[0037] 추가적이거나, 상이하거나, 또는 더 적은 개수의 동작들이 도 2 및 도 3의 실시예들에서 제공될 수 있다. 도 2 및 도 3의 동작들은 임의의 순서로 수행될 수 있다. 도 1에 대해 위에서 논의된 동일한 또는 상이한 디바이스(예컨대, 프로세서)가 도 2 또는 도 3을 구현할 수 있다.
[0038] 도 1-도 3의 동작들은 실시간으로, 이를테면, 스캐닝 동안에 수행될 수 있다. 볼륨을 표현하는 후속 데이터세트(dataset)들 또는 프레임들을 취득하기 위해 스캐닝하는 동시에, 랜드마크가 검출되고, 상이한 시간에 재검출되며, 그리고/또는 시간에 따라 추적될 수 있다. 볼륨을 표현하는 데이터의 취득으로부터 몇 분의 일 초, 이를테면, 0.05초 또는 그 미만 내에, 자동으로 검출된 해부학적 구조의 측정들 및/또는 이미지들이 제공될 수 있다. 대안적으로, 환자가 현재 설비에 있거나 또는 스캔되고 있는지 여부에 관계없이, 동작들은 원해질 때 임상의에 의해 수행된다. 동작들은 진료예약(appointment) 동안에, 또는 검토 기간에서 오프-라인(off-line)으로 수행될 수 있다. 환자-특정 데이터는 실시간으로가 아니라 이전 취득과 연관될 수 있다.
[0039] 프로세서는 동작들을 자동으로 수행할 수 있다. 사용자는 환자가 스캔되게 하거나, 또는 이전 스캔으로부터 환자에 대한 스캔 데이터를 획득한다. 사용자는 프로세스(process)를 활성화할 수 있다. 일단 활성화되면, 해부학적 구조가 식별되며, 추가적인 사용자 입력 없이, 이미지들이 생성된다. 스캔 데이터 중 임의의 스캔 데이터에서의 해부학적 구조의 위치들에 대한 사용자 입력이 회피될 수 있다. 이를테면, 모델링(modeling) 매개변수 값들을 변경하고, 검출된 위치들을 정정하고, 이미징을 바꾸고(예컨대, 렌더링하기 위한 보는 방향을 변경하고), 그리고/또는 정확성을 확인해 주기 위한 어떤 사용자 입력이 제공될 수 있다.
[0040] 동작(22)에서, 메디컬 이미징 데이터의 프레임들의 시퀀스가 취득된다. 메디컬 이미징 데이터는 TEE 데이터 또는 다른 유형이다. TEE 데이터의 경우, 초음파 TEE 탐침이 환자의 식도에 삽입되고, 심장을 음향학적으로 스캔하도록 배향된다.
[0041] 임의의 스캔 포맷(format)이 사용될 수 있다. 주어진 기간 동안에 환자를 표현하는 주어진 스캔은, 하나 또는 다수의 송신들 및 음향 에코(echo)들의 대응하는 수신들을 사용할 수 있다. 시야의 완전한 스캔으로부터의 데이터가 데이터의 프레임이다. 시야의 스캔을 반복함으로써, 상이한 기간들에 심장을 표현하는 상이한 프레임들이 획득된다. 임의의 프레임 레이트, 이를테면, 일 초에 열 개 또는 그 초과의 프레임들이 제공될 수 있다. 삼차원으로 스캐닝함으로써, 프레임들 각각은 환자의 심장의 볼륨을 표현한다. 일 실시예에서, 4D(3D+t) 초음파 데이터가 취득된다.
[0042] 초음파 스캔 데이터의 프레임들은 규칙적 3D 그리드(grid), 디스플레이된(displayed) 이미지들(예컨대, 검출 및 스캔 컨버팅된(scan converted) 초음파 데이터), 빔형성된(beamformed) 데이터, 검출된 데이터, 및/또는 스캔 컨버팅된 데이터로 보간된다. 이미징 데이터는 볼륨을 표현하는 프레임 또는 데이터일 수 있다. 이미징 데이터는, 이미지로서의 디스플레이를 위한 이미지 또는 데이터를 생성하기 이전에 도출된 프로세싱 경로로부터의 데이터일 수 있다. 데이터의 볼륨 또는 프레임은, 이미지 포맷의 데이터, 또는 상이한 포맷(예컨대, 스캔 포맷 또는 삼차원 그리드를 표현하는 포맷)의 데이터일 수 있다. 초음파 데이터는 환자의 볼륨 또는 3D 구역을 표현한다.
[0043] 볼륨 구역은 조직, 유체, 또는 다른 해부학적 구조들을 포함한다. 상이한 구조들 또는 상이한 유형들의 구조들은 음향 에너지(energy)에 상이하게 반응한다. 구조 또는 공간 양상의 형상은 B-모드(B-mode) 또는 고조파 데이터에 반영될 수 있다. 유체의 흐름은 색 흐름, 도플러(Doppler), 스펙트럼(spectral) 도플러, 또는 도플러 흐름 데이터에 반영될 수 있다.
[0044] 데이터의 프레임들은 실시간 스캐닝으로 취득된다. 초음파 데이터가 취득될 때, 랜드마크의 검출 및 이미지의 생성을 위한 데이터가 제공된다. 대안적으로, 데이터는 전송에 의해 취득되거나 또는 메모리로부터 로딩된다(loaded).
[0045] 데이터의 프레임들은 동일하게 프로세싱될(processed) 수 있는데, 이를테면, 동일한 검출이 각각의 프레임에 적용된다. 대안적으로, 일부 프레임들은 기계 학습 검출을 위해, 이를테면, 두 번째마다, 세 번째마다, 네 번째마다, 다섯 번째마다, 또는 다른 기간마다 사용된다. 취득된 시퀀스의 희소 샘플링(sparse sampling)은, 랜드마크의 검출된 위치를 주기적으로 업데이팅하기 위해 사용된다. 데이터의 다른 프레임들은, 더욱 시간 소모적인 기계 학습 검출을 적용하지 않고 추적하기 위해 사용된다. 광학적 흐름 실시예들의 경우, 기계 학습 검출은 일 초에 열 개 또는 그 초과의 프레임들로 실시간 동작을 위해 충분히 신속하게 수행될 수 있는 것이 아니라, 초당 세 개 또는 네 개 프레임들로 동작할 수 있다. 다른 프레임들에 대해, 광학적 흐름 추적이 수행된다. 광학적 흐름 프로세스는 실시간 동작을 위해 충분히 신속하게 볼륨 데이터에 대해 수행될 수 있다.
[0046] 동작(24)에서, 하나 또는 그 초과의 기계 학습 분류기들을 이용하여, 하나 또는 그 초과의 후보 해부학적 랜드마크들이 위치결정된다. 임의의 기계 학습이 임의의 검출 단계들에 대해 사용될 수 있다. 기계 학습 분류기는 임의의 하나 또는 그 초과의 분류기들이다. 단일 부류 또는 바이너리(binary) 분류기, 상이한 분류기들의 모음, 캐스케이딩된(cascaded) 분류기들, 계층적 분류기, 다중-부류 분류기, 모델-기반 분류기, 기계 학습에 기반한 분류기, 또는 이들의 결합들이 사용될 수 있다. 다중-부류 분류기들은 CART, K-최근접 이웃들, 신경망(예컨대, 다층 퍼셉트론(perceptron)), 혼합 모델들, 또는 다른 것들을 포함한다. 확률적 부스팅 트리(PBT;probabilistic boosting tree)가 사용될 수 있다. 오류-정정 출력 코드(ECOC;error-correcting output code)가 사용될 수 있다. 일 실시예에서, 메디컬 이미징 데이터로부터의 검출을 위한 하나 또는 그 초과의 분류기들을 트레이닝(train)하기 위해 가장자리 공간 학습이 사용된다.
[0047] 컴퓨터를 사용하여 트레이닝(training) 데이터 세트(set)로부터 분류기가 트레이닝된다. 임의의 개수의 전문가 주석이 달린 데이터 세트들이 사용된다. 예컨대, 심장을 표현하며 하나 또는 그 초과의 판막들을 포함하는 약 200개 볼륨 시퀀스들에 주석이 달린다. 주석(annotation)은 볼륨들 내의 구역들(예컨대, 바운딩 박스들), 판막 랜드마크들 및/또는 표면들을 표시한다. 각각의 볼륨의 상이한 해부학적 구조들 및/또는 바운딩 박스에 주석이 달린다. 이러한 많은 개수의 주석들은, 3-D 하르(Haar), 조종가능, 세기, 및/또는 다른 특징들의 대형 풀(pool)에 걸쳐 관련 특징들을 학습하기 위해 확률적 부스팅 트리 또는 다른 기계 학습의 사용을 허용한다. 각각의 분류기는 분류되고 있는 해부학적 구조 또는 바운딩 박스에 특정한 데이터 세트들, 특징들, 및/또는 주석들을 사용한다.
[0048] 일 실시예에서, 분류기는 지식-기반 확률적 모델, 이를테면, 계층적 탐색을 사용하는 가장자리 공간 학습이다. 데이터베이스-구동식 지식-기반 접근법을 제공하는 기계 학습을 위해, 알려진 케이스들의 데이터베이스가 수집된다. 트레이닝 데이터를 위해, 삼차원 콘텍스트(context) 정보가 보존되며, 검출 프로세스를 안내한다. 분류기는 원하는 해부학적 구조와 검출되고 있지 않은 정보 사이를 구별하기 위해 다양한 특징 벡터(feature vector)들을 학습한다. 대안적 실시예들에서, 분류기는 수동으로 프로그래밍된다(programmed).
[0049] 학습-기반 접근법들의 경우, 분류기는 특징들에 기반하여 구별하도록 지시받는다. 예컨대, 확률 모델 알고리즘은, 하르-형 로컬(local) 직사각형 필터(filter)들 ―이 필터들의 신속한 컴퓨테이션(computation)은 적분 이미지(integral image)의 사용에 의해 가능하게 됨― 에 기반하여, 특징들을 약한 학습기들의 강력한 위원회(committee)에 선택적으로 결합한다. 해부학적 구조들에 관련되는 특징들은, 전문가의 주석들에 기반하는 기계 알고리즘에서 추출 및 학습되며, 이는 확률적 모델을 야기한다. 각각의 분류기는 포지티브 타겟(positive target)을 네거티브(negative)들로부터 구별하기 위해 사용되는 변별 특징들의 세트를 선택한다. 특징들은 특징들의 대형 풀로부터 선택된다. 대형 풀은 프로그래머(programmer)에 의해 결정되거나, 또는 계통적으로(systematically) 결정된 특징들을 포함할 수 있다.
[0050] 분류기는, 다양한 판막 구조들의 위치들을 제공하는 환자-특정 데이터에 판막 모델을 맞추기 위해 사용될 수 있다. 환자-특정 데이터를 입력함으로써, 주어진 환자에 대한 해부학적 구조 모델이 추정된다. 해부학적 구조에 대한 위치들은 주어진 시간, 이를테면, 이완기 말기 동안에, 그리고/또는 시간들의 시퀀스, 이를테면, 심장 주기 전체 동안에 추정된다. 해부학적 구조 모델은 검출된 해부학적 구조에 기반하는 판막에 대한 메시 적합(mesh fit)을 포함할 수 있다(도 7 참조). 모델이 메시를 출력하거나, 또는 메시가 모델에 의해 출력된 해부학적 구조의 위치들에 기반하여 형성된다. 승모판막 표면의 지점-분포 모델은 랜드마크들에 따라 맵핑되고(mapped), 형상들의 학습 공간 내에서, PBT를 통해 추정된 경계 검출기들에 따라 변형된다.
[0051] 검출하기 위해 다른 분류기들이 사용된다. 구역들(예컨대, 바운딩 박스들) 및/또는 랜드마크들 자체의 위치결정은, 하나 또는 그 초과의 기계 학습 분류기들을 이용하여 수행될 수 있다. 일 실시예에서, 상이한 기계 학습 분류기들을 이용하여 승모판막 구역 및 유두상 끝들이 위치결정된다. 유두상 끝 구역은 승모판막 구역과의 평균 공간 관계에 기반하여 발견된다.
[0052] 분류기는 단일 후보 위치를 제공할 수 있다. 초음파 볼륨 데이터에 대한 분류를 사용하여 위치결정된 소형 판막 구조의 경우, 단일 후보를 신뢰성 있게 위치결정하는 것은 발생하지 않을 수 있다. 대신에, 분류는 임의의 개수의 후보들을 위치결정한다. 다수의 후보들을 위치결정함으로써, 가장 가능성 있는 후보를 선택하기 위해 다른 프로세스들(예컨대, 시간 및/또는 공간 제약들)이 적용될 수 있다.
[0053] 랜드마크 후보들의 검출은 다이렉트(direct)일 수 있다. 분류기는 데이터의 프레임으로부터 랜드마크의 위치를 식별한다. 대안적으로, 랜드마크 후보들의 검출은 먼저, 다른 정보, 이를테면, 전체 해부학적 구조에 대한 후보들을 위치결정한다. 유두상 끝들을 위치결정하는 예에서, 승모판막이 위치결정될 수 있다. 승모판막에 대한 하나 또는 그 초과의 후보들이 발견된다. 유사하게, 승모판막 구역 근처의 유두상 끝들에 대한 구역 또는 승모판막 구역의 일부에 대한 하나 또는 그 초과의 후보들이 위치결정될 수 있다. 이후, 유두상 구역 내에서 유두상 끝 후보들이 검출된다. 이러한 계층적 접근법은 프로세싱 시간을 감소시킬 수 있다.
[0054] 동작들(26-30)은 다수의 다른 구역 후보들을 발견하여 이후 다수의 유두상 끝 후보들을 발견하기 위한, 이러한 다수의 구역 후보들의 예를 제공한다. 각각의 단계에 대해 동일한 또는 상이한 개수의 후보들이 발견된다(예컨대, 10개 승모판막 구역들, 10개 유두상 끝 구역들, 및 50개 유두상 끝 후보들).
[0055] 동작(26)에서, 승모판막 바운딩 박스가 검출된다. 바운딩 박스는, 관심대상 해부학적 구조를 둘러싸는 직사각형 프리즘(prism) 또는 다른 형상이다. 바운딩 박스는, 해부학적 구조의 외부에 맞춰지거나 또는 해부학적 구조 주위의 임의의 사이즈의 가장자리(margin)를 포함한다. 바운딩 박스는 해부학적 구조가 위치될 것 같은 구역을 식별하고, 따라서 예상되는 해부학적 구조보다 더 크게 되도록 사이징될(sized) 수 있다. 바운딩 박스는 통상적인 해부학적 구조와 같이 형상화되며, 단지 일반적으로 해부학적 구조와 같은 형상(예컨대, 판막에 대한 타원체)을 갖거나, 또는 해부학적 구조와 상이한 형상을 갖는다.
[0056] 가장자리 공간 학습 분류기 또는 다른 기계 학습 분류기는 데이터의 다수의 프레임들 각각에 대한 바운딩 박스의 위치를 검출한다. 도 4는 바운딩 박스로서 예시적 와이어프레임 큐브(wireframe cube)를 도시한다. 바운딩 박스 검출은 포지션, 배향, 및/또는 축척을 포함한다. 일 실시예에서, 승모판막 주위의 하이 레벨(high level) 응답들을 제공하기 위해 삼차원 하르 웨이브릿(wavelet) 특징들 및 PBT가 사용된다. 데이터의 프레임이 주어지면, 기계 학습 분류기는 바운딩 박스의 포지션을 표시한다. 하나보다 많은 승모판막 바운딩 박스가 검출될 수 있는데, 이를테면, 데이터의 각각의 프레임에서 5-10개 바운딩 박스 후보들이 검출된다.
[0057] 동작(28)에서, 유두근의 위치를 에워싸는 유두상 바운딩 박스가 검출된다. 유두상 바운딩 박스는 승모판막 바운딩 박스와 동일한 또는 상이한 사이즈 및/또는 형상이다. 유두상 끝들에 대한 가능성 있는 위치들을 포함하도록, 유두상 바운딩 박스는 승모판막 바운딩 박스에 대해 포지셔닝되고(positioned), 사이징되며, 형상화된다. 예컨대, 승모판막 바운딩 박스에 인접하거나, 그와 별개이거나, 또는 그와 오버랩핑(overlapping)되는 직사각형 프리즘이 검출된다.
[0058] 기계 트레이닝된 분류기가 사용될 수 있지만, 유두상 끝들의 소형 사이즈는 검출을 어렵게 만든다. 대신에, 승모판막 바운딩 박스에 기반하여, 유두상 바운딩 박스가 검출된다. 승모판막은, 기계 트레이닝된 분류기를 이용하여 더욱 가능성 있게 정확하게 검출되는 더 큰 해부학적 구조이다. 두 개의 유두근들을 포함하는 바운딩 박스가 승모판막 바운딩 박스에 관련하여 검출된다. 기계 트레이닝이 없는 검출을 위해, 트레이닝 동안에 제공되는 전문가 주석이 달린 지상 검증자료 박스들이 사용될 수 있다. 판막밑 바운딩 박스를 포지셔닝하고, 배향시키고, 그리고/또는 사이징하기 위해, 승모판막 바운딩 박스에 대한 평균 사이즈, 배향, 및/또는 포지션이 사용된다. 주석이 달린 박스들 전부를 고려함으로써, 검출 프로세스는, 큰 해부학적 가변성이 고려됨을 보장한다. 그러므로, 유두상 바운딩 박스는, 랜드마크들 사이의 다양한 거리들 그리고 또한 승모판막 바운딩 박스에 대한 많은 다양한 배향들을 보장하기 위해 충분히 크다.
[0059] 판막 바운딩 박스의 다수의 후보들이 검출되는 경우, 판막밑 바운딩 박스의 유사한 다수의 후보들이 검출된다. 다른 실시예들에서, 각각의 승모판막 바운딩 박스 후보로부터 하나보다 많은 판막밑 바운딩 박스가 검출될 수 있다.
[0060] 도 2 및 도 3을 참조하면, 유두상 바운딩 박스 단독의 이러한 검출은, 판막 및 유두근들의 가변적인 상대적 포지션들로 인해 그리고 또한 단일 캡쳐(capture) 동안에 발생하는 심장 모션 때문에, 일관된 결과들을 생성하지 않는다. 더욱 일관된 결과들을 제공하기 위해, 유두상 바운딩 박스의 추정은 동작(29)에서 랜덤 샘플 컨센서스(RANSAC;random sample consensus)로 미세조정된다. 가능성 있는 잘못된 후보들을 위양성(false positive)들로서 폐기하기 위해, 동작(28)의 검출로부터의 후보 유두상 바운딩 박스들이 분석된다. 전체 볼륨에 걸쳐 해부학적 구조들의 위치가 일관됨을 보장하기 위해, 기계 학습 검출에 사용되고 있는 모든 이용가능한 프레임들에 대해 RANSAC 알고리즘을 실행함으로써, 시간 미세조정이 사용된다. 이웃 시간 프레임들에 대한 검출기의 결과들을 고려하도록, 유두상 바운딩 박스 위치의 추정이 향상된다. 아웃라이어(outlier)들이 제거되고, 시간 관점으로부터 유두상 바운딩 박스 모션이 원활하게 된다(smoothed).
[0061] RANSAC는 입력 변수들의 랜덤 샘플 중에서 가장 적합한 데이터를 발견하는 것에 기반한다. 알고리즘은, 특정 모델에 맞도록 최소(예컨대, 미리구성된) 개수의 후보들을 랜덤하게(randomly) 선택함으로써 시작한다. 특정 임계치 아래로 떨어지는 인라이어(inlier)들이 계수된다. 발견된 인라이어들의 개수가 충분히 클 때까지 또는 더 나은 모델을 발견할 확률이 특정된 임계치보다 더 낮아질 때까지, 이 프로세스는 반복된다. 일반적으로, 반복들의 횟수(N)는 하기와 같이 획득될 수 있다:
Figure pct00001
여기서,
Figure pct00002
는 후보들의 확률 임계치이고,
Figure pct00003
는 인라이어 비율(인라이어들의 개수 나누기 후보들의 총 개수)이며, s는 선택된 샘플들의 개수이다.
[0062] 예컨대, 알고리즘은 여섯 개의 프레임들을 랜덤하게 고르고, 이 여섯 개의 프레임들에 대해 판막밑 박스 검출을 실행하여 여섯 개의 박스들을 획득한다. 이후, 모든 후보들 사이의 원활한 모션을 획득하기 위하여, 현재 프레임의 박스가 조절된다. 이 조절은 박스 중심들 사이의 유클리드(Euclidian) 거리와 복합 축 각도차들(compound axis angle differences) 양쪽 모두를 고려하여, 거리 및 각도를 각각의 프레임 쌍에 대한 특정 임계치 아래로 유지하면서 수행된다. 다른 예로서, 조절 대신에, 상이한 후보들의 선택이 사용된다. 기준들을 더욱 잘 충족시킬 것 같은 후보들이 인라이어들로서 선택된다. 프레임당 유두상 바운딩 박스 후보들의 임의의 개수가 동작(29)의 미세조정에 의해 출력된다.
[0063] 도 3에 도시된 바와 같이, 일단 각각의 프레임에 대해 유두상 바운딩 박스 또는 박스들이 검출되면, 데이터의 프레임 또는 볼륨이 크롭핑되고(cropped), 입력으로서 랜드마크 포지션 검출기에 제공된다. 랜드마크 검출은 유두상 바운딩 박스에 의해 지정된 데이터에만 적용된다. 이 크롭핑(cropping) 동작은 이어지는 동작들의 메모리 풋프린트(footprint)를 낮추고, 이 크롭핑 동작은 임의의 동작들에 대한 입력 도메인(domain)을 또한 낮춘다.
[0064] 동작(30)에서, 유두근 또는 유두상 끝들의 후보 위치들이 검출된다. 검출된 후보 위치들은 후보 유두상 바운딩 박스들 내에 있다.
[0065] 유두근을 검출하기 위해 임의의 기계 학습 분류가 사용될 수 있다. 일 실시예에서, 가장자리 공간 학습의 제 1 단계인 포지션 검출은 특정 랜드마크가 위치되는 포지션의 다수의 후보들을 생성한다. 포지션 검출기들은 원하는 랜드마크에 대한 미리구성된 개수의 후보들을 출력한다. 상이한 유두근들을 검출하기 위해 상이한 또는 동일한 분류기가 사용될 수 있다. 예컨대, 파이프라인(pipeline)이 각각의 유두근에 대한 분기(branch)들로, 이를테면, 전방 및 후방 유두상들로 분할된다. 사용되는 알고리즘들은 전방 및 후방 유두상 끝들 양쪽 모두에 대해 동일하지만, 매개변수들 또는 특징들 그리고 결과적인 트레이닝된 분류기는 상이한 해부학적 구조에 대해 커스터마이징된다(customized). 임의의 개수의 유두상들 또는 다른 랜드마크 후보들이 검출될 수 있다.
[0066] 도 3에 표현된 바와 같이, 좌표계는 컨버팅된다(converted). 좌표계를 정의하기 위해 유두상 바운딩 박스가 사용될 수 있다. 바운딩 박스에서의 위치들을 표현하는 프레임으로부터의 데이터가 좌표계로 변환된다. 검출 이후에, 좌표계는 데이터의 프레임들의 디스플레이 또는 스캐너 좌표계로 다시 변환될 수 있다.
[0067] 검출에 사용되는 특징들이 공간 특징들일 수 있기 때문에, 바운딩 박스 내에서의 탐색 범위는 제한된다. 탐색 범위 예측 단계는 볼륨 크롭핑으로부터의 증분적 단계이며, 검출 파이프라인에 제공되는 트레이닝 데이터를 활용하는 것을 목표로 한다. 현재 랜드마크에 대한 이용가능한 주석들 전부가 로딩되며, 바운딩 박스가 이 주석들 주위에 맞춰진다. 이는, 그들의 삼차원 좌표 벡터(coordinate vector)들에 대해 주성분 분석을 적용함으로써 수행된다. 이후, 크롭핑된 볼륨 데이터와 함께 이러한 탐색 범위 박스가 포지션 검출기(예컨대, 가장자리 공간 학습 분류기의 제 1 단계)에 공급된다.
[0068] 기계 학습 분류기는, 에코 데이터의 세기에 기반하여 후보들을 예측하도록 트레이닝된다. 도메인을 데이터의 특정 존(zone)으로 그리고 특정 탐색 범위 내로 제한되게 하는 것은 분류가, 효율적으로 기능하며, 최종 랜드마크가 선택될 수 있게 하는 N개 후보들을 생성하는 것을 가능하게 한다. 임의의 개수(N), 이를테면, N=60의 후보들이 검출될 수 있다.
[0069] 생성되는 아웃라이어들의 개수를 추가로 감소시키기 위해, 이 엘리먼트(element)는 동일한 도메인에 대해 두 번째로, 그러나 네거티브(negative) 샘플들로서 이전에 묵살된 후보들을 사용하여 실행되며, 그에 따라 타겟팅된 랜드마크 주위에서의 더 타이트한 적합(tighter fit)이 제공된다. 검출 파이프라인에서의 이 단계의 출력에 대한 두 개의 반대 예들이 도 5a 및 도 5b에서 관찰될 수 있다. 도 5a에서는, 랜드마크가 에코 데이터에서 명확하게 보이고, 박스들 뿐만 아니라 탐색 범위들이 정확하기 때문에, 포지션 검출기는 출력 후보들 전부를 유두상 끝 주위에 쉽게 배치한다. 도 5b에서는, 데이터의 더 많은 양의 잡음 및 가시화되는 해부학적 구조의 성질에 부분적으로 기인하여, 유두근의 명확한 포지션이 관찰될 수 없다. 그러므로, 포지션 검출기는 클러스터링된(clustered) 후보들을 출력하지 않는다. 불행하게도, 각각의 후보의 개별 확률은 검출 성공의 우수한 표시자가 아닌데, 그 이유는 후보들 중 일부가 심장 벽과 같이 유두상들과 유사한 이미지 특징들을 갖는 위치들에 결국 있을 수 있기 때문이다.
[0070] 도 1-도 3의 동작(32)에서, 아웃라이어 후보들이 제거된다. 동작(30)에서 검출된 후보 해부학적 랜드마크들은, 공간 제약을 사용하여 제한된다. 공간 제약을 충족시키지 않는 후보들은 제거되거나 또는 사용되지 않는다. 공간 범위 또는 바운딩된(bounded) 구역(예컨대, 거리, 영역, 또는 구역) 밖이라면, 후보들은 제거된다. 프로세서는 아웃라이어들을 걸러내고, 랜드마크에 대한 가장 적합한 포지션들을 선택한다.
[0071] 임의의 개수의 공간 기준들이 사용될 수 있다. 일 실시예에서, 후보들과 다른 랜드마크 사이의 거리가 사용된다. 예컨대, 승모판막의 상이한 부분이 검출된다. 유두상 끝 후보들은, 이 상이한 부분으로부터 주어진 거리 내에 있는 것으로 제한된다. 다른 실시예에서, 유두상 후보들의 포지션은 이전에 검출된 다른 랜드마크 주위의 바운딩된 영역(예컨대, 거리들의 범위)으로 제한된다. 이는, 유두상 랜드마크 후보들이 해부학적 구조의 다른 핵심 지점으로부터 너무 가깝지도 또는 너무 멀지도 않음을 보장한다. 아이디어(idea)는, 다른 주변의 해부학적 엘리먼트들과 비교하여 후보들의 대부분이 상주해야 하는 안정된 범위를 발견하는 것이다. 이 단계는, 동일한 시간 내에서 또는 데이터의 동일한 프레임에 대해 공간 선택을 수행하기 위해 사용된다.
[0072] 유두상 끝 검출 예에서, 전방 및 후방 승모판 경계(mitral commisure)들이 다른 해부학적 구조로서 사용된다. 이들 랜드마크들은, 승모판 소엽들 상에 미치는 유두상 끝 후보들을 폐기하도록 선택된다. 유사하게, 유두상 끝 후보들이 경계들로부터 너무 멀리 있다면, 후보들은 방(chamber)의 잘못된 측에 있거나, 또는 심장 벽의 내부로부터 높은 응답을 수신했다.
[0073] 동작(34)에서, 각각의 프레임에 대해 후보 위치들 중 하나의 후보 위치가 선택된다. 특정한 유두근의 위치, 이를테면, 끝이 선택된다. 환자의 볼륨의 주어진 표현에 대해, 공간 제약을 이용하여 제한한 이후에 남아 있는 후보들 중 하나의 후보가 선택된다. 상이한 유두상들이 검출되고 있는 경우, 각각의 프레임에 대해 각각의 상이한 유두상 중 하나가 선택된다.
[0074] 선택은 시간 제약을 사용한다. 각각의 시간 또는 프레임에 대해 후보들의 세트가 제공된다. 프레임에서 하나의 후보의 선택은, 다른 프레임들로부터의 후보들을 사용한다. 프레임 단위의 공간 변위는 제한된다. 선택은 단기간에 걸친 변위의 갑작스런 또는 큰 변화들을 회피하는 것에 의존한다. 이웃 프레임들에 기반하여 후보들이 걸러진다. 예컨대, 마르코프 제약은 후보들의 모션을 원활하게 하려고 노력한다. 이를 달성하기 위해, 마르코프 제약은 공간적으로 제약된 검출된 지점들(즉, 후보들)을 취하고, 이전의 및/또는 후속하는 하나 또는 그 초과의 프레임들에서의 유사한 결과들과 지점들을 비교한다. 두 개의 프레임들 사이에서 더 가까운 후보들만이 선택된다. 물론, 이 가정은, 해부학적 구조가 움직이는 스피드(speed)에 의해 그리고 취득된 데이터의 시간 분해능에 의해 컨디셔닝된다(conditioned). 유두근들의 경우, 이들 두 개의 제한들 중 아무것도 적용되지 않는데, 그 이유는 유두근들이 심장 주기 동안에 비교적 동일한 영역에서 머무르기 때문이다. 그러므로, 이러한 유형의 제약들을 적용하는 것은, 이러한 유형의 해부학적 엘리먼트를 관찰하려고 노력할 때 직면하는 다른 문제를 해결한다: 특정 상황들에서, 심장 벽이 그들의 위치를 가릴 수 있다. 랜드마크 포지션의 시간 안정성을 고려하면, 제약은 검출 후보들의 분포를 가장 가능성 있는 위치 ―심지어 그것이 명확하게 보이지 않더라도― 로 제한한다.
[0075] 일 실시예에서, 현재 프레임에 이르는 프레임들에 대한 모든 공간적으로 제약된 기계 학습 분류기 검출 후보들의 그래프(graph)가 구성된다. 시간에 따라 후보들을 통하는 첫 번째 프레임과 마지막 또는 현재 프레임 사이의 최단 경로가 선택된다. 이 절차의 실제 결과는, 이전 프레임들에서의 유두상 끝의 포지션에 더 가까이 있는 현재 프레임에서의 후보의 선택이다. 더욱 정확하게는, 지금까지 검출된 후보들 전부가 그래픽적인(graphical) 모델의 형태로 조직화된다. V를 꼭짓점들의 세트라고 하고, E를 에지(edge)들의 세트라고 하자.
Figure pct00004
는 그래프 노드(node)(v)와 연관된 랜덤 변수이고,
Figure pct00005
는 포지션 검출 단계에 의해 출력된 후보의 연관 확률에 의해 표현되는 국소 전위(local potential)이다(예컨대, 기계 학습 검출은 각각의 후보에 대한 정확한 검출 확률을 표시함). 각각의 에지의 페어와이즈(pair-wise) 전위인
Figure pct00006
는, 에지의 어느 한 쪽 끝에 있는 후보들 사이의 유클리드 거리에 의해 정의된다.
[0076] 이들 표기법들에 기반하여, 그래프의 변수들 전부에 대한 결합 확률 분포가 페어와이즈 마르코프 랜덤 필드(Field)로서 표현된다:
Figure pct00007
위에서 설명된 그래프로부터 후보들의 최선 결합을 발견할 수 있도록, 최대-곱 신뢰 전파(max-product belief propagation)가 이 그래프에 대해 실행된다. 이를 달성하기 위해,
Figure pct00008
의 함수로써 타임스탬프(timestamp)(t)에서 그래프 노드(u)로부터 그래프 노드(v)로의 최대-곱 메시지(message)로서
Figure pct00009
가 정의된다.
Figure pct00010
Figure pct00011
를 하기와 같이 정의되는
Figure pct00012
의 최대-한계(max-marginal)라고 하자:
Figure pct00013
위에서 정의된 메시지를 정의하는 이 최대-한계는, 하기와 같이 컴퓨팅될(computed) 수 있다:
Figure pct00014
이들 최대-한계들이 주어지면, MAP(maximum a posteriori estimation) 추정을 컴퓨팅하기 위해 역추적이 사용될 수 있으며, 따라서 하기와 같다:
Figure pct00015
이 마르코프 제약은 검출 파이프라인의 이전 노드들로부터 이용가능한 모든 검출된 후보들에 적용되며, 이는 각각의 프레임에서의 단일 유두상 끝 위치 또는 원하는 결과를 제공한다. 프로세서는, 이웃 프레임들의 유사한 후보들에 대한 가장 가까운 유클리드 거리를 갖는 후보를 현재 프레임에서 선택한다. 다른 그래프 또는 비-그래프(non-graph) 기반 접근법들이 선택을 위해 사용될 수 있다.
[0077] 도 6은 공간 및 시간 제약들의 결합된 효과들을 도시한다. 상부 좌측 패널(panel)에서는, 포지션 검출기에 의해 출력된 후보들 전부가 보인다. 상부 우측 패널에서는, 심장 벽의 하부 좌측에 대한 응답들을 가졌던 다수의 후보들이, 공간 제약을 사용하여 배제되었다. 후보들의 대략 두 개의 클러스터(cluster)들이 벽과 방 사이의 경계에 걸쳐 퍼져 있으며, 그리고 남아 있다. 마르코프 제약을 적용함으로써, 정확한 추정이 이루어지며, 이 결과는 하부 좌측 패널에 제시된다. 하부 우측 패널에서 보이는 전문가 주석이 달린 지상 검증자료 유두상 전방 끝과 검출된 유두상 끝 위치를 비교할 때, 검출 및 선택의 정확성은 명백하다. 하부 우측 패널은 지상 검증자료를 도시한다.
[0078] 도 1의 동작(36)에서, 선택된 랜드마크의 이미지가 생성된다. 이미지는 환자의 판막, 심장 또는 다른 구역을 표현하며, 데이터의 하나 또는 그 초과의 프레임들로부터 생성된다. 프레임들로부터 이미지들의 시퀀스가 생성될 수 있다.
[0079] 이미지에서는 유두근, 이를테면, 끝이 하이라이팅된다. 하이라이팅은 그래픽을 추가하거나, 컬러링(coloring)하거나, 상대적 밝기를 증가시키거나, 또는 유두상 끝을 표현하는 픽셀 또는 픽셀들을 두드러지도록 다른 방식으로 바꿈으로써 이루어진다. 도 7에 도시된 일 실시예에서, 승모판막에 대한 모델 적합 그래픽이 승모판막의 초음파 이미지에 추가된다. 모델의 그래픽은 끝들로부터 판막 소엽들의 메시로 연장되는 끈과 함께, 검출된 유두상 끝들로서 두 개의 확대된 및/또는 컬러링된(colored) 지점들을 포함한다. 완전한 승모판막 모델은 판막밑 장치를 포함한다. 도 7의 예에서, 데이터의 프레임 및 모델은 시각적 지점들로서 렌더링된 유두상 끝들을 이용하여 두 개의 상이한 각도들로 렌더링된다. 다른 예에서, 다른 판막 구조에 대한 그래픽들 없이 유두상 끝들의 그래픽이 디스플레이된다(displayed).
[0080] 임의의 이미징이 사용될 수 있다. 예컨대, 하나 또는 그 초과의 삼차원 렌더링(rendering)들이 생성된다. 다른 예로서, 다중-평면 재구성이 제공된다. 프레임들의 시퀀스로부터 이미지들의 시퀀스가 생성될 수 있다. 해부학적 구조의 위치를 하이라이팅하기 위해, 프레임들 각각에서 검출된 위치들이 사용된다.
[0081] 일 실시예에서, 주어진 프레임에서의 두 개의 검출된 유두상 랜드마크들은 승모판막의 완전한 모델과 함께 사용된다. 이 모델은 또한, 핵심적인 해부학적 랜드마크들, 이를테면, 삼각부(trigone)들, 경계들, 그리고 승모판 전방 및 후방 소엽들을 표현하는 두 개의 표면들을 포함한다. 도 7에서, 완전한 모델은 데이터의 프레임으로부터의 초음파 이미지의 렌더링 상에 오버레이된 채로 제시된다. 대안적 실시예들에서, 초음파 이미지 없이, 검출된 유두상 랜드마크들의 상대적 포지션을 갖는 모델이 제공된다.
[0082] 판막밑 장치의 가시화에서, 두 개의 엘리먼트들이 타겟팅된다(targeted). 첫 번째는, 검출 파이프라인으로부터 획득된 좌표들에 배치된 지점들의 끝까지 유두근 랜드마크들의 표현이다. 지점들의 사이즈 및 색은 시스템에 의해 선택될 수 있다. 두 번째 엘리먼트는 유두근들을 판막 자유 에지에 연결하는 힘줄끈에 의해 표현된다. 이들 가시화들은 전체 해부학적 구조가 어떻게 상호작용하는지에 대한 표현을 사용자에게 제공한다. 임의의 끈 배치가 사용될 수 있다. 예컨대, 개개의 경계들로부터 시작해 각각의 소엽 중간점으로 계속하여, 각각의 유두근으로부터 여섯 개의 끈이 자유 에지에 부착된다. 실제 해부학적 구조에 대해 예상될 수 있는 가능한 구성들의 더 나은 표현을 제공하기 위해, 각각의 끈은 자유-에지에 대한 다섯 개의 연결점들을 갖는다. 또한, 끈은 자유-에지들 쪽으로 분기하는 경향을 갖는데, 즉, 분기점들을 도입함으로써 시뮬레이팅되는(simulated) 특성을 갖는다. 제 1 분기점은 유두근과 각각의 끈의 중앙 연결점 사이의 거리의 절반에서 선택된다. 제 2 분기점은 제 1 분기점과, 각각의 이전에 획득된 분기에 대한 자유 에지 사이의 거리의 절반에서 선택된다. 여기부터, 2-방향 및 3-방향 분할이 끈을 그것의 연결점들로 가져온다. 다른 끈 구성들이 사용될 수 있다.
[0083] 완전한 판막 복합체와 함께, 유두상 끝들의 검출된 상대적 포지션을 포함하는 힘줄끈의 가시화는 추가된 이득을 전체 검출 프로세스에 제공한다. 다양한 소엽 구성들 또는 병리학들과 유두근들 사이의 관련성이 추론될 수 있다. 환자에 대한 전체 모델은 어느 끈이 복원을 필요로 할 수 있는지 또는 적어도 어느 유두근이 자유 에지 상의 그 특정 구역에 연결되는지를 표시할 수 있다.
[0084] 도 3의 방법의 수행을 평가하기 위해, 기계 트레이닝에 사용되는 예들의 데이터베이스의 서브세트(subset)가 평가 테스트(test) 세트로서 사용되도록 추출된다. 이 분포는 트레이닝에 사용되는 120개 볼륨들 및 평가에 사용되는 30개 볼륨들로 변환된다. 표 1은 획득된 결과들을 보고한다. 테스팅(testing) 메커니즘은 주석이 달린 랜드마크들과 검출 파이프라인으로부터 획득된 랜드마크들 사이의 유클리드 거리를 측정하는 것에 기반한다. 또한, 판막밑 장치 바운딩 박스의 경우, 결과적 사이즈가 또한 비교된다. 결과들 전부가 수집될 때, 평균, 표준 편차, 및 중앙치 값들이 컴퓨팅된다. 또한, 최고 값들의 80% 및 90%에 기반하는 아웃라이어 정보, 그리고 전체 최소 및 최대 값들이 주목된다.
Figure pct00016
[0085] 제안된 메커니즘들의 강건성 및 정확함을 추가로 부스팅(boost)하기 위해 다른 기술들이 어세싱될 수 있다. 추적 결과들을 개선시키기 위해 칼만 필터링(Kalman filtering)과 같은 기술들이 사용될 수 있다. 승모판 소엽들의 물질적인 특성들이 추정될 수 있다. 해부학적 구조들 상에 작용하는 힘들의 기계적 모델링(modeling)의 사용으로 인해, 힘줄끈들은 중요한 역할을 하고, 그들의 분포는 유두근들의 포지션과 관련 있다. 유두근들의 포지션을 검출함으로써, 기계적 특성들이 더욱 잘 추정될 수 있다. 수술전 시뮬레이션(simulation)들에서, 근육들의 포지션은 시술의 결과를 결정하는 것을 도울 수 있다.
[0086] 도 1을 참조하면, 동작들(38 및 40)은 광학적 흐름 추적에 대응한다. 실시간 스캐닝 동안에 시퀀스로 프레임들의 희소 샘플링을 위해, 동작들(24-34)의 기계 학습 기반 검출이 수행된다. 예컨대, 유두상 끝들 또는 다른 해부학적 구조가 다섯 번째 프레임마다 검출된다. 다른 반복 기간들, 또는 심지어 프레임들의 전체 시퀀스의 불규칙적인 희소 샘플링이 사용될 수 있다. 이들 희소 프레임들에 대해, 해부학적 구조의 위치가 결정된다. 시간 제약은 희소 샘플링의 프레임들에 걸쳐 적용되고, 다른 프레임들에는 적용되지 않는다.
[0087] 도 8 및 도 9는 기계 학습 검출과 결합된 이러한 광학적 흐름 추적의 흐름도들이다. 광학적 흐름에 사용되는 예시적 해부학적 구조는 승모판 고리이지만, 다른 해부학적 구조, 이를테면, 유두상 끝들이 광학적 흐름 추적을 사용할 수 있다.
[0088] 도 1의 동작(38)에서, 해부학적 구조의 위치는, 광학적 흐름을 사용하여 다른 프레임들에서 결정된다. 각각의 프레임에 대해 기계 학습 검출을 반복하는 것이 아니라, 기계 학습 분류기를 다른 프레임들의 데이터에 적용하지 않고, 해부학적 구조가 다른 프레임들에서 추적된다.
[0089] 도 8 및 도 9를 참조하면, 해부학적 구조의 위치를 결정하는 두 개의 컴포넌트들(52, 60)(도 9 참조)은 병렬로 실행된다. 시스템 초기화를 하자마자, 검출기 컴포넌트(52)가 시작하고, 초음파 이미지에서 판막 존재를 결정한다. 판막이 발견되면, 검출기는 승모판막 고리 곡선을 추정하거나 또는 검출하고, 이는 높은 프레임 레이트 해부학적 구조 추적을 위해 흐름 추적기 컴포넌트(60)에 전송된다. 후속 이미지들은 병렬로 프로세싱되고(processed) 있으며, 따라서 검출기가 판막 존재 및 고리를 주기적으로 재검출하기 위해 별개의 스레드(thread)에서 실행되는 동안에, 광학적 흐름 추적기는 각각의 새로운 이미지를 프로세싱한다(process). 이후, 재검출된 고리가 추적기에 재공급되어, 커다란 모션에 대한 강건성이 달성되고 추적 드리프트(drift)의 연속적인 제어가 보장된다.
[0090] 동작(52)에서, 적어도 세 개의 연속적인 반복들이 승모판막 바운딩 박스의 위치에 대한 높은 신뢰성 추정치들을 결정할 때까지, 위치, 배향, 및/또는 축척(박스 검출기)이 전체 볼륨에 대해 실행된다. 계산 부하를 감소시키기 위해 승모판막 바운딩 박스가 사용된다. 관심대상 구역(ROI;region of interest)은 바운딩 박스 주위에 포지셔닝되고(positioned), ROI 내에서 박스 검출의 각각의 반복시 업데이팅되어(updated) 탐침 모션을 설명한다.
[0091] 동작(54)에서, ROI의 바운딩 박스에 대해 위치, 배향, 및 축척이 결정된다. ROI를 사용함으로써, 검출은 전체보다 더 적은 볼륨으로 수행된다. 탐색 구역을 ROI로서 정의하기 위해, 이전에 검출된 위치가 사용된다. 다른 실시예들에서 ROI를 정의하기 위해, 이전에 컴퓨팅된 기관 위치가 사용될 수 있다. ROI에서 값에 대한 바운딩 박스를 검출함으로써, ROI 내에서 기관이 추적된다.
[0092] 동작(56)에서, 해부학적 컴포넌트들은 미세 축척으로 강건하게 검출된다(예컨대, 승모판막 고리 검출). 승모판막 고리 검출기는 이를테면, 바운딩 박스용, 승모판막용, 및/또는 바운딩 박스 내의 및/또는 승모판막에 대한 고리용 학습-기반 엘리먼트들의 시리즈(series)로 구성된다. 기계 학습 검출기들(
Figure pct00017
)은 승모판막 존재, 위치, 배향, 및/또는 사이즈를 발견한다. 동일하거나, 상이하거나, 또는 대안적인 기계 학습 검출들이 동작(56)에서 고리 랜드마크들, 그리고 동작(58)에서 곡선(
Figure pct00018
)을 검출한다. 분류기들 또는 분류기들로부터의 출력은, 확률적 부스팅 트리(PBT;probabilistic boosting tree) 또는 다른 분류에 의해 모델링된 사후 확률(
Figure pct00019
)을 최대화함으로써 이미지(
Figure pct00020
)에 대한 모델 매개변수들(
Figure pct00021
및
Figure pct00022
)을 추정하기 위해 사용된다:
Figure pct00023
예컨대, PBT 분류기들은 승모판막 고리 및 랜드마크들의 지상 검증자료 위치들에 대한 수동으로 생성된 데이터베이스로부터의, 하르-형의 그리고 조종가능한 특징들로 트레이닝된다.
[0093] 도 8의 방법의 일 실시예에서, 시스템 초기화를 하자마자, 가장자리 공간 학습의 프레임워크(framework)를 사용하여 매개변수 공간의 증가하는 차원수를 따라 효율적인 탐색을 사용하여 전체 볼륨(
Figure pct00024
)에 대한
Figure pct00025
가 평가된다. 동작(50)에서, 적어도 세 개의 연속적인 이미지들에 대해, 높은 신뢰성(예컨대,
Figure pct00026
)을 갖는 추정치들이 획득될 때까지, 완전한 볼륨에 대한 탐색이 후속 이미지들(
Figure pct00027
)에 대해 반복된다. 이후, 승모판막은 볼륨 내에 존재하는 것으로 가정되며, 관심대상 구역(ROI;region of interest)(
Figure pct00028
)이 세 개의 마지막 추정치들로부터 컴퓨팅되어, 판막 위치를 추정하기 위한 계산 요구가 감소된다. 후속 반복들(
Figure pct00029
) 동안에, 추정기 신뢰성이 떨어질 때까지, 이를테면, 0.85 아래(즉,
Figure pct00030
0.85)로 떨어질 때까지,
Figure pct00031
는 ROI 내에서만 탐색한다.
[0094] 잠재적인 변환기 모션에 대해 강건하게 되도록, 각각의 반복에서, 예측기(
Figure pct00032
)는 동작(54)에서 다음 차례의 알고리즘 반복에 대한 판막 위치를 추정하며, 마지막 여섯 개의 반복들에 걸쳐 궤적을 평균함으로써 ROI 중심을 업데이팅한다:
Figure pct00033
[0095] 강체 매개변수들(
Figure pct00034
)에 대한 추정에 이어, 동작(56)에서
Figure pct00035
는 해부학적으로 정의된 랜드마크들을 검출한다. 예컨대,
Figure pct00036
내의 탐색 범위들에 걸쳐 개개의 기계 학습 분류기들을 스캐닝함으로써, 좌우 삼각부 뿐만 아니라 후부 고리형 중간점이 검출된다. 마지막으로, 동작(58)에서, 박판 스플라인(TPS;thin plate spline) 변환을 사용하여 58개 또는 다른 개수의 지점들로 구성된 평균 고리 형상을 이전에 검출된 랜드마크들에 맞춤으로써, 고리가 폐곡선으로서 초기화된다. 특별히 트레이닝된 PBT 분류기들은, 각각의 곡선 지점에서 고리 곡선을 횡단하는 평면들을 따라 볼륨을 샘플링함으로써 평가된다. 결과적 곡선(
Figure pct00037
)은, 지점 분포 형상 또는 다른 모델을 사용하여 공간적으로 제약된다.
[0096] 도 1의 동작(40)을 참조하면 그리고 도 9에 도시된 바와 같이, 해부학적 구조 위치의 검출이 동작(60)의 광학적 흐름 추적에 주기적으로(예컨대,
Figure pct00038
) 공급된다. 예컨대, 유두근 위치는 광학적 흐름 추적에서, 동작(52) 및/또는 동작(58)의 기계 학습 검출로부터의 위치로 주기적으로 업데이팅된다.
[0097] 동작(60)에서, 광학적 흐름 추적이 수행된다. 광학적 흐름 추적은 더 높은 프레임 레이트를 갖지만, 기계 학습 검출보다 덜 강건할 수 있다. 이 광학적 흐름 추적은 강건한 학습-기반 고리 또는 다른 해부학적 구조 검출기에 의해 주기적으로 재초기화된다. 승모판막 위치, 포즈(pose) 및 사이즈 및/또는 다른 해부학적 구조 검출(예컨대, 랜드마크들 및 고리)의 학습-기반 검출기는 변환기 모션(예컨대, 탐침 또는 환자 움직임으로부터의 이미지 병진 및 회전) 및 아티팩트(artifact)들로부터의 이미지 변경들에 강건하다. 높은 프레임 레이트들로 실행할 수 있는 광학적 흐름 추적기는 드리프트 제어를 위한 키-프레임(key-frame) 접근법을 구현한다. 원활한 모션을 획득하고, 그것의 상보적 검출기보다 인접 프레임들에 걸쳐 시간 일관성을 더욱 잘 보존하지만, 광학적 흐름 추적은 드리프팅될(drift) 수 있다. 기계 학습 검출로부터의 새로운 레퍼런스(reference) 위치로 재초기화하거나 또는 시작하는 것은, 드리프트를 정정한다.
[0098] 광학적 흐름 추적은
Figure pct00039
로부터
Figure pct00040
로 랜드마크들을 추적하는 순차적 추적기(
Figure pct00041
), 그리고 초기 키 프레임(
Figure pct00042
) 상에 정의된 랜드마크를 현재 프레임(
Figure pct00043
)에 등록하는 제 2의 비-순차적 키-프레임 추적기(
Figure pct00044
)의 컴포지트(composite)이다. 추적기들 양쪽 모두의 추정 결과들이 평균되어, 최종 추정치가 획득된다. 이러한 방식으로, 추적기는 키 프레임 컴포넌트(
Figure pct00045
)를 통해 심장 주기들에 걸쳐 드리프트를 감소시키면서 프레임 단위의 컴포넌트(
Figure pct00046
)를 통해 원활한 모션을 획득한다. 추적기는, 하기에 의해 표현된 바와 같이, 위치들(x)에서 이전에 추정된 모션 벡터 필드(u)를 적용함으로써 템플레이트(template) 이미지(
Figure pct00047
) 밖의 휘어진 이미지(warped image)(
Figure pct00048
)를 생성함으로써, 더 높은 차수의 항들을 반복적으로 추정한다.
Figure pct00049
여기서,
Figure pct00050
및
Figure pct00051
은 공간 및 시간에 걸친 도함수들로부터 컴퓨팅된다(computed). 스킴(scheme)은 여섯 번 또는 다른 횟수의 반복들에 걸쳐 반복된다.
[0099] 높은 프레임 레이트들을 달성하기 위하여, 추적기는 초음파 데이터의 구 좌표 표현에 대해(즉, 음향 공간에서) 직접적으로 실행된다. 이방성 샘플링으로 인해 변환기 어레이(array)까지의 거리에 따라 오차가 증가할 것으로 예상되지만, 그 제한은 애플리케이션(application)을 저해하지 않는데, 그 이유는 승모판막이 변환기 어레이로부터 통상적으로 50-70㎜ 떨어져 위치되기 때문이며, 여기서 약 1.3의 통상적인 각도 분해능을 가정하면 복셀(voxel) 거리는 구 좌표들에서 통상적으로 1.2㎜이다.
[00100] 검출기들(D)의 런타임(runtime)이 광학적 흐름 추적기들(T)의 프로세싱 시간을 초과하기 때문에, 양쪽 모두는 도 9에 도시된 바와 같이 병렬로 실행된다. D가 실행되는 동안에 생성되는 이미지들의 버퍼(buffer)에 걸쳐
Figure pct00052
가
Figure pct00053
부터 순차적 추적을 재시작하는 동안에, 개개의 고리 검출 결과(
Figure pct00054
) 및 대응하는 이미지(
Figure pct00055
)를
Figure pct00056
에 대한 키 프레임으로서 셋팅(setting)함으로써, 검출기가 프로세싱을 완료할 때마다 추적기는 재초기화된다. 하기의 도 9의 예시에서, D는 시간(
Figure pct00057
)에 프로세싱을 시작하고, 시간(
Figure pct00058
)에 완료한다. 새로운 키 프레임은
Figure pct00059
로 셋팅되며(set), T가 버퍼링된(buffered) 이미지들(
Figure pct00060
)에 걸쳐 추적을 재시작하는 동안에 D는 이후
Figure pct00061
으로 계속해서 실행된다.
[00101] 광학적 흐름 추적 이외의 다른 추적이 사용될 수 있다. 추적을 리프레싱하거나(refresh) 또는 재초기화하기 위해, 검출기 위치 정보가 주기적으로 사용된다.
[00102] 일 실시예에서, 검출기 컴포넌트들은, CUDA 버전(version) 3.2를 사용하여 구현되며, 테스트 기계 상에서 nVidia Quadro K2100M 그래픽스 카드(graphics card), 인텔 코어(Intel Core) i7-4800MQ 2.70㎓ 프로세서 및 16GB의 RAM을 사용하여 실행된다. 테스팅 프로토콜(protocol)은 전문가에 의해 수동으로 주석이 달린 기록된 데이터에 대해 작업하도록 적응된 실시간 검출 파이프라인과 동일한 메커니즘들을 사용한다. 시스템의 성능을 평가하기 위하여, 전문가에 의해 각각의 개별 프레임에 대해 주석이 달린 기록된 TEE 데이터를 포함하는 테스팅 세트가 어셈블링된다(assembled). 주석이 달린 해부학적 구조들은 좌우 승모판막 삼각부 랜드마크들, 전후 고리형 중간점 랜드마크, 및 승모판막 고리이다. 통틀어, 테스팅은 주석이 달린 153개 프레임들을 갖는 12개 TEE 볼륨들을 사용한다.
[00103] 방법을 테스팅하기(test) 위해, 탐침 모션이 에뮬레이팅된다(emulated). TEE 변환기를 이용하여 통상적으로 관찰될 수 있는 탐침 자유도들에 기반하는 탐침 모션(즉, 롤(roll), 요(yaw) 및 피치각(pitch angle)들에 따른 최대 45도만큼의 탐침 회전 뿐만 아니라 탐침 샤프트(shaft)와 동일선상의 시프트(shift)들)을 시뮬레이팅하기(simulate) 위해, 데이터는 강체 변환들을 이용하여 조작된다. 그러므로, 결과적 시퀀스는 오리지널(original) 시퀀스의 26배만큼의 배수이다. 팩터(factor)는 회전/병진되는 상태로의 롤, 피치 또는 요 전이에 따른 병진 또는 회전, 안정된 상태, 그리고 초기 포지션 및 배향으로 되돌아가는 원활한 전이를 비롯한 각각의 이미지 변환을 위한 것이다. 따라서, 좌우심실들의 판막들 양쪽 모두를 커버하는(covering) 90x90x92㎜의 시야로 초당 15개 볼륨들로 기록된 볼륨 시퀀스들에 대해 30초를 커버하는 평균 500개 프레임들이 제공된다.
[00104] 정량적 분석의 경우, 위에서 설명된 데이터 세트에 걸쳐 루핑(looping)함으로써 별개로 각각의 부분으로서 뿐만 아니라 전체로서 양쪽 모두로 알고리즘적(algorithmic) 파이프라인이 분석된다. 통상적인 취득을 위해, 결과들은 도 10에서 관찰될 수 있다. 도 10은 1.25 ㎜ 오차를 갖는, 승모판막 고리에 대한 검출 결과들을 도시한다. 아래의 표(표 2)는 독립적으로 검출기 및 추적기 컴포넌트들 뿐만 아니라 평균 오차 및 표준 편차 면에서 완전한 메커니즘의 정확성을 보여 준다.
Figure pct00062
[00105] 세 개의 랜드마크들에 대해, 획득된 결과들과 주석이 달린 지상 검증자료 사이의 유클리드 거리를 단순히 컴퓨팅함으로써, 오차가 획득된다. 고리형 곡선에 대한 오차는, 검출된 곡선 상의 각각의 지점과 지상 검증자료 곡선의 가장 가까운 라인 세그먼트(line segment) 사이의 거리를 측정함으로써 컴퓨팅된다. 표 1은 제안된 접근법 뿐만 아니라 독립적으로 검출기 및 추적기 컴포넌트들의 전체 정확성을 보고한다. 검출기, 추적 컴포넌트들의 정확성 내의 제안된 접근법 범위들의 정확성은 드리프트로 인해 더 높은 오차들을 겪는다. 검출기 컴포넌트들이 일정한 오차로 실행되었고 그 뒤에 탐침 모션이 이어진 동안에, 추적기들은, 특히 탐침 모션의 존재시, 시간에 따라 오차 축적을 겪었다.
[00106] 게다가, 드리프트 면에서 추적기 컴포넌트들의 안정성을 분석하기 위하여, 시간에 따른 또는 각각의 프레임에서의 추적 오차가 측정된다. 도 11a 및 도 11b는 두 개의 예들에 대한 오차를 도시한다. 기계 학습 검출기를 사용하여 키 프레임을 업데이팅하는 것(정책 2)은, 키 프레임 업데이트가 없는 표준 광학적 흐름 추적(정책 0)과 비교할 때 개선된 정확성을 보여 준다.
[00107] 병렬 검출 및 광학적 흐름 추적은 다양한 상황들 또는 실시예들에서 사용될 수 있다. 알고리즘은, 서브-볼륨(sub-volume)에 대한 더 높은 품질의 이미징 또는 스캔 볼륨의 나머지와 상이한 프로세싱을 이용하여 취득을 향상시키기 위해, 이미징 디바이스(device)와 커플링될(coupled) 수 있다. 검출 및 추적되는 구조들로부터, 다중-평면 재구성을 위한 평면들이 컴퓨팅될 수 있다. 3D 이미지를 자동으로 크롭핑하여 주변의 구조들을 제거하고 관심대상 해부학적 구조만을 디스플레이하기 위해, 3D 볼륨 렌더링에 대해 컷(cut) 평면들이 검출 및 추적될 수 있다. 관련 랜드마크들을 검출 및 추적함으로써, 판막 어세스먼트 또는 다른 정량화가 실시간으로 제공될 수 있다(예컨대, 검출 및 추적되는 구조들로부터 승모판 또는 대동맥 고리 직경들이 컴퓨팅될 수 있고, 따라서 트랜스카테터(transcatheter) 인터벤션들 동안에 판막 기능을 최적화하기 위해 이 직경들이 사용될 수 있다). 이미징 및/또는 정량화 그리고 수술중 안내를 위해, 임의적인 구조들, 이를테면, 기관들 및 메디컬 디바이스들 또는 임플란트들을 표현하는 임의의 랜드마크 또는 랜드마크들의 앙상블(ensemble)들이 검출되거나 또는 수동으로 배치되고 추적될 수 있다. 해부학적 구조 또는 랜드마크들은 다른 유형들의 이미지들 상의 오버레이(overlay)로서의 실시간 가시화를 위해 검출 및 추적될 수 있는데, 이를테면, 카테터 또는 기관과 상호작용하는 다른 디바이스를 보여 주는 형광투시법 이미지 상에 실시간 검출에 기반하는 기관 모델 또는 랜드마크들이 오버레이된다.
[00108] 도 12는 해부학적 랜드마크를 검출하기 위한 시스템을 도시한다. 시스템은 변환기(18), 초음파 스캐너(10), 및 디스플레이(16)를 포함한다. 초음파 스캐너(10)는 프로세서(12) 및 메모리(14)를 포함한다. 대안적 실시예들에서, 시스템은 CT 스캐너, MR 스캐너, 또는 다른 이미징 시스템이다. 또 다른 실시예들에서, 시스템은 실시간으로 별개의 시스템에 의해 취득된 데이터를 사용하여 또는 메모리에 저장된, 이전에 취득된 환자-특정 데이터를 사용하여 시뮬레이팅(simulating)하기 위한 워크스테이션, 컴퓨터, 또는 서버이다. 예컨대, 볼륨을 표현하는 초음파 데이터를 취득하기 위해 초음파 스캐너(10)가 제공되며, 해부학적 구조를 검출 및/또는 추적하기 위해 별개의 데이터베이스, 서버, 워크스테이션, 및/또는 컴퓨터가 제공된다. 추가적이거나, 상이하거나, 또는 더 적은 개수의 컴포넌트들이 사용될 수 있다.
[00109] 초음파 스캐너(10)는 송신 빔포머(beamformer), 수신 빔포머, B-모드 검출기, 도플러 검출기, 고조파 응답 검출기, 조영제 검출기, 스캔 컨버터(converter), 필터(filter), 이들의 결합들, 또는 다른 현재 알려진 또는 추후에 개발되는 메디컬 진단 초음파 시스템 컴포넌트들을 포함한다. 다른 예로서, 이를테면, 시스템이 판막 해부학적 구조의 오프-라인 또는 추후 측정을 위한 워크스테이션일 경우, 변환기(18)는 제공되지 않는다.
[00110] 초음파 스캐너(10)는 환자의 심장 볼륨을 스캔하도록 구성된다. 오퍼레이터(operator)는 심장 이미징 애플리케이션을 선택하고, 그리고/또는 원하는 프레임 레이트, 시야, 이미징 모드들, 및/또는 이미징 렌더링을 제공하기 위해 다양한 셋팅(setting)들을 조절한다. 응답으로, 스캐너(10)는 시간에 따라 환자의 심장의 적어도 일부를 표현하는 메디컬 진단 초음파 데이터를 제공한다. 시간에 따른 환자의 볼륨을 표현하는 데이터의 프레임들의 시퀀스가 취득된다.
[00111] 변환기(18)는 음향 에너지(energy)와 전기 에너지 사이를 컨버팅하도록 동작가능한 압전 또는 용량성 디바이스이다. 변환기(18)는 엘리먼트들의 어레이, 이를테면, 다차원 또는 이차원 어레이이다. 대안적으로, 변환기(18)는, 하나의 차원에서 기계적 스캐닝하고 다른 차원에서 전기적 스캐닝하기 위한 와블러(wobbler)이다. 다른 실시예에서, 어레이는 심장 카테터 또는 TEE 탐침 상의 일차원 어레이이다. 다차원 어레이들 또는 복수의 일차원 어레이들이 TEE 탐침 상에 제공될 수 있다.
[00112] 초음파 스캐너(10)는 변환기(18)를 사용하여 환자의 심장 볼륨을 스캔한다. 전기적 및/또는 기계적 조종은 볼륨의 상이한 스캔 라인들에 따른 송신 및 수신을 허용한다. 임의의 스캔 패턴(pattern)이 사용될 수 있다. 예컨대, TEE 어레이를 회전시키거나, 카테터 어레이를 움직이거나, 또는 매트릭스(matrix) 어레이로 볼륨 스캐닝(volume scanning)함으로써, 심장을 통하는 복수의 상이한 평면들이 스캔된다. 일 실시예에서, 송신 빔(beam)은 복수의 스캔 라인들을 따른 수신을 위해 충분히 넓다. 다른 실시예에서, 복수의, 많은 개수의(예컨대, 16-64개 수신 빔들), 또는 모든 스캔 라인들을 따른 수신을 위해, 평면의, 시준된 또는 분기하는 송신 파형이 제공된다.
[00113] 스캔은 시퀀스로서 상이한 시간들에 심장, 심장의 일부, 또는 판막 볼륨(예컨대, 승모판막)을 표현하는 메디컬 진단 초음파 데이터를 제공한다. 볼륨에 대한 데이터를 상이한 시간들에 제공하기 위해 스캔은 반복된다. 스캐닝에 대한 응답으로, 볼륨을 표현하는 초음파 데이터가 제공된다. 초음파 데이터는 빔포밍되고(beamformed), 검출되고, 그리고/또는 스캔 컨버팅된다. 초음파 데이터는 임의의 포맷, 이를테면, 극좌표, 데카르트(Cartesian) 좌표, 삼차원 그리드(grid), 평면들 사이에 극좌표 간격을 갖는 데카르트 좌표의 이차원 평면들, 또는 다른 포맷으로 있을 수 있다. 초음파 데이터는 임의의 유형, 이를테면, B-모드, 흐름 모드(예컨대, PW 도플러), 스펙트럼 모드(예컨대, CW 도플러), 도플러 모드, 조영제, 고조파, 또는 다른 초음파 이미징 모드들을 가질 수 있다.
[00114] 프로세서(12)는 일반 프로세서, 디지털(digital) 신호 프로세서, 삼차원 데이터 프로세서, 그래픽스 프로세싱 유닛(unit), 주문형 집적 회로, 필드 프로그래머블 게이트 어레이(field programmable gate array), 디지털 회로, 아날로그(analog) 회로, 이들의 결합들, 또는 스캔 데이터로부터 해부학적 구조를 검출 및/또는 추적하기 위한, 다른 현재 알려진 또는 추후에 개발되는 디바이스이다. 프로세서(12)는 단일 디바이스, 복수의 디바이스들, 또는 네트워크(network)이다. 하나보다 많은 디바이스의 경우, 프로세싱의 병렬 또는 순차적 분할이 사용될 수 있다. 프로세서(12)를 형성하는 상이한 디바이스들은 상이한 기능들, 이를테면, 해부학적 구조를 검출 및 추적하기 위한 자동화된 해부학적 구조 검출기 및 해부학적 구조의 이미지들을 렌더링하기 위한 별개의 그래픽스 프로세싱 유닛을 수행할 수 있다. 일 실시예에서, 프로세서(12)는 제어 프로세서, 또는 메디컬 진단 이미징 시스템의 다른 프로세서, 이를테면, 메디컬 진단 초음파 이미징 시스템 프로세서이다. 프로세서(12)는, 본원에 설명된 다양한 동작들, 이를테면, 도 1-도 3 및/또는 도 8-도 9의 동작들 중 임의의 동작 또는 동작들 전부를 수행하기 위한 저장된 명령들에 의해 구성되거나 또는 이 명령들에 따라 동작한다.
[00115] 일 실시예에서, 프로세서(12)는 소프트웨어(software), 펌웨어(firmware), 및/또는 하드웨어(hardware)에 의해, 기계-트레이닝된 분류기를 이용하여 해부학적 구조를 검출하도록(예컨대, 입력 특징들을 학습된 매트릭스에 적용하여, 해부학적 구조가 일 위치에 있을 확률을 출력하도록) 구성된다. 프로세서(12)는 하나의 바운딩 박스, 또는 랜드마크들의 더욱 효율적인 검출을 위해 바운딩 박스들의 계층을 검출할 수 있다. 다양한 랜드마크들 중 임의의 랜드마크에 대해 임의의 개수의 분류기들이 적용된다. 프로세서(12)는 주어진 프레임에 대해 주어진 랜드마크를 선택하기 위해 공간 및/또는 시간(예컨대, 마르코프 제약) 제약들을 적용하도록 구성된다.
[00116] 추가적 또는 대안적 실시예에서, 프로세서(12)는 스캔을 이용하여 실시간으로 해부학적 랜드마크의 위치를 결정하도록 구성된다. 프로세서(12)는 스캔들의 희소 그룹(group)에 대한 기계 학습 분류를 이용하여, 그리고 희소 스캔들에서 사이에 끼어 있는 스캔들에 대한 광학적 흐름을 이용하여 위치를 결정한다. 프로세서(12)는 기계 학습 분류기로부터의 위치들을 이용하여 광학적 흐름을 주기적으로 재초기화할 수 있다.
[00117] 프로세서(12)는 이미지를 생성할 수 있다. 이미지를 생성하기 위해, 검출된 랜드마크 또는 랜드마크들이 사용된다. 이미징을 위해 환자-특정 스캔 데이터가 사용될 수 있다. 이미지는 검출된 및/또는 추적된 랜드마크의 함수인, 심장 또는 판막의 가시화를 제공하는데, 이를테면, 검출 또는 추적에 기반하여 메디컬 이미지에 대해 포지셔닝된(positioned) 모델이 보여진다.
[00118] 디스플레이(16)는 CRT, LCD, 플라즈마(plasma), 프로젝터(projector), 프린터(printer), 또는 이미지를 보여 주기 위한 다른 출력 디바이스이다. 디스플레이(16)는 검출된 해부학적 구조의 이미지, 이를테면, 메디컬 데이터로부터 렌더링되며 해부학적 구조 포지션, 배향, 및/또는 축척의 추정치들에 기반하여 오버레이되거나 또는 하이라이팅된 판막의 이미지를 디스플레이한다. 디스플레이(16)는 렌더링들의 시퀀스를 디스플레이하여, 이 시퀀스를 통해 해부학적 구조 모션의 가시화를 생성한다. 가시화는 스캔과 동일한 검사 세션 동안에, 이를테면, 스캐닝과 실시간으로 생성될 수 있다. 검출된 해부학적 구조는 세그먼팅될(segmented) 수 있거나 또는 세그먼팅되지 않을 수 있는데, 이를테면, 단지 해부학적 구조가 디스플레이된다.
[00119] 메모리(14)는 버퍼(buffer), 캐시(cache), RAM, 탈착가능 매체(media), 하드 드라이브(hard drive), 자기, 광학, 데이터베이스, 또는 다른 현재 알려진 또는 추후에 개발되는 메모리이다. 메모리(14)는 단일 디바이스, 또는 둘 또는 그 초과의 디바이스들의 그룹이다. 메모리(14)는 시스템(10) 내에서 도시되지만, 시스템(10)의 다른 컴포넌트들 밖에 또는 원격으로 있을 수 있다.
[00120] 메모리(14)는 초음파 데이터, 이를테면, 심장 주기의 상이한 시간들에서의 심장 또는 판막 볼륨을 표현하는 초음파 데이터를 저장한다. 심장 볼륨은 적어도 하나의 판막을 포함하지만, 심장 또는 다른 해부학적 구조의 다른 부분들이 표현될 수 있다. 메모리(14)는 흐름(예컨대, 속도, 에너지 또는 양쪽 모두), 스펙트럼(spectral), 및/또는 B-모드 초음파 데이터를 저장한다. 대안적으로, 메디컬 이미지 데이터는 다른 디바이스로부터 프로세서(12)에 전송된다. 메디컬 이미지 초음파 데이터는 삼차원 데이터 세트, 또는 이러한 세트들의 시퀀스이다. 데이터는 삼차원 구역을 표현한다. 임의의 포맷, 이를테면, 삼차원 그리드 또는 병렬 또는 비-병렬 평면들을 표현하는 데이터로 보간된 복셀들이 사용될 수 있다.
[00121] 실시간 이미징의 경우, 초음파 데이터는 메모리(14)를 우회하거나, 메모리(14)에 일시적으로 저장되거나, 또는 메모리(14)로부터 로딩된다(loaded). 실시간 이미징은 데이터의 취득과 검출 및/또는 추적의 결과들을 갖는 이미징 사이에 몇 분의 일 초, 또는 심지어 수 초의 지연을 허용할 수 있다. 예컨대, 스캐닝에 의한 데이터의 취득과 실질적으로 동시에 이미지들을 생성함으로써, 실시간 이미징이 제공된다. 실질적으로, 스캔의 완료부터 이미지에 대한 스캔의 사용까지 삼 초 또는 그 미만만큼의 지연을 허용한다. 데이터의 다음 차례 또는 후속 세트를 취득하려고 스캐닝하는 동안에, 데이터의 이전 세트에 대한 이미지들 및 측정들이 생성된다. 이미징은, 데이터를 취득하기 위해 사용되는 동일한 이미징 세션 또는 환자 진료예약 동안에 발생한다. 실시간 동작에 대한, 취득과 이미징 사이의 지연의 양은 판막 해부학적 구조들을 처음에 위치결정하기 위한 더 큰 지연과 추적을 위한 더 적은 지연과 같이 변할 수 있다. 대안적 실시예들에서, 초음파 데이터는 이전 이미징 세션으로부터 메모리(14)에 저장되며, 그리고 사용된다.
[00122] 부가적으로 또는 대안적으로, 메모리(14)는 프로세싱 명령들을 갖는 비-일시적 컴퓨터 판독가능 저장 매체이다. 메모리(14)는 해부학적 또는 다른 랜드마크들을 검출하기 위해, 프로그래밍된 프로세서(12)에 의해 실행가능한 명령들을 표현하는 데이터를 저장한다. 본원에 논의된 프로세스들, 방법들 및/또는 기술들을 구현하기 위한 명령들은 컴퓨터-판독가능 저장 매체 또는 메모리들, 이를테면, 캐시, 버퍼, RAM, 탈착가능 매체, 하드 드라이브 또는 다른 컴퓨터 판독가능 저장 매체 상에 제공된다. 컴퓨터 판독가능 저장 매체는 다양한 유형들의 휘발성 및 비휘발성 저장 매체를 포함한다. 도면들에 예시되거나 또는 본원에 설명된 기능들, 동작들 또는 작업들은, 컴퓨터 판독가능 저장 매체에 또는 그 상에 저장된 명령들의 하나 또는 그 초과의 세트들에 대한 응답으로 실행된다. 기능들, 동작들 또는 작업들은 특정 유형의 명령 세트, 저장 매체, 프로세서 또는 프로세싱 전략에 독립적이며, 단독으로 동작하든 또는 결합하여 동작하든, 소프트웨어, 하드웨어, 집적 회로들, 펌웨어, 마이크로 코드(micro code) 등에 의해 수행될 수 있다. 마찬가지로, 프로세싱 전략들은 멀티프로세싱(multiprocessing), 멀티태스킹(multitasking), 병렬 프로세싱 등을 포함할 수 있다. 일 실시예에서, 명령들은 로컬 또는 원격 시스템들에 의한 판독을 위해 탈착가능 매체 디바이스 상에 저장된다. 다른 실시예들에서, 명령들은 컴퓨터 네트워크를 통한 또는 전화선들을 경유한 전송을 위해 원격 위치에 저장된다. 또 다른 실시예들에서, 명령들은 주어진 컴퓨터, CPU, GPU, 또는 시스템 내에 저장된다.
[00123] 본 발명이 다양한 실시예들을 참조하여 위에서 설명되었지만, 본 발명의 범위로부터 벗어나지 않고, 많은 변경들 및 수정들이 이루어질 수 있음이 이해되어야 한다. 그러므로, 전술한 상세한 설명이 제한적인 것이 아니라 예시적인 것으로 간주되어야 한다는 것이 의도되며, 그리고 본 발명의 사상 및 범위를 정의하도록 의도되는 것은, 모든 등가물들을 포함하는 다음의 청구항들이라는 것이 이해되어야 한다.
.

Claims (21)

  1. 메디컬 이미징(medical imaging)에서 판막밑 위치(sub-valvular location)를 검출하기 위한 방법으로서, 상기 방법은,
    메디컬 이미징 데이터(data)의 프레임(frame)들의 시퀀스(sequence)를 취득(22)하는 단계 ―상기 프레임들 각각은 환자의 심장의 적어도 일 구역의 볼륨(volume)을 표현함―;
    상기 심장의 판막을 에워싸는 판막 바운딩 박스(bounding box)를 상기 프레임들 각각에서 검출(26)하는 단계;
    상기 판막 바운딩 박스에 기반하여, 판막밑 구조 위치를 에워싸는 판막밑 바운딩 박스를 상기 프레임들 각각에서 검출(28)하는 단계;
    상기 판막밑 바운딩 박스 내의 판막밑 위치의 후보 위치들을 상기 프레임들 각각에서 검출(30)하는 단계;
    공간 제약 밖의 후보 위치들을 제거(32)하는 단계;
    상기 제거(32) 이후에 남아 있는 후보 위치들 중 하나의 후보 위치를 상기 판막밑 위치로서 상기 프레임들 각각에서 선택(34)하는 단계 ―상기 선택(34)은 상기 프레임들에 걸친 후보 위치들의 함수임―; 및
    상기 환자의 심장의 적어도 일 구역의 이미지(image)에서 상기 판막밑 위치를 하이라이팅(highlighting)(36)하는 단계
    를 포함하는,
    메디컬 이미징에서 판막밑 위치를 검출하기 위한 방법.
  2. 제 1 항에 있어서,
    상기 취득(22)하는 단계는 경식도 심초음파(transesophageal echocardiography) 데이터를 취득(22)하는 단계를 포함하는,
    메디컬 이미징에서 판막밑 위치를 검출하기 위한 방법.
  3. 제 1 항에 있어서,
    상기 판막 바운딩 박스를 검출(26)하는 단계는 가장자리 공간 학습 분류기(marginal space learnt classifier)를 이용하여 직사각형 프리즘(prism)을 검출하는 단계를 포함하는,
    메디컬 이미징에서 판막밑 위치를 검출하기 위한 방법.
  4. 제 1 항에 있어서,
    상기 판막밑 바운딩 박스를 검출(28)하는 단계는 상기 판막 바운딩 박스에 대한 상기 판막밑 바운딩 박스의 평균 포지션(position)에 기반하여 직사각형 프리즘을 검출하는 단계를 포함하는,
    메디컬 이미징에서 판막밑 위치를 검출하기 위한 방법.
  5. 제 1 항에 있어서,
    상기 판막 바운딩 박스를 검출(26)하는 단계는 복수의 후보 승모판막 바운딩 박스들을 각각의 프레임에서 검출하는 단계를 포함하고, 상기 판막밑 바운딩 박스를 검출(28)하는 단계는 개개의 복수의 후보 유두상 바운딩 박스들을 각각의 프레임에서 검출하는 단계 및 상기 프레임들에 걸친 상기 후보 유두상(papillary) 바운딩 박스들의 랜덤 샘플 컨센서스(Random Sample Consensus)로부터 각각에 대한 유두상 바운딩 박스를 선택하는 단계를 포함하는,
    메디컬 이미징에서 판막밑 위치를 검출하기 위한 방법.
  6. 제 1 항에 있어서,
    상기 후보 위치들을 검출(30)하는 단계는 가장자리 공간 학습 분류기를 이용하여 검출하는 단계를 포함하는,
    메디컬 이미징에서 판막밑 위치를 검출하기 위한 방법.
  7. 제 1 항에 있어서,
    상기 제거(32)하는 단계는 상기 후보 위치들을 상기 승모판막의 랜드마크(landmark)에 대해 바운딩된(bounded) 구역으로 제한하는 단계를 포함하는,
    메디컬 이미징에서 판막밑 위치를 검출하기 위한 방법.
  8. 제 1 항에 있어서,
    상기 선택(34)하는 단계는 마르코프(Markov) 제약을 이용하여 선택(34)하는 단계를 포함하는,
    메디컬 이미징에서 판막밑 위치를 검출하기 위한 방법.
  9. 제 1 항에 있어서,
    상기 선택(34)하는 단계는 상기 후보 위치들의 상이한 세트(set)들로부터 상기 후보 위치들 중 단 한 개의 후보 위치를 갖는 세트를 각각의 프레임에서 선택(34)하는 단계를 포함하고, 상기 선택(34)은 상기 세트 내의 후보 위치들 사이의 시간 변위의 함수인,
    메디컬 이미징에서 판막밑 위치를 검출하기 위한 방법.
  10. 제 1 항에 있어서,
    상기 하이라이팅(36)하는 단계는, 유두근 위치 및 상기 유두근 위치를 승모판막의 소엽(leaflet)들에 연결하는 끈(chordae)의 표현을 포함하는 상기 승모판막의 모델(model)의 그래픽(graphic)을 디스플레이(displaying)하는 단계, 또는 다른 판막 구조에 대한 그래픽들 없이 유두상 끝(papillary tip)들의 그래픽을 디스플레이하는 단계를 포함하는,
    메디컬 이미징에서 판막밑 위치를 검출하기 위한 방법.
  11. 제 1 항에 있어서,
    상기 취득(22)하는 단계는, 시간에 따라 상기 심장을 표현하는 프레임들의 세트의 시퀀스의 희소 샘플링(sparse sampling)을 선택하는 단계를 포함하고,
    상기 방법은, 광학적 흐름을 사용하여, 상기 희소 샘플링에서는 없는 판막밑 위치를 상기 프레임들에서 위치결정(38)하는 단계를 더 포함하는,
    메디컬 이미징에서 판막밑 위치를 검출하기 위한 방법.
  12. 제 11 항에 있어서,
    상기 광학적 흐름에 대한 상기 판막밑 위치를 선택된 판막밑 위치로 주기적으로 업데이팅(updating)(40)하는 단계를 더 포함하는,
    메디컬 이미징에서 판막밑 위치를 검출하기 위한 방법.
  13. 비-일시적 컴퓨터(computer) 판독가능 저장 매체로서,
    랜드마크 검출을 위해, 프로그래밍된 프로세서(programmed processor)(12)에 의해 실행가능한 명령들을 표현하는 데이터를 저장하고 있고, 상기 저장 매체는,
    기계 학습 분류기를 이용하여 후보 해부학적 랜드마크들을 위치결정(30)하고;
    공간 제약을 이용하여 상기 후보 해부학적 랜드마크들을 제한(32)하고;
    상기 제한 이후에 남아 있는 후보 해부학적 랜드마크들로부터의 랜드마크의 위치를 복수의 볼륨들 각각에서 선택(34)하고 ―상기 선택은 시간에 따른 후보 랜드마크들의 함수임―; 그리고
    상기 랜드마크의 이미지를 생성(36)하기 위한
    명령들을 포함하는,
    비-일시적 컴퓨터 판독가능 저장 매체.
  14. 제 13 항에 있어서,
    상기 위치결정(30)하는 것은 더 큰 해부학적 구조의 바운딩 박스로부터 상기 랜드마크의 바운딩 박스를 추정하는 것을 포함하는,
    비-일시적 컴퓨터 판독가능 저장 매체.
  15. 제 14 항에 있어서,
    상기 위치결정(30)하는 것은 랜덤 샘플 컨센서스를 이용하여 상기 추정을 미세조정하는 것을 더 포함하는,
    비-일시적 컴퓨터 판독가능 저장 매체.
  16. 제 13 항에 있어서,
    상기 기계 학습 분류기를 이용하여 위치결정(30)하는 것은 가장자리 공간 학습 분류기를 이용하여 위치결정하는 것을 포함하는,
    비-일시적 컴퓨터 판독가능 저장 매체.
  17. 제 13 항에 있어서,
    상기 선택(34)하는 것은 마르코프 제약을 이용하여 선택(34)하는 것을 포함하는,
    비-일시적 컴퓨터 판독가능 저장 매체.
  18. 해부학적 랜드마크를 검출하기 위한 시스템(system)으로서, 상기 시스템은,
    환자의 심장 볼륨을 스캔(scan)하도록 구성된 초음파 스캐너(scanner)(10) ―상기 스캔은 시간에 따라 상기 심장의 적어도 일부를 표현하는 메디컬 진단 초음파 데이터를 제공함―; 및
    상기 스캔을 이용하여 실시간으로 상기 해부학적 랜드마크의 위치를 결정하도록 구성된 프로세서(12)
    를 포함하고,
    상기 위치는, 희소 프레임들에 대한 기계 학습 분류 및 상기 희소 프레임들 사이에 끼어 있는 프레임들에 대한 광학적 흐름을 이용하여 결정되며, 상기 위치는 상기 희소 프레임들 및 인터리빙된(interleaved) 프레임들이 취득될 때 순차적으로 결정되는,
    해부학적 랜드마크를 검출하기 위한 시스템.
  19. 제 18 항에 있어서,
    상기 프로세서(12)는 상기 희소 프레임들에 대해 결정된, 상기 기계 학습 분류기로부터의 위치들을 이용하여 상기 광학적 흐름을 주기적으로 재초기화하도록 구성되는,
    해부학적 랜드마크를 검출하기 위한 시스템.
  20. 제 18 항에 있어서,
    상기 프로세서(12)는 공간 제약 및 시간 마르코프 제약을 사용하는 기계 학습 분류를 이용하여 상기 위치를 결정하도록 구성되는,
    해부학적 랜드마크를 검출하기 위한 시스템.
  21. 제 18 항에 있어서,
    상기 프로세서(12)는 시간에 따라 상기 해부학적 랜드마크의 특성을 측정하도록 구성되는,
    해부학적 랜드마크를 검출하기 위한 시스템.
KR1020177000509A 2014-06-09 2015-06-08 메디컬 이미징에서 공간 및 시간 제약들을 이용하는 랜드마크 검출 Active KR101908520B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201462009512P 2014-06-09 2014-06-09
US62/009,512 2014-06-09
US201562128177P 2015-03-04 2015-03-04
US62/128,177 2015-03-04
PCT/US2015/034618 WO2015191414A2 (en) 2014-06-09 2015-06-08 Landmark detection with spatial and temporal constraints in medical imaging

Publications (2)

Publication Number Publication Date
KR20170016461A true KR20170016461A (ko) 2017-02-13
KR101908520B1 KR101908520B1 (ko) 2018-10-16

Family

ID=53487426

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020177000509A Active KR101908520B1 (ko) 2014-06-09 2015-06-08 메디컬 이미징에서 공간 및 시간 제약들을 이용하는 랜드마크 검출

Country Status (5)

Country Link
US (1) US10297027B2 (ko)
EP (1) EP3152736B1 (ko)
KR (1) KR101908520B1 (ko)
CN (1) CN106605257B (ko)
WO (1) WO2015191414A2 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190103048A (ko) * 2018-02-27 2019-09-04 지멘스 메디컬 솔루션즈 유에스에이, 인크. 정량적 초음파 이미징을 위한 관심 구역 배치
KR20190113089A (ko) * 2018-03-27 2019-10-08 울산대학교 산학협력단 근감소증 분석지원을 위한 인공 신경망 기반의 인체 형태 분석법을 채용하는 영상 처리 장치 및 이를 이용한 영상 처리 방법
WO2022197074A1 (ko) * 2021-03-17 2022-09-22 재단법인 아산사회복지재단 의료영상 처리 장치와 그 의료영상 학습 방법 및 의료영상 처리 방법

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160032586A (ko) * 2014-09-16 2016-03-24 삼성전자주식회사 관심영역 크기 전이 모델 기반의 컴퓨터 보조 진단 장치 및 방법
US20170086789A1 (en) * 2015-09-30 2017-03-30 General Electric Company Methods and systems for providing a mean velocity
WO2017140352A1 (en) * 2016-02-16 2017-08-24 Brainlab Ag DETERMINATION OF DYNAMIC DRRs
US9928875B2 (en) * 2016-03-22 2018-03-27 Nec Corporation Efficient video annotation with optical flow based estimation and suggestion
US11151721B2 (en) 2016-07-08 2021-10-19 Avent, Inc. System and method for automatic detection, localization, and semantic segmentation of anatomical objects
KR101949114B1 (ko) 2016-12-02 2019-02-15 아벤트, 인크. 의료적 이미징 기반 절차에서 타겟 해부 대상으로의 내비게이션을 위한 시스템 및 방법
JP6925824B2 (ja) * 2017-02-28 2021-08-25 キヤノンメディカルシステムズ株式会社 超音波診断装置、画像処理装置、及び画像処理プログラム
CN110914866B (zh) * 2017-05-09 2024-04-30 哈特弗罗公司 用于在图像分析中进行解剖结构分割的系统和方法
US11432875B2 (en) 2017-09-28 2022-09-06 Siemens Medical Solutions Usa, Inc. Left atrial appendage closure guidance in medical imaging
US20190125295A1 (en) * 2017-10-30 2019-05-02 Siemens Medical Solutions Usa, Inc. Cardiac flow detection based on morphological modeling in medical diagnostic ultrasound imaging
KR101919847B1 (ko) * 2018-01-18 2018-11-19 주식회사 뷰노 동일 피사체에 대하여 시간 간격을 두고 촬영된 영상 간에 동일 관심구역을 자동으로 검출하는 방법 및 이를 이용한 장치
EP3537447A1 (en) * 2018-03-07 2019-09-11 Koninklijke Philips N.V. Display of medical image data
CN108510475B (zh) * 2018-03-09 2022-03-29 南京合迈美家智能科技有限公司 一种肌肉连续超声图像中肌肉肌腱结的测量方法及系统
EP3549529A1 (en) * 2018-04-05 2019-10-09 Koninklijke Philips N.V. Ultrasound imaging system and method
WO2019226803A1 (en) 2018-05-22 2019-11-28 Boston Scientific Scimed, Inc. Percutaneous papillary muscle relocation
US10733474B2 (en) 2018-07-03 2020-08-04 Sony Corporation Method for 2D feature tracking by cascaded machine learning and visual tracking
GB201817238D0 (en) * 2018-10-23 2018-12-05 Univ Sheffield Medical image processing
EP3705049A1 (en) 2019-03-06 2020-09-09 Piur Imaging GmbH Apparatus and method for determining motion of an ultrasound probe including a forward-backward directedness
CN112150370B (zh) * 2019-06-28 2024-02-06 深圳市恩普电子技术有限公司 一种空间复合成像方法和装置
US12171592B2 (en) 2019-08-30 2024-12-24 Avent, Inc. System and method for identification, labeling, and tracking of a medical instrument
US11244446B2 (en) * 2019-10-25 2022-02-08 Shanghai United Imaging Intelligence Co., Ltd. Systems and methods for imaging
CN111192356B (zh) * 2019-12-30 2023-04-25 上海联影智能医疗科技有限公司 感兴趣区域的显示方法、装置、设备和存储介质
US12140525B2 (en) 2020-04-22 2024-11-12 Sony Group Corporation Measuring device and imaging control method
CN111611909A (zh) * 2020-05-18 2020-09-01 桂林电子科技大学 多子空间域自适应人脸识别方法
GB202017510D0 (en) * 2020-09-29 2020-12-23 Univ Oxford Innovation Ltd Method of training a machine learning model, method of assessing ultrasound measurement data, method of determining information about an anatomical featur
EP4280964A4 (en) * 2021-01-19 2024-11-20 ImaCor Inc. Hemodynamic monitoring system implementing ultrasound imaging systems and machine learning-based image processing techniques
EP4092621B1 (en) 2021-05-21 2026-04-22 Siemens Healthineers AG Technique for assigning a perfusion metric to dce mr images
EP4111982A1 (en) * 2021-06-29 2023-01-04 Koninklijke Philips N.V. Systems and apparatuses for navigation and procedural guidance of laser leaflet resection under intracardiac echocardiography
US12315213B2 (en) * 2021-08-20 2025-05-27 Canon Medical Systems Corporation Medical image processing apparatus and medical image processing method
US12315218B2 (en) * 2022-07-06 2025-05-27 Shanghai United Imaging Intelligence Co., Ltd. Systems and methods for tracking groups of objects in medical images
CN115908330A (zh) * 2022-11-23 2023-04-04 杭州脉流科技有限公司 基于dsa影像的冠脉自动化选帧分类推荐方法及装置
WO2025255165A1 (en) * 2024-06-04 2025-12-11 Shifamed Holdings, Llc Autonomous tee probe with graph model generation and landmark-based navigation
CN119214796B (zh) * 2024-11-28 2025-02-07 西安市第九医院 一种心血管介入手术中的实时图像导航与定位系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009153600A (ja) * 2007-12-25 2009-07-16 Toshiba Corp 超音波診断装置、画像処理装置及びプログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8771189B2 (en) 2009-03-18 2014-07-08 Siemens Medical Solutions Usa, Inc. Valve assessment from medical diagnostic imaging data
US8682626B2 (en) 2010-07-21 2014-03-25 Siemens Aktiengesellschaft Method and system for comprehensive patient-specific modeling of the heart
US8532352B2 (en) 2010-10-06 2013-09-10 Siemens Aktiengesellschaft Method and system for intraoperative guidance using physiological image fusion
US9245091B2 (en) 2011-03-09 2016-01-26 Siemens Aktiengesellschaft Physically-constrained modeling of a heart in medical imaging
US9824302B2 (en) 2011-03-09 2017-11-21 Siemens Healthcare Gmbh Method and system for model-based fusion of multi-modal volumetric images
US9687204B2 (en) 2011-05-20 2017-06-27 Siemens Healthcare Gmbh Method and system for registration of ultrasound and physiological models to X-ray fluoroscopic images
US8934693B2 (en) 2011-11-23 2015-01-13 Siemens Aktiengesellschaft Method and system for intervention planning for transcatheter aortic valve implantation from 3D computed tomography data
US9730643B2 (en) * 2013-10-17 2017-08-15 Siemens Healthcare Gmbh Method and system for anatomical object detection using marginal space deep neural networks
US10194888B2 (en) 2015-03-12 2019-02-05 Siemens Medical Solutions Usa, Inc. Continuously oriented enhanced ultrasound imaging of a sub-volume
US10835210B2 (en) 2015-03-30 2020-11-17 Siemens Medical Solutions Usa, Inc. Three-dimensional volume of interest in ultrasound imaging

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009153600A (ja) * 2007-12-25 2009-07-16 Toshiba Corp 超音波診断装置、画像処理装置及びプログラム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190103048A (ko) * 2018-02-27 2019-09-04 지멘스 메디컬 솔루션즈 유에스에이, 인크. 정량적 초음파 이미징을 위한 관심 구역 배치
US11006926B2 (en) 2018-02-27 2021-05-18 Siemens Medical Solutions Usa, Inc. Region of interest placement for quantitative ultrasound imaging
KR20190113089A (ko) * 2018-03-27 2019-10-08 울산대학교 산학협력단 근감소증 분석지원을 위한 인공 신경망 기반의 인체 형태 분석법을 채용하는 영상 처리 장치 및 이를 이용한 영상 처리 방법
WO2022197074A1 (ko) * 2021-03-17 2022-09-22 재단법인 아산사회복지재단 의료영상 처리 장치와 그 의료영상 학습 방법 및 의료영상 처리 방법

Also Published As

Publication number Publication date
US10297027B2 (en) 2019-05-21
CN106605257A (zh) 2017-04-26
CN106605257B (zh) 2019-10-11
WO2015191414A3 (en) 2016-02-25
KR101908520B1 (ko) 2018-10-16
WO2015191414A2 (en) 2015-12-17
EP3152736B1 (en) 2020-01-08
EP3152736A2 (en) 2017-04-12
US20170116748A1 (en) 2017-04-27

Similar Documents

Publication Publication Date Title
KR101908520B1 (ko) 메디컬 이미징에서 공간 및 시간 제약들을 이용하는 랜드마크 검출
US12329565B2 (en) Cardiac flow detection based on morphological modeling in medical diagnostic ultrasound imaging
US12042232B2 (en) Left atrial appendage closure guidance in medical imaging
US10321892B2 (en) Computerized characterization of cardiac motion in medical diagnostic ultrasound
US10271817B2 (en) Valve regurgitant detection for echocardiography
US8812431B2 (en) Method and system for medical decision support using organ models and learning based discriminative distance functions
US5889524A (en) Reconstruction of three-dimensional objects using labeled piecewise smooth subdivision surfaces
US9033887B2 (en) Mitral valve detection for transthoracic echocardiography
US8218845B2 (en) Dynamic pulmonary trunk modeling in computed tomography and magnetic resonance imaging based on the detection of bounding boxes, anatomical landmarks, and ribs of a pulmonary artery
JP5108905B2 (ja) ３ｄデータセット中の画像ビューを自動的に特定する方法および装置
CN112955934B (zh) 识别医学图像中的介入设备
CN107403446A (zh) 用于使用智能人工代理的图像配准的方法和系统
CN116883322A (zh) 一种三维超声模型应用于心脏参数测量与管理方法及终端
CN117729890A (zh) 用于二尖瓣反流评估的具有用户指导和自动图像设置选择的方法和装置
Carnahan Towards Patient Specific Mitral Valve Modelling via Dynamic 3D Transesophageal Echocardiography
Park et al. Automatic computation of 2D cardiac measurements from B-mode echocardiography
Mao Three-dimensional Ultrasound Fusion for Transesophageal Echocardiography
CN112336378B (zh) 一种用于动物超声诊断的m型超声心动图处理方法和系统
MUNAFÒ Deep learning-driven segmentation of echocardiographic images for intraprocedural support in percutaneous mitral valve repair
Lenting Automated echocardiographic surgical guidance in mitral valve repair
Chen QUiLT (Quantitative Ultrasound in Longitudinal Tissue Tracking): Stitching 2D images into 3D Volumes for Organ Health Monitoring
Pedrosa et al. Left ventricular segmentation of the heart in real-time in 3D echocardiography
Vannelli et al. How Accurately Does Transesophageal Echocardiography Identify the Mitral Valve?
Schneider Semi-Automatic Delineation of the Mitral Valve from Clinical Four-Dimensional Ultrasound Imaging
CN120770840A (zh) 引导式超声成像系统

Legal Events

Date Code Title Description
PA0105 International application

St.27 status event code: A-0-1-A10-A15-nap-PA0105

A201 Request for examination
E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

R15-X000 Change to inventor requested

St.27 status event code: A-3-3-R10-R15-oth-X000

R16-X000 Change to inventor recorded

St.27 status event code: A-3-3-R10-R16-oth-X000

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U12-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R11-asn-PN2301

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R14-asn-PN2301

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R11-asn-PN2301

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R14-asn-PN2301

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 5

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 6

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 7

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R11-asn-PN2301

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R14-asn-PN2301

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 8

U11 Full renewal or maintenance fee paid

Free format text: ST27 STATUS EVENT CODE: A-4-4-U10-U11-OTH-PR1001 (AS PROVIDED BY THE NATIONAL OFFICE)

Year of fee payment: 8