KR20170106374A - 해부학적 수술 동안 수술 거즈의 검출을 위한 방법 및 시스템 - Google Patents

해부학적 수술 동안 수술 거즈의 검출을 위한 방법 및 시스템 Download PDF

Info

Publication number
KR20170106374A
KR20170106374A KR1020177022275A KR20177022275A KR20170106374A KR 20170106374 A KR20170106374 A KR 20170106374A KR 1020177022275 A KR1020177022275 A KR 1020177022275A KR 20177022275 A KR20177022275 A KR 20177022275A KR 20170106374 A KR20170106374 A KR 20170106374A
Authority
KR
South Korea
Prior art keywords
video frame
pixel
surgical
surgical gauze
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020177022275A
Other languages
English (en)
Other versions
KR102021682B1 (ko
Inventor
천-루이 처우
밍-창 리우
Original Assignee
소니 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 주식회사 filed Critical 소니 주식회사
Publication of KR20170106374A publication Critical patent/KR20170106374A/ko
Application granted granted Critical
Publication of KR102021682B1 publication Critical patent/KR102021682B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06K9/4609—
    • G06K9/4652—
    • G06K9/6218—
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N5/23216—
    • H04N5/23229—
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; Determining position of diagnostic devices within or on the body of the patient
    • G06K2209/057—
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/034—Recognition of patterns in medical or anatomical images of medical instruments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Human Computer Interaction (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Image Analysis (AREA)

Abstract

해부학적 수술 동안 수술 거즈의 검출을 위한 방법 및 시스템의 다양한 양태들이 본원에 개시되어 있다. 본 개시내용의 일 실시예에 따르면, 본 방법은 하나 이상의 비디오 프레임들을 포착하는 영상 포착 디바이스(218)에 통신가능하게 결합되는 영상 처리 엔진(210)에서 구현가능하다. 본 방법은 비디오 프레임의 적어도 일부분의 색상 필터링에 기초하여 픽셀 특성 세트를 결정하는 것(704)을 포함한다. 그 후에, 수술 거즈의 일부분의 하나 이상의 픽셀 블록들이 픽셀 특성 세트에 기초하여 비디오 프레임에서 검출된다(706). 게다가, 수술 거즈의 나머지 부분에 대응하는 부가 픽셀들이 복수의 메트릭들에 기초하여 식별된다(710). 수술 거즈가 하나 이상의 픽셀 블록들의 검출 및 부가 픽셀들의 식별에 기초하여 비디오 프레임에서 인식된다(712).

Description

해부학적 수술 동안 수술 거즈의 검출을 위한 방법 및 시스템
관련 출원의 상호 참조/참조에 의한 원용
본 출원은 2015년 2월 19일 목요일에 출원된 미국 가특허 출원 제62/118,030호 - 그 전체 내용이 이로써 참조에 의해 원용됨 - 를 우선권 주장한다.
본 개시내용의 다양한 실시예들은 수술 거즈(surgical gauze)의 검출을 위한 방법 및 시스템에 관한 것이다. 보다 구체적으로는, 본 개시내용의 다양한 실시예들은 해부학적 수술 동안 수술 거즈의 검출을 위한 방법 및 시스템에 관한 것이다.
의학의 최근의 진보에 따라, 다양한 수술 및 진단 절차들이 이제는 최소 침습 기법(minimally invasive technique)들을 사용하여 수행될 수 있다. 이러한 최소 침습 기법들은 내시경 또는 복강경 수술 기구들을 환자의 피부를 통해 체강(body cavity) 내로 삽입하기 위해 작은 절개부(incision)를 필요로 할 수 있다. 내시경 또는 복강경 수술 기구들은 체강의 비디오 장면(video footage)을 포착하기 위한 내장 카메라를 포함할 수 있다. 비디오 장면은 의사가 체강 내의 지정된 해부학적 영역에 대해 수술 또는 진단 절차를 수행할 수 있게 하기 위해 의사에게 실시간으로 디스플레이될 수 있다. 특정 시나리오들에서, 수술 또는 진단 절차 동안 하나 이상의 수술 거즈들이 사용될 수 있다. 예를 들어, 수술 거즈는 수술 또는 진단 절차 동안 배어 나올 수 있는 혈액 및 다른 체액들을 흡수하기 위해 체강에서 해부학적 영역 주위에 위치된다. 그렇지만, 수술 거즈는 수술 또는 진단 절차의 완료 후에 체강 내에 남아 있으면 환자에게 위험을 초래할 수 있다. 따라서, 체강에서 해부학적 영역에 걸쳐 수술 거즈를 검출하고 모니터링하기 위해 수술 또는 진단 절차들의 비디오 장면의 실시간 분석이 필요하다.
종래의 전통적인 접근법들의 추가의 한계들 및 단점들이, 기술된 시스템들을, 본 출원의 나머지에서 도면들을 참조하여 기재되는 바와 같은, 본 개시내용의 일부 양태들과 비교하는 것을 통해, 본 기술분야의 통상의 기술자에게는 명백하게 될 것이다.
해부학적 수술 동안 수술 거즈를 검출하는 방법 및 시스템이, 청구항들에 보다 완전히 기재되는 바와 같이, 실질적으로 도면들 중 적어도 하나에 도시되며 그리고/또는 그와 관련하여 기술된다.
본 개시내용의 이들 및 다른 특징들 및 장점들은, 도면 전체에 걸쳐 유사한 도면 부호들이 유사한 부분들을 가리키는 첨부 도면들과 함께, 본 개시내용의 이하의 상세한 설명의 검토로부터 이해될 수 있다.
도 1은 본 개시내용의 일 실시예에 따른, 네트워크 환경을 나타낸 블록도.
도 2는 본 개시내용의 일 실시예에 따른, 예시적인 영상 처리 서버를 나타낸 블록도.
도 3은 본 개시내용의 일 실시예에 따른, 예시적인 사용자 단말을 나타낸 블록도.
도 4는 본 개시내용의 일 실시예에 따른, 비디오 프레임에서 수술 거즈에 대응하는 하나 이상의 영상 블록들을 검출하는 방법을 나타낸 예시적인 흐름도.
도 5는 본 개시내용의 일 실시예에 따른, 비디오 프레임에서 수술 거즈를 인식하는 방법을 나타낸 다른 예시적인 흐름도.
도 6은 본 개시내용의 일 실시예에 따른, 사용자 단말 상에 제시될 수 있는 사용자 인터페이스(UI)의 예시적인 시나리오를 나타낸 도면.
도 7은 본 개시내용의 일 실시예에 따른, 해부학적 수술 동안 수술 거즈를 검출하는 예시적인 방법을 나타낸 플로우차트.
이하의 기술된 구현들은 해부학적 수술 동안 수술 거즈의 검출을 위한 개시된 방법 및 시스템에서 찾아볼 수 있다. 본 개시내용의 예시적인 양태들은 영상 처리 엔진에서 구현가능한 방법을 포함할 수 있다. 영상 처리 엔진은 영상 포착 디바이스에 통신가능하게 결합(communicatively coupled)될 수 있다. 영상 포착 디바이스는 하나 이상의 비디오 프레임들을 포착하도록 구성될 수 있다. 본 방법은 영상 포착 디바이스로부터 수신되는 비디오 프레임의 적어도 일부분에 대해 수행되는 색상 필터링(color filtering)에 기초하여 픽셀 특성 세트를 결정하는 것을 포함할 수 있다. 그 후에, 결정된 픽셀 특성 세트에 기초하여 비디오 프레임의 일부분에서 수술 거즈의 일부분에 대응하는 하나 이상의 픽셀 블록들이 검출될 수 있다. 게다가, 수술 거즈의 나머지 부분에 대응할 수 있는 부가 픽셀들이 복수의 메트릭들에 기초하여 식별될 수 있다. 수술 거즈가 이어서 하나 이상의 픽셀 블록들의 검출 및 부가 픽셀들의 식별에 기초하여 비디오 프레임의 일부분에서 인식될 수 있다.
일 실시예에 따르면, 픽셀 특성 세트는 에지 특징, 형상 특징, 텍스처 특징, 크기 특징, 색상 특징, 강도 특징, 및/또는 밀도 특징을 포함할 수 있지만, 이들로 제한되지 않는다. 일 실시예에 따르면, 복수의 메트릭들은 적어도 공간 메트릭(spatial metric) 및 스펙트럼 메트릭(spectral metric)을 포함할 수 있다. 공간 메트릭은 비디오 프레임의 일부분 내의 2개의 픽셀들의 좌표들 사이의 기하학적 거리에 대응할 수 있다. 게다가, 스펙트럼 메트릭은 조명 불변 색상 메트릭(lighting-invariant color metric)에 대응할 수 있다. 조명 불변 색상 메트릭은 비디오 프레임의 일부분 내의 2개의 픽셀들의 색상 성분들 사이의 코사인 거리(cosine distance)에 대응할 수 있다.
일 실시예에 따르면, 비디오 프레임의 일부분 내의 2개의 픽셀들 사이의 유클리드 거리(Euclidean distance)를 결정하기 위해 공간 메트릭, 스펙트럼 메트릭, 및 가중 파라미터가 조합될 수 있다. 일 실시예에 따르면, 부가 픽셀들은 공간 메트릭, 스펙트럼 메트릭, 및 가중 파라미터의 조합에 기초한 k-평균 클러스터링 기법(k-means clustering technique)을 사용하여 식별될 수 있다.
일 실시예에 따르면, 수술 거즈의 그부분에 대응하는 하나 이상의 블록들은 비디오 프레임의 적어도 일부분의 연결 성분 분석(connected component analysis)에 기초하여 검출될 수 있다. 일 실시예에 따르면, 슈퍼픽셀 클러스터링 기법(super-pixel clustering technique)에 기초하여, 비디오 프레임에서 하나 이상의 픽셀 클러스터들이 결정될 수 있다. 부가 픽셀들을 식별하는 것은 하나 이상의 픽셀 클러스터들로부터 적어도 하나의 픽셀 클러스터를 선택하는 것을 포함할 수 있다. 또한, 비디오 프레임의 일부분에서 수술 거즈를 인식하는 것은 선택된 적어도 하나의 픽셀 클러스터에 기초할 수 있다.
일 실시예에 따르면, 영상 포착 디바이스의 하나 이상의 영상 포착 설정들이 비디오 프레임의 일부분에서 수술 거즈를 인식한 것에 기초하여 조절될 수 있다. 하나 이상의 영상 포착 설정들의 예들은 자동 노출, 자동 초점, 자동 화이트 밸런스, 또는 자동 조명을 포함할 수 있지만, 이들로 제한되지 않는다.
일 실시예에 따르면, 비디오 프레임의 적어도 일부분은 수술 절차 동안 사용자 인터페이스(UI)를 통해 실시간으로 (의사와 같은) 사용자에게 디스플레이될 수 있다. 인식된 수술 거즈가 UI를 통해 사용자에게 디스플레이되는 비디오 프레임의 일부분에서 마스킹되거나 하이라이트될 수 있다. 일 실시예에 따르면, 수술 거즈의 인식을 나타내는 통지가 생성될 수 있다. 통지의 예들은 오디오 경보, 텍스트 경보, 시각적 경보, 또는 햅틱 경보를 포함할 수 있지만, 이들로 제한되지 않는다.
도 1은 본 개시내용의 일 실시예에 따른, 네트워크 환경을 나타낸 블록도이다. 도 1을 참조하면, 네트워크 환경(100)이 도시되어 있다. 네트워크 환경(100)은 수술 디바이스(102), 영상 처리 서버(104), 비디오 데이터베이스(106), 사용자 단말(108), 및 통신 네트워크(110)를 포함할 수 있다. 수술 디바이스(102)는 통신 네트워크(110)를 통해 영상 처리 서버(104), 비디오 데이터베이스(106), 및 사용자 단말(108)과 통신가능하게 결합될 수 있다.
수술 디바이스(102)는 환자의 하나 이상의 해부학적 영역들과 연관된 하나 이상의 수술 절차들 및/또는 진단 분석들을 수행하도록 구성될 수 있는 적당한 로직, 회로부, 인터페이스들, 및/또는 코드를 포함할 수 있다. 수술 디바이스(102)의 예들은 최소 침습 수술/진단 디바이스, 최소 절개 수술/진단 디바이스, 및/또는 내시경/복강경 수술/진단 디바이스를 포함할 수 있지만, 이들로 제한되지 않는다.
일 실시예에 따르면, 수술 디바이스(102)는 영상 포착 디바이스(도 1에 도시되지 않음)를 추가로 포함할 수 있다. 환자의 해부학적 영역에 대해 수술 또는 진단 절차가 수행될 때, 영상 포착 디바이스는 해부학적 영역의 하나 이상의 비디오 프레임들을 포착할 수 있다. 대안적으로, 수술 디바이스(102)는, 통신 네트워크(110)를 통해, 영상 포착 디바이스에 통신가능하게 결합될 수 있다. 영상 포착 디바이스의 예들은 내시경/복강경 카메라, 초음파 기반 카메라, MRI(medical resonance imaging) 디바이스, CT(computer tomography) 스캐닝 디바이스, 최소 침습 의료 영상 디바이스, 및/또는 최소 절개 의료 영상 디바이스를 포함할 수 있지만, 이들로 제한되지 않는다.
영상 처리 서버(104)는, 사용자 단말(108) 및/또는 수술 디바이스(102)와 같은, 하나 이상의 가입된 전자 디바이스들에 영상 처리 서비스를 제공할 수 있는 하나 이상의 서버들을 포함할 수 있다. 일 실시예에 따르면, 영상 처리 서버(104)는 수술 또는 진단 절차가 수행되는 동안 영상 포착 디바이스에 의해 포착되는 하나 이상의 비디오 프레임들을 분석하도록 구성될 수 있다. 영상 처리 서버(104)는 이어서, 하나 이상의 비디오 프레임들의 분석에 기초하여, 하나 이상의 비디오 프레임들 중 적어도 하나에서 수술 거즈를 인식할 수 있다. 일 실시예에 따르면, 영상 처리 서버(104)는 본 기술분야의 통상의 기술자에게 널리 공지되어 있는 몇 가지 기술들을 사용하여 복수의 클라우드 기반 자원들로서 구현될 수 있다. 게다가, 영상 처리 서버(104)는 단일의 또는 다수의 서비스 제공자들과 연관될 수 있다. 하나 이상의 서버들의 예들은 Apache™ HTTP Server, Microsoft®　IIS(Internet Information Services), IBM®　Application Server, Sun Java™ System Web Server, 및/또는 파일 서버를 포함할 수 있지만, 이들로 제한되지 않는다.
본 기술분야의 통상의 기술자는 본 개시내용의 범주가 영상 처리 서버(104) 및 수술 디바이스(102)를 개별 엔티티들로서 구현하는 것으로 제한되지 않는다는 것을 이해할 것이다. 일 실시예에 따르면, 영상 처리 서버(104)의 기능들이, 본 개시내용의 범주를 벗어나지 않고, 수술 디바이스(102)에 의해 구현될 수 있다.
비디오 데이터베이스(106)는 영상 포착 디바이스에 의해 포착되는 하나 이상의 비디오 프레임들의 리포지토리를 저장할 수 있다. 일 실시예에 따르면, 비디오 데이터베이스(106)는 영상 처리 서버(104)에 통신가능하게 결합될 수 있다. 비디오 프레임들이 영상 포착 디바이스에 의해 포착될 때, 비디오 데이터베이스(106)는, 영상 처리 서버(104)를 통해, 비디오 프레임들을 수신할 수 있다. 일 실시예에 따르면, 비디오 데이터베이스(106)는 본 기술분야에 공지된 다양한 데이터베이스 기술들을 사용하여 구현될 수 있다. 비디오 데이터베이스(106)의 예들은 Microsoft®　SQL Server, Oracle®, IBM DB2®, Microsoft Access®, PostgreSQL®, MySQL®, 및/또는 SQLite®을 포함할 수 있지만, 이들로 제한되지 않는다. 일 실시예에 따르면, 영상 처리 서버(104)는, 하나 이상의 프로토콜들에 기초하여, 비디오 데이터베이스(106)에 연결할 수 있다. 이러한 하나 이상의 프로토콜들의 예들은 ODBC(Open Database Connectivity)® 프로토콜 및 JDBC(Java Database Connectivity)® 프로토콜을 포함할 수 있지만, 이들로 제한되지 않는다.
본 기술분야의 통상의 기술자는 본 개시내용의 범주가 영상 처리 서버(104) 및 비디오 데이터베이스(106)를 개별 엔티티들로서 구현하는 것으로 제한되지 않는다는 것을 이해할 것이다. 일 실시예에 따르면, 비디오 데이터베이스(106)의 기능들은, 본 개시내용의 사상을 벗어나지 않고, 영상 처리 서버(104)에 의해 구현될 수 있다.
사용자 단말(108)은, 의사와 같은, 사용자에게 비디오 프레임을 디스플레이하는 사용자 인터페이스(UI)를 제시하도록 구성될 수 있는 적당한 로직, 회로부, 인터페이스들, 및/또는 코드를 포함할 수 있다. 일 실시예에 따르면, 환자의 해부학적 영역에 대해 수술 또는 진단 절차가 수행되는 동안, 사용자 단말(108)은 비디오 프레임을 실시간으로 디스플레이할 수 있다. 사용자 단말(108)은 영상 처리 서버(104)에 의해 비디오 프레임에서 검출되는 수술 거즈를 디스플레이하도록 추가로 구성될 수 있다. 사용자 단말(108)의 예들은, 스마트폰, 카메라, 태블릿 컴퓨터, 랩톱, 웨어러블 전자 디바이스, 텔레비전, IPTV(Internet Protocol Television), 및/또는 PDA(Personal Digital Assistant) 디바이스를 포함할 수 있지만, 이들로 제한되지 않는다.
본 기술분야의 통상의 기술자는 본 개시내용의 범주가 사용자 단말(108) 및 영상 처리 서버(104)를 개별 엔티티들로서 구현하는 것으로 제한되지 않는다는 것을 이해할 것이다. 일 실시예에 따르면, 영상 처리 서버(104)의 기능들이, 본 개시내용의 사상을 벗어나지 않고, 사용자 단말(108)에 의해 구현될 수 있다. 예를 들어, 영상 처리 서버(104)는 사용자 단말(108) 상에서 실행되며 그리고/또는 그 상에 설치되는 애플리케이션 프로그램으로서 구현될 수 있다.
본 기술분야의 통상의 기술자는, 일 실시예에 따르면, 사용자 단말(108)이 수술 디바이스(102)와 통합될 수 있다는 것을 이해할 것이다. 대안적으로, 사용자 단말(108)은 수술 디바이스(102)에 통신가능하게 결합될 수 있고, 의사와 같은, 사용자 단말(108)의 사용자는 사용자 단말(108)의 UI를 통해 수술 디바이스(102)를 제어할 수 있다.
통신 네트워크(110)는 수술 디바이스(102) 및/또는 사용자 단말(108)이, 영상 처리 서버(104)와 같은, 하나 이상의 서버들과 통신하는 데 사용할 수 있는 매체를 포함할 수 있다. 통신 네트워크(110)의 예들은 인터넷, 클라우드 네트워크, Wi-Fi(Wireless Fidelity) 네트워크, WLAN(Wireless Local Area Network), LAN(Local Area Network), POTS(plain old telephone service), 및/또는 MAN(Metropolitan Area Network)을 포함할 수 있지만, 이들로 제한되지 않는다. 네트워크 환경(100) 내의 다양한 디바이스들은, 다양한 유선 및 무선 통신 프로토콜들에 따라, 통신 네트워크(110)에 연결하도록 구성될 수 있다. 이러한 유선 및 무선 통신 프로토콜들의 예들은 TCP/IP(Transmission Control Protocol and Internet Protocol), UDP(User Datagram Protocol), HTTP(Hypertext Transfer Protocol), FTP(File Transfer Protocol), ZigBee, EDGE, 적외선(IR), IEEE 802.11, 802.16, 셀룰러 통신 프로토콜들, 및/또는 블루투스(BT) 통신 프로토콜들을 포함할 수 있지만, 이들로 제한되지 않는다.
동작 중에, 영상 처리 서버(104)는 영상 포착 디바이스에 의해 포착될 수 있는 비디오 프레임 내의 픽셀들의 픽셀 특성 세트를 결정하도록 구성될 수 있다. 픽셀 특성들의 예들은 에지 특징, 형상 특징, 텍스처 특징, 크기 특징, 색상 특징, 강도 특징, 및/또는 밀도 특징을 포함할 수 있지만, 이들로 제한되지 않는다. 일 실시예에 따르면, 픽셀 특성 세트의 결정은 비디오 프레임의 적어도 일부분에 대해 수행되는 색상 필터링에 기초할 수 있다.
일 실시예에 따르면, 영상 처리 서버(104)는 결정된 픽셀 특성 세트에 기초하여 비디오 프레임에서의 수술 거즈의 일부분에 대응하는 하나 이상의 픽셀 블록들을 검출하도록 추가로 구성될 수 있다. 그 후에, 영상 처리 서버(104)는 복수의 메트릭들에 기초하여 수술 거즈의 나머지 부분에 대한 부가 픽셀들을 식별하도록 구성될 수 있다. 일 실시예에 따르면, 복수의 메트릭들은 적어도 공간 메트릭 및 스펙트럼 메트릭을 포함할 수 있다. 공간 메트릭은 비디오 프레임 내의 2개의 픽셀들의 좌표들 사이의 기하학적 거리에 대응할 수 있다. 게다가, 스펙트럼 메트릭은 조명 불변 색상 메트릭에 대응할 수 있다. 조명 불변 색상 메트릭은 비디오 프레임 내의 2개의 픽셀들의 색상 성분들 사이의 코사인 거리에 대응할 수 있다. 게다가, 영상 처리 서버(104)는, 하나 이상의 픽셀 블록들의 검출 및 부가 픽셀들의 식별에 기초하여, 비디오 프레임에서 수술 거즈를 인식하도록 구성될 수 있다.
일 실시예에 따르면, 영상 처리 서버(104)는 공간 메트릭, 스펙트럼 메트릭, 및 가중 파라미터에 기초하여 비디오 프레임 내의 2개의 픽셀들 사이의 유클리드 거리를 결정하도록 추가로 구성될 수 있다. 그럼에도 불구하고, 본 개시내용은 그렇게 제한되지 않을 수 있고, 영상 처리 서버(104)는, 본 개시내용의 범주를 벗어나지 않고, 본 기술분야에 공지된 다른 수학적 함수들을 사용하여 비디오 프레임 내의 2개의 픽셀들 사이의 거리를 결정하기 위해 공간 메트릭, 스펙트럼 메트릭, 및 가중 파라미터를 조합할 수 있다. 일 실시예에 따르면, 영상 처리 서버(104)는, 결정된 유클리드 거리에 기초하여, k-평균 클러스터링 기법을 사용하여 부가 픽셀들을 식별할 수 있다.
일 실시예에 따르면, 영상 처리 서버(104)는, 비디오 프레임의 적어도 일부분의 연결 성분 분석에 기초하여, 수술 거즈의 일부분에 대응하는 하나 이상의 블록들을 검출하도록 구성될 수 있다. 일 실시예에 따르면, 영상 처리 서버(104)는, 슈퍼픽셀 클러스터링 기법에 기초하여, 비디오 프레임에서 하나 이상의 픽셀 클러스터들을 결정하도록 추가로 구성될 수 있다. 영상 처리 서버(104)는 부가 픽셀들을 식별하기 위해 하나 이상의 픽셀 클러스터들로부터 적어도 하나의 픽셀 클러스터를 선택할 수 있다. 게다가, 영상 처리 서버(104)는 선택된 적어도 하나의 픽셀 클러스터에 기초하여 비디오 프레임에서 수술 거즈를 인식할 수 있다.
일 실시예에 따르면, 영상 처리 서버(104)는, 비디오 프레임에서 수술 거즈를 인식한 것에 기초하여, 영상 포착 디바이스의 하나 이상의 영상 포착 설정들을 실시간으로 조절하도록 추가로 구성될 수 있다. 하나 이상의 영상 포착 설정들의 예들은 자동 노출, 자동 초점, 자동 화이트 밸런스, 및/또는 자동 조명을 포함할 수 있지만, 이들로 제한되지 않는다.
일 실시예에 따르면, 수술 또는 진단 절차가 수행되는 동안, 영상 처리 서버(104)는, 사용자 단말(108)의 UI를 통해, 비디오 프레임을 (의사와 같은) 사용자에게 디스플레이하도록 추가로 구성될 수 있다. 비디오 프레임에서 결정된 수술 거즈는, UI를 통해, 사용자에게 디스플레이되는 비디오 프레임에서 마스킹되거나 하이라이트될 수 있다. 일 실시예에 따르면, 영상 처리 서버(104)는 수술 거즈의 인식을 나타내는 통지를 생성하도록 추가로 구성될 수 있다. 영상 처리 서버(104)는 통지를 수술 디바이스(102) 및/또는 사용자 단말(108)로 전송할 수 있다. 통지는 수술 디바이스(102) 및/또는 사용자 단말(108)에 의해 (의사와 같은) 사용자에게 제시될 수 있다. 통지의 예들은 오디오 경보, 텍스트 경보, 시각적 경보, 및/또는 햅틱 경보를 포함할 수 있지만, 이들로 제한되지 않는다.
도 2는 본 개시내용의 일 실시예에 따른, 예시적인 영상 처리 서버를 나타낸 블록도이다. 도 2는 도 1로부터의 요소들과 관련하여 설명된다. 도 2를 참조하면, 영상 처리 서버(104)가 도시되어 있다. 영상 처리 서버(104)는 (프로세서(202)와 같은) 하나 이상의 프로세서들, (송수신기(204)와 같은) 하나 이상의 송수신기들, 메모리(206), 및 수술 장면 분석 유닛(208)을 포함할 수 있다. 수술 장면 분석 유닛(208)은 영상 필터링 엔진(210), 픽셀 클러스터링 엔진(212), 데이터베이스 커넥터(database connector)(214), UI 관리자(216), 및 카메라 제어 유닛(218)을 포함할 수 있다. 일 실시예에 따르면, 영상 처리 서버(104)는 송수신기(204)를 거쳐, 통신 네트워크(110)를 통해, 비디오 데이터베이스(106)에 통신가능하게 결합될 수 있다. 대안적으로, 영상 처리 서버(104)는 비디오 데이터베이스(106)를 포함할 수 있다. 예를 들어, 비디오 데이터베이스(106)는 메모리(206) 내에 구현될 수 있다.
프로세서(202)는 송수신기(204), 메모리(206), 및 수술 장면 분석 유닛(208)에 통신가능하게 결합될 수 있다. 송수신기(204)는, 통신 네트워크(110)를 통해, 수술 디바이스(102) 및 사용자 단말(108)과 통신하도록 구성될 수 있다.
프로세서(202)는 메모리(206)에 저장된 명령어 세트를 실행하도록 구성될 수 있는, 적당한 로직, 회로부, 인터페이스들, 및/또는 코드를 포함할 수 있다. 프로세서(202)는 본 기술분야에 공지된 다수의 프로세서 기술들에 기초하여 구현될 수 있다. 프로세서(202)의 예들은 X86 기반 프로세서, RISC(Reduced Instruction Set Computing) 프로세서, ASIC(Application-Specific Integrated Circuit) 프로세서, CISC(Complex Instruction Set Computing) 프로세서, 및/또는 다른 프로세서들일 수 있다.
송수신기(204)는 (도 1에 도시된 바와 같이) 통신 네트워크(110)를 통해 사용자 단말(108) 및/또는 수술 디바이스(102)와 통신하도록 구성될 수 있는 적당한 로직, 회로부, 인터페이스들, 및/또는 코드를 포함할 수 있다. 송수신기(204)는 통신 네트워크(110)를 사용하여 영상 처리 서버(104)의 유선 또는 무선 통신을 지원하기 위해 공지된 기술들을 구현할 수 있다. 송수신기(204)는 안테나, RF(radio frequency) 송수신기, 하나 이상의 증폭기들, 하나 이상의 발진기들, 디지털 신호 프로세서, 코덱(coder-decoder) 칩셋, SIM(subscriber identity module) 카드, 및/또는 로컬 버퍼를 포함할 수 있지만, 이들로 제한되지 않는다.
송수신기(204)는 무선 통신을 통해 인터넷, 인트라넷 및/또는, 셀룰러 전화 네트워크와 같은, 무선 네트워크, 무선 LAN(wireless local area network) 및/또는 MAN(metropolitan area network)과 같은 네트워크들과 통신할 수 있다. 무선 통신은 GSM(Global System for Mobile Communications), EDGE(Enhanced Data GSM Environment), W-CDMA(wideband code division multiple access), CDMA(code division multiple access), TDMA(time division multiple access), 블루투스, Wi-Fi(Wireless Fidelity)(IEEE 802.11a, IEEE 802.11b, IEEE 802.11g 및/또는 IEEE 802.11n 등), VoIP(voice over Internet Protocol), Wi-MAX, 이메일, 인스턴트 메시징, 및/또는 SMS(Short Message Service)를 위한 프로토콜과 같은 복수의 통신 표준들, 프로토콜들 및 기술들 중 임의의 것을 사용할 수 있다.
메모리(206)는 프로세서(202)에 의해 실행가능한 적어도 하나의 코드 섹션을 갖는 머신 코드 및/또는 컴퓨터 프로그램을 저장하도록 구성될 수 있는 적당한 로직, 회로부, 및/또는 인터페이스들을 포함할 수 있다. 일 실시예에 따르면, 메모리(206)는 영상 포착 디바이스에 의해 포착되는 하나 이상의 비디오 프레임들을 저장하도록 추가로 구성될 수 있다. 메모리(206)의 구현의 예들은 RAM(Random Access Memory), ROM(Read Only Memory), HDD(Hard Disk Drive), 및/또는 SD(Secure Digital) 카드를 포함할 수 있지만, 이들로 제한되지 않는다.
수술 장면 분석 유닛(208)은 영상 포착 디바이스에 의해 포착되는 하나 이상의 비디오 프레임들을 분석하고 처리하도록 구성될 수 있는 적당한 로직, 회로부, 인터페이스들, 및/또는 코드를 포함할 수 있다. 일 실시예에 따르면, 수술 장면 분석 유닛(208)은 프로세서(202)의 일부일 수 있다. 대안적으로, 수술 장면 분석 유닛(208)은 영상 처리 서버(104) 내의 별도의 프로세서 또는 회로부로서 구현될 수 있다. 일 실시예에 따르면, 수술 장면 분석 유닛(208) 및 프로세서(202)는 수술 장면 분석 유닛(208) 및 프로세서(202)의 기능들을 일괄하여 수행하는 집적 프로세서 또는 프로세서들의 클러스터로서 구현될 수 있다. 다른 실시예에 따르면, 수술 장면 분석 유닛(208)은 프로세서(202)에 의해 실행될 때 수술 장면 분석 유닛(208)의 기능들을 수행할 수 있는, 메모리(206)에 저장된, 컴퓨터 프로그램 코드로서 구현될 수 있다.
영상 필터링 엔진(210)은 하나 이상의 비디오 프레임들로부터의 비디오 프레임을 분석하여 비디오 프레임에서 수술 거즈의 일부분에 대응하는 하나 이상의 픽셀 블록들을 검출하도록 구성될 수 있는 적당한 로직, 회로부, 인터페이스들, 및/또는 코드를 포함할 수 있다. 영상 필터링 엔진(210)은, 비디오 프레임의 적어도 일부분에 대해 수행되는 색상 필터링에 기초하여, 픽셀 특성 세트를 결정하도록 구성될 수 있다. 영상 필터링 엔진(210)은, 결정된 픽셀 특성 세트에 기초하여, 비디오 프레임에서 수술 거즈의 일부분에 대응하는 하나 이상의 픽셀 블록들을 검출하도록 추가로 구성될 수 있다.
픽셀 클러스터링 엔진(212)은, 수술 거즈의 나머지 부분에 대응하는 부가 픽셀들을 식별하고 비디오 프레임에서 수술 거즈를 인식하기 위해, 비디오 프레임을 분석하도록 구성될 수 있는 적당한 로직, 회로부, 인터페이스들, 및/또는 코드를 포함할 수 있다. 일 실시예에 따르면, 픽셀 클러스터링 엔진(212)은 복수의 메트릭들에 기초하여 부가 픽셀들을 식별하도록 구성될 수 있다. 일 실시예에 따르면, 픽셀 클러스터링 엔진(212)은, 슈퍼픽셀 클러스터링 기법에 기초하여, 비디오 프레임에서 하나 이상의 픽셀 클러스터들을 결정하도록 추가로 구성될 수 있다. 부가 픽셀들을 식별하는 것은 하나 이상의 픽셀 클러스터들로부터 적어도 하나의 픽셀 클러스터를 선택하는 것을 포함할 수 있다. 일 실시예에 따르면, 픽셀 클러스터링 엔진(212)은, 수술 거즈의 일부분에 대응하는 하나 이상의 블록들의 검출 및 수술 거즈의 나머지 부분에 대한 부가 픽셀들의 식별에 기초하여, 비디오 프레임에서 수술 거즈를 인식하도록 추가로 구성될 수 있다. 수술 거즈의 인식은 선택된 적어도 하나의 픽셀 클러스터에 추가로 기초할 수 있다.
데이터베이스 커넥터(214)는 비디오 데이터베이스(106)에의 액세스 및 연결을 수술 장면 분석 유닛(208)에 제공하도록 구성될 수 있는 적당한 로직, 회로부, 인터페이스들, 및/또는 코드를 포함할 수 있다. 일 실시예에 따르면, 데이터베이스 커넥터(214)는 수술 장면 분석 유닛(208)과 비디오 데이터베이스(106) 사이에 데이터베이스 세션을 설정할 수 있다. 데이터베이스 세션을 설정하는 데 사용되는 하나 이상의 통신 프로토콜들의 예들은 ODBC(Open Database Connectivity)® 프로토콜 및 JDBC(Java Database Connectivity)® 프로토콜을 포함할 수 있지만, 이들로 제한되지 않는다.
UI 관리자(216)는 사용자 단말(108) 상에 제시되는 UI를 관리하도록 구성될 수 있는 적당한 로직, 회로부, 인터페이스들, 및/또는 코드를 포함할 수 있다. 일 실시예에 따르면, UI 관리자(216)는 사용자 단말(108)의 (의사와 같은) 사용자에게 수술 장면 인터페이스를 제공할 수 있다. 수술 장면 인터페이스는, 사용자 단말(108)의 UI를 통해, 사용자 단말(108)의 디스플레이 디바이스 상에서 사용자에게 제시될 수 있다. 일 실시예에 따르면, 수술 장면 인터페이스는 하나 이상의 비디오 프레임들을 사용자에게 디스플레이하도록 구성될 수 있다. 비디오 프레임에서 인식된 수술 거즈는, 수술 장면 인터페이스를 통해, 사용자에게 디스플레이되는 하나 이상의 비디오 프레임들로부터의 각자의 비디오 프레임에서 마스킹되거나 하이라이트될 수 있다.
카메라 제어 유닛(218)은 영상 포착 디바이스의 하나 이상의 영상 포착 설정들을 조절하기 위해 영상 포착 디바이스와 통신하도록 구성될 수 있는 적당한 로직, 회로부, 인터페이스들, 및/또는 코드를 포함할 수 있다. 일 실시예에 따르면, 카메라 제어 유닛(218)은, 수술 거즈의 인식에 기초하여, 하나 이상의 비디오 프레임들을 포착하기에 적당하거나 최적일 수 있는 하나 이상의 영상 포착 설정들의 이러한 값들을 결정하도록 구성될 수 있다. 그 후에, 카메라 제어 유닛(218)은, 송수신기(204)를 통해, 하나 이상의 영상 포착 설정들의 결정된 값들을 영상 포착 디바이스로 전송하도록 구성될 수 있다. 영상 포착 디바이스는 그의 영상 포착 설정들을, 카메라 제어 유닛(218)에 의해 송신되는 대응하는 값들에 기초하여, 조절할 수 있다. 하나 이상의 영상 포착 설정들의 예들은 자동 노출, 자동 초점, 자동 화이트 밸런스, 또는 자동 조명을 포함할 수 있지만, 이들로 제한되지 않는다.
동작 중에, 의사는, 수술 디바이스(102) 및 하나 이상의 수술 기구들을 사용하여, 환자의 해부학적 영역에 대해 수술 또는 진단 절차를 수행할 수 있다. 하나 이상의 수술 기구들의 예들은 내시경 카테터(endoscopic catheter), 수술 집게(surgical forcep), 수술 절개 기구, 및/또는 수술 거즈를 포함할 수 있지만, 이들로 제한되지 않는다. 수술 또는 진단 절차의 예들은 최소 침습 수술/진단 절차, 최소 절개 수술/진단 절차, 복강경 절차, 및/또는 내시경 절차를 포함할 수 있지만, 이들로 제한되지 않는다.
일 실시예에 따르면, 수술 또는 진단 절차가 자동화되어, 의사로부터의 어떤 감독이나 지시도 없이, 수술 로봇에 의해 수행될 수 있다. 일 실시예에 따르면, 수술 또는 진단 절차가 반자동화되어, 의사로부터의 하나 이상의 입력 신호들 및/또는 명령들에 의해, 수술 로봇에 의해 수행될 수 있다. 일 실시예에 따르면, 영상 포착 디바이스(도 1에 도시되지 않음)는 수술 디바이스(102)에 통신가능하게 결합(또는 그 내부에 포함)될 수 있다. 해부학적 영역에 대해 수술 또는 진단 절차가 수행되는 동안, 영상 포착 디바이스는 해부학적 영역의 비디오 프레임들을 실시간으로 포착할 수 있다. 그 후에, 수술 디바이스(102)(또는 영상 포착 디바이스 자체)는 포착된 비디오 프레임들을 통신 네트워크(110)를 통해 영상 처리 서버(104)로 전송할 수 있다.
영상 처리 서버(104) 내의 송수신기(204)는 통신 네트워크(110)를 통해 수술 디바이스(102)로부터 비디오 프레임들을 수신하도록 구성될 수 있다. 일 실시예에 따르면, 비디오 프레임들이, 실시간 전송 프로토콜(RTP) 및/또는 실시간 스트리밍 프로토콜(RTSP)과 같은, 통신 프로토콜을 사용하여 실시간 스트리밍된 미디어 콘텐츠로서 수신될 수 있다. 데이터베이스 커넥터(214)는 비디오 데이터베이스(106)와 데이터베이스 세션을 설정하고 수신된 비디오 프레임들을 비디오 데이터베이스(106)에 저장하도록 구성될 수 있다. 게다가, 비디오 프레임들이 또한 메모리(206)에 저장될 수 있다.
영상 필터링 엔진(210)은 비디오 프레임들을 분석하도록 구성될 수 있다. 일 실시예에 따르면, 미리 결정된 수의 비디오 프레임들이 수술 디바이스(102)로부터 수신될 때, 비디오 프레임들이 배치 모드(batch mode)에서 분석될 수 있다(오프라인 처리(offline processing)). 일 실시예에 따르면, 비디오 프레임들이, 새로운 비디오 프레임이 수신될 때마다, 실시간으로 분석될 수 있다(온라인 처리(online processing)). 영상 필터링 엔진(210)은 비디오 프레임들의 분석을 위해 메모리(206) 또는 비디오 데이터베이스(106)로부터 비디오 프레임들을 검색할 수 있다.
일 실시예에 따르면, 영상 필터링 엔진(210)은 분석을 위해 각각의 비디오 프레임을 영상 블록들(이후부터, "픽셀 블록들"및/또는 "블록들"이라고 서로 바꾸어 지칭됨)로 분할할 수 있다. 영상 필터링 엔진(210)은 비디오 프레임의 적어도 일부분에 대한 픽셀 특성 세트를 결정하기 위해 비디오 프레임의 (적어도 하나 이상의 이러한 영상 블록들을 포함할 수 있는) 적어도 일부분에 대해 색상 필터링을 수행하도록 구성될 수 있다. 픽셀 특성 세트의 예들은 에지 특징, 형상 특징, 텍스처 특징, 크기 특징, 색상 특징, 강도 특징, 또는 밀도 특징을 포함할 수 있지만, 이들로 제한되지 않는다. 영상 필터링 엔진(210)은 비디오 프레임 내의 픽셀들에 하나 이상의 색상 제약조건들을 적용하도록 구성될 수 있다. 일 실시예에 따르면, 비디오 프레임 내의 수술 거즈의 색상은 적색(혈액이 스며든 수술 거즈의 경우), 백색(혈액이 없는 수술 거즈의 경우), 또는 청색(방사성 줄무늬가 있는(radioactive-striped) 수술 거즈의 경우) 중 하나일 수 있지만, 이들로 제한되지 않는다. 일 실시예에 따르면, 영상 필터링 엔진(210)은, 하기와 같은 "Condition 1", "Condition 2", "Condition 3" 및 "Condition 4"와 같은, 하나 이상의 조건들에 기초하여 하나 이상의 색상 제약조건들을 적용할 수 있고:
Figure pct00001
여기서, r, g, b는 픽셀의 적색, 녹색 및 청색 색상 성분들을 나타내고;
Igray는 픽셀의 그레이스케일 강도를 나타내며;
Iopp2는 픽셀의 opp2 색상 강도를 나타낸다.
일 실시예에 따르면, 영상 필터링 엔진(210)은 백색(혈액이 없는) 수술 거즈 또는 적색(혈액이 스며든) 수술 거즈를 포함할 수 있는 영역들을 식별하기 위해 조건 "Condition 1"을 검사할 수 있다. 이러한 영역들 내의 픽셀들은 그들의 녹색 및 청색 색상 성분들 사이에 작은 절대차("25 이하" 등)를 가질 수 있다. 게다가, 이 픽셀들의 적색 색상 성분은 중간 값("88 이상" 등)을 가질 수 있다.
일 실시예에 따르면, 영상 필터링 엔진(210)은 백색(혈액이 없는) 수술 거즈를 포함하지만 은색 색상의 수술 도구들을 포함하지 않을 수 있는 영역들을 식별하기 위해 조건 "Condition 2"를 검사할 수 있다. "Condition 2"는 이러한 영역들이 높은 그레이스케일 강도 및 낮은 opp2 색상 강도를 갖는 픽셀들을 포함할 수 있다는 가정에 기초할 수 있다.
일 실시예에 따르면, 영상 필터링 엔진(210)은 적색(혈액이 스며든) 수술 거즈를 포함하지만 누르스름한 조직들을 포함하지 않을 수 있는 영역들을 식별하기 위해 조건 "Condition 3"을 검사할 수 있다. 이러한 영역들 내의 각각의 픽셀의 청색 색상 성분은 각자의 픽셀들의 녹색 색상 성분보다 약간 더 클 수 있다.
일 실시예에 따르면, 영상 필터링 엔진(210)은 청색(방사성 줄무늬가 있는) 수술 거즈를 포함할 수 있는 영역들을 식별하기 위해 조건 "Condition 4"를 검사할 수 있다. 이러한 영역들 내의 픽셀들은 그들의 적색 색상 성분 값들에 비해 더 높은 청색 색상 성분 값들을 가질 수 있다. 게다가, 이러한 영역들 내의 픽셀들은 보다 높은 그레이스케일 픽셀 강도들("150 이상" 등)을 가질 수 있다.
일 실시예에 따르면, 영상 필터링 엔진(210)은, 조건들 "Condition 1" 및 "Condition 2"에 기초하여, 백색(혈액이 없는) 수술 거즈에 대응할 수 있는 비디오 프레임 내의 관심 영역들을 검출할 수 있다. 게다가, 영상 필터링 엔진(210)은, 조건들 "Condition 1" 및 "Condition 3"에 기초하여, 적색(혈액이 스며든) 수술 거즈에 대응할 수 있는 비디오 프레임 내의 관심 영역들을 검출할 수 있다. 그에 부가하여, 영상 필터링 엔진(210)은, 조건 "Condition 4"에 기초하여, 청색(방사성 줄무늬가 있는) 수술 거즈에 대응할 수 있는 비디오 프레임 내의 관심 영역들을 검출할 수 있다. 이후부터, "관심 영역"이라는 용어는 앞서 언급된 다양한 영상 필터링 조건들("Condition 1", "Condition 2", "Condition 3 ", 및 "Condition 4 "(이들로 제한되지 않음) 등)에 기초하여 비디오 프레임에서 영상 필터링 엔진(210)에 의해 식별되는 그 영역들을 지칭하는 데 사용된다.
게다가, 영상 필터링 엔진(210)은 비디오 프레임에서 에지 픽셀들을 검출하기 위해 에지 필터링을 수행하도록 구성될 수 있다. 일 실시예에 따르면, 에지 필터링은, 본 기술분야에 공지된, 소벨 에지 필터(Sobel edge filter)를 사용하여 비디오 프레임에 대해 수행될 수 있다. 영상 필터링 엔진(210)은 하기의 조건에 기초하여 픽셀을 에지 픽셀인 것으로 검출할 수 있고:
Figure pct00002
여기서 "ISobel"은 픽셀의 소벨 에너지(Sobel energy)를 나타낸다.
따라서, 영상 필터링 엔진(210)은 픽셀의 소벨 에너지가 문턱값("7182" 등) 초과인지를 결정하기 위해 조건 "Condition 5"를 검사할 수 있다. 특정의 픽셀의 소벨 에너지가 문턱값 초과이면, 영상 필터링 엔진(210)은 픽셀을 에지 픽셀로서 검출할 수 있다. 본 기술분야의 통상의 기술자는 수술 거즈가 줄무늬들을 가질 수 있다는 것을 이해할 것이다. 비디오 프레임에서 에지 픽셀들을 검출하는 것은 비디오 프레임에서 줄무늬들을 식별하는 것을 가능하게 할 수 있고, 따라서 영상 필터링 엔진(212)이 수술 거즈를 포함할 수 있는 그 관심 영역들을 식별할 수 있게 할 수 있다. 게다가, 혈액이 스며든 수술 거즈에 대응하는 영역은 비디오 프레임에서의 조직에 대응하는 영역보다 더 많은 에지들을 가질 수 있다. 따라서, 비디오 프레임에서 에지 픽셀들을 검출하는 것은 영상 필터링 엔진(210)이 비디오 프레임에서 혈액이 스며든 수술 거즈와 조직들을 정확하게 구별할 수 있게 할 수 있다.
일 실시예에 따르면, 영상 필터링 엔진(210)은 비디오 프레임에서의 검출된 관심 영역들 내의 에지 픽셀들의 밀도 분석을 수행하도록 추가로 구성될 수 있다. 밀도 분석에 기초하여, 영상 필터링 엔진(210)은 비디오 프레임에서의 검출된 관심 영역들 내의 각각의 영상 블록에서의 줄무늬들의 밀도를 결정할 수 있다. 일 실시예에 따르면, 영상 블록에서의 줄무늬들의 밀도는 영상 블록 내의 픽셀들의 총수에 대한 영상 블록 내의 에지 픽셀들의 수의 비에 대응할 수 있다. 영상 필터링 엔진(210)은, 비디오 프레임에서의 관심 영역들 내의 각각의 영상 블록에서의 줄무늬들의 밀도에 기초하여, 비디오 프레임에서 수술 거즈의 일부분을 검출하기 위해 신뢰도 맵(confidence map)을 생성할 수 있다. 일 실시예에 따르면, 영상 필터링 엔진(210)은 하기의 조건에 기초하여 신뢰도 맵을 생성할 수 있고:
Figure pct00003
여기서
Figure pct00004
는 비디오 프레임의 관심 영역 내의 영상 블록에서의 줄무늬들의 밀도를 나타낸다.
따라서, 영상 필터링 엔진(210)은 높은 줄무늬 밀도를 갖는 비디오 프레임의 검출된 관심 영역들 내의 영상 블록들을 식별하기 위해 조건 "Condition 6"을 검사할 수 있다. 이러한 영상 블록들 내의 픽셀들은 그 픽셀들이 수술 거즈에 대응할 수 있는 높은 가능성을 가질 수 있다. 따라서, 영상 필터링 엔진(210)은 이러한 영상 블록들의 픽셀들을 신뢰도 맵에 포함시킬 수 있다. 일 실시예에 따르면, 영상 필터링 엔진(210)은, 각자의 영상 블록들 내의 줄무늬들의 밀도에 기초하여, 각각의 이러한 영상 블록 내의 픽셀들에 우도 값(likelihood value)들을 할당함으로써 신뢰도 맵을 생성할 수 있다.
일 실시예에 따르면, 영상 필터링 엔진(210)은, 결정된 픽셀 특성 세트에 기초하여, 비디오 프레임에서의 수술 거즈의 일부분에 대응할 수 있는 하나 이상의 픽셀 블록들을 검출하도록 추가로 구성될 수 있다. 일 실시예에 따르면, 이러한 픽셀 블록들의 검출은 비디오 프레임의 (하나 이상의 영상 블록들을 포함할 수 있는) 적어도 일부분의 연결 성분 분석에 기초할 수 있다.
영상 필터링 엔진(210)은, 신뢰도 맵에 기초하여, 비디오 프레임에서 검출된 관심 영역들에 대해 이진화 연산(thresholding operation)을 수행할 수 있다. 예를 들어, 영상 필터링 엔진(210)은 미리 결정된 문턱값("0.5" 등) 초과의 (신뢰도 맵 내의) 우도 값을 할당받은 관심 영역들 내의 그 픽셀들을 선택하는 것에 의해 이진화 연산을 수행할 수 있다.
그 후에, 영상 필터링 엔진(210)은, 신뢰도 맵에 기초하여, 비디오 프레임의 관심 영역들 내의 연결 성분(connected component)들을 링크시킬 수 있다. 일 실시예에 따르면, 영상 필터링 엔진(210)은 각각의 연결 성분이 비디오 프레임의 적어도 미리 결정된 수(5개 이상 등)의 연속적인 영상 블록들을 포함할 수 있도록 연결 성분들을 링크시킬 수 있다. 연속적인 영상 블록들은 이진화 연산의 조건들을 충족시킬 수 있다. 영상 필터링 엔진(210)은 이어서 링크된 연결 성분들 내에 있는 영상 블록들을 비디오 프레임에서 수술 거즈의 일부분에 대응할 수 있는 검출된 하나 이상의 픽셀 블록들로서 식별할 수 있다. 비디오 프레임에서 수술 거즈에 대응하는 하나 이상의 영상 블록들을 검출하는 방법을 설명하는 예시적인 흐름도는 도 4에서 설명된다.
일 실시예에 따르면, 픽셀 클러스터링 엔진(212)은 복수의 메트릭들에 기초하여 비디오 프레임에서 수술 거즈의 나머지 부분에 대응할 수 있는 부가 픽셀들을 식별하도록 구성될 수 있다. 일 실시예에 따르면, 복수의 메트릭들은 적어도 공간 메트릭 및 스펙트럼 메트릭을 포함할 수 있다. 공간 메트릭은 비디오 프레임 내의 2개의 픽셀들의 좌표들 사이의 기하학적 거리에 대응할 수 있다. 일 실시예에 따르면, 비디오 프레임의 픽셀들의 좌표들은 비디오 프레임의 차원(dimension)들에 기초하여 정규화될 수 있다. 예를 들어, 픽셀의 정규화된 좌표는 다음과 같이 수학식 1로 나타내어질 수 있고:
[수학식 1]
정규화된 픽셀 좌표
Figure pct00005
여기서 "max(x)"는 비디오 프레임 내의 픽셀들의 최대 x-좌표를 나타내고; "max(y)"는 비디오 프레임 내의 픽셀들의 최대 y-좌표를 나타낸다.
게다가, 스펙트럼 메트릭은 비디오 프레임 내의 2개의 픽셀들의 색상 성분들 사이의 코사인 거리에 기초하여 결정될 수 있는 조명 불변 색상 메트릭에 대응할 수 있다. 일 실시예에 따르면, 픽셀들의 각각의 색상 성분은 픽셀들의 색상 성분들의 값들의 제곱의 합의 제곱근에 기초하여 정규화될 수 있다. 예를 들어, 픽셀의 정규화된 색상 성분들은 다음과 같이 수학식 2로 나타내어질 수 있고:
[수학식 2]
정규화된 색상 성분
Figure pct00006
여기서 "R", "G", 및 "B"는 픽셀의 적색, 녹색, 및 청색 색상 성분들을 나타낸다.
일 실시예에 따르면, 픽셀 클러스터링 엔진(212)은 관심 영역들에 있는 각각의 픽셀 쌍 사이의 유클리드 거리를 결정하도록 구성될 수 있다. 앞서 논의된 바와 같이, 비디오 프레임 내의 이 관심 영역들은, 조건들 "Condition 1", "Condition 2", "Condition 3", 및 "Condition 4"와 같은, 하나 이상의 색상 제약조건들에 기초하여 식별될 수 있다. 일 실시예에 따르면, 픽셀 클러스터링 엔진(212)은 공간 메트릭, 스펙트럼 메트릭, 및 가중 파라미터에 기초하여 유클리드 거리를 결정할 수 있다. 유클리드 거리는 다음과 같이 수학식 3으로 나타내어질 수 있고:
[수학식 3]
Figure pct00007
여기서 "d"는 픽셀 쌍 사이의 유클리드 거리를 나타내고;
"R", "G", 및 "B"는 픽셀 쌍의 각자의 정규화된 적색, 녹색, 및 청색 색상 성분들 사이의 차이들을 나타내며;
"X" 및 "Y"는 픽셀 쌍의 각자의 정규화된 x 및 y 픽셀 좌표들 사이의 차이를 나타내고;
Figure pct00008
는 (사용자 지정되거나 픽셀 클러스터링 엔진(212)에 의해 구성될 수 있는) 가중 파라미터를 나타낸다.
일 실시예에 따르면, 픽셀 클러스터링 엔진(212)은 수술 거즈에 대응할 수 있는 부가 픽셀들을 식별하기 위해 비디오 프레임 내의 관심 영역들의 픽셀들을 클러스터링하도록 추가로 구성될 수 있다. 일 실시예에 따르면, 픽셀 클러스터링 엔진(212)은, 이러한 픽셀들의 각각의 쌍 사이의 유클리드 거리에 기초하여, k-평균 클러스터링 기법을 사용하여 식별된 관심 영역들내의 픽셀들을 클러스터링할 수 있다. 그럼에도 불구하고, 본 개시내용은 그렇게 제한되지 않을 수 있고, 픽셀 클러스터링 엔진(212)은, 본 개시내용의 범주를 벗어나지 않고, 본 기술분야에 공지된 다른 수학적 함수들을 사용하여 비디오 프레임 내의 2개의 픽셀들 사이의 거리를 결정하기 위해 공간 메트릭, 스펙트럼 메트릭, 및 가중 파라미터를 조합할 수 있다.
일 실시예에 따르면, 픽셀 클러스터링 엔진(212)은, 슈퍼픽셀 클러스터링 기법에 기초하여, 비디오 프레임에서 하나 이상의 픽셀 클러스터들을 결정하도록 구성될 수 있다. 픽셀 클러스터링 엔진(212)은 하나 이상의 슈퍼픽셀들을 생성하기 위해 관심 영역들 내의 미리 결정된 수의 픽셀들을 조합할 수 있다. 픽셀 클러스터링 엔진(212)은, 각자의 슈퍼픽셀 각각에 포함되는 픽셀들의 픽셀 특성 세트에 기초하여, 하나 이상의 슈퍼픽셀들 각각에 대한 픽셀 특성 세트를 결정할 수 있다. 예를 들어, 픽셀 클러스터링 엔진(212)은, 슈퍼픽셀의 픽셀들을 포함하는 영역의 중심(centroid)의 좌표에 기초하여, 슈퍼픽셀의 좌표를 결정할 수 있다.
게다가, 픽셀 클러스터링 엔진(212)은, 슈퍼픽셀의 픽셀들의 색상 성분들에 기초하여, 슈퍼픽셀의 색상 성분들을 결정할 수 있다. 예를 들어, 픽셀 클러스터링 엔진(212)은 슈퍼픽셀의 각자의 색상 성분들의 값들을 결정하기 위해 슈퍼픽셀의 개별 픽셀들의 각각의 색상 성분에 대해 평균화 연산(averaging operation)을 수행할 수 있다. 평균화 연산의 예들은 평균값(mean), 이동 평균(rolling average), 가중 평균(weighted average), 중앙값(median), 최빈값(mode), 및/또는 임의의 다른 적용된 수학적 또는 통계적 집계 기법들을 포함할 수 있다. 일 실시예에 따르면, 픽셀 클러스터링 엔진(212)은 비디오 프레임 내의 관심 영역들로부터 생성될 수 있는 각각의 슈퍼픽셀 쌍 사이의 유클리드 거리를 결정할 수 있다. 결정된 유클리드 거리들에 기초하여, 픽셀 클러스터링 엔진(212)은 비디오 프레임 내의 하나 이상의 픽셀 클러스터들을 결정할 수 있다.
일 실시예에 따르면, 픽셀 클러스터링 엔진(212)은 비디오 프레임에서 결정된 하나 이상의 픽셀 클러스터들로부터 적어도 하나의 픽셀 클러스터를 선택하도록 추가로 구성될 수 있다. 적어도 하나의 픽셀 클러스터의 선택은 적어도 하나의 픽셀 클러스터의 크기에 기초할 수 있다. 예를 들어, 픽셀 클러스터링 엔진(212)은 문턱 크기보다 더 큰 하나 이상의 픽셀 클러스터들로부터 그 픽셀 클러스터들을 선택할 수 있다. 픽셀 클러스터링 엔진(212)은 선택된 적어도 하나의 픽셀 클러스터 내에 포함된 픽셀들을 수술 거즈의 나머지 부분에 대응할 수 있는 부가 픽셀들로서 식별할 수 있다.
게다가, 픽셀 클러스터링 엔진(212)은 비디오 프레임에서 수술 거즈의 일부분으로서 검출된 하나 이상의 블록들 상에 관심 영역들 내의 하나 이상의 슈퍼픽셀들을 오버레이(overlay)하도록 구성될 수 있다. 픽셀 클러스터링 엔진(212)은 이어서 이 하나 이상의 블록들이 하나 이상의 슈퍼픽셀들을 덮는 정도에 기초하여 하나 이상의 블록들이 수술 거즈를 포함하는지를 검증할 수 있다. 예를 들어, 픽셀 클러스터링 엔진(212)은 하나 이상의 블록들에 포함되는 슈퍼픽셀들의 수를 결정할 수 있다. 하나 이상의 블록들에 포함되는 슈퍼픽셀의 수가 미리 결정된 문턱값("슈퍼픽셀의 총수의 30 퍼센트" 등) 초과이면, 픽셀 클러스터링 엔진(212)은 하나 이상의 블록들을 비디오 프레임에서의 수술 거즈의 일부분이라고 검증할 수 있다.
일 실시예에 따르면, 픽셀 클러스터링 엔진(212)은, 수술 거즈의 일부분에 대응하는 하나 이상의 픽셀 블록들의 검출 및 수술 거즈의 나머지 부분에 대응할 수 있는 부가 픽셀들의 식별에 기초하여, 비디오 프레임에서 수술 거즈를 인식하도록 구성될 수 있다. 픽셀 클러스터링 엔진(212)은, 수술 거즈를 인식하기 위해, 선택된 적어도 하나의 픽셀 클러스터를 수술 거즈의 일부분의 검증된 하나 이상의 블록들과 조합할 수 있다. 비디오 프레임에서 수술 거즈를 인식하는 방법을 설명하는 예시적인 흐름도는 도 5에서 설명된다.
본 기술분야의 통상의 기술자는 다양한 미리 결정된 문턱값들의 값들이 예시적인 값들이라는 것을 이해할 것이다. 미리 결정된 문턱값들의 값들은, 본 개시내용의 범주를 벗어나지 않고, 구현, 하드웨어 및/또는 소프트웨어 구성, 그리고 사용자 요구사항들에 기초하여 달라질 수 있다.
일 실시예에 따르면, UI 관리자(216)는, 의사와 같은, 사용자 단말(108)의 사용자에게 수술 장면 인터페이스를 제시하도록 구성될 수 있다. 수술 장면 인터페이스는, 사용자 단말(108)의 UI를 통해, 사용자 단말(108)의 디스플레이 디바이스 상에서 사용자에게 제시될 수 있다. 일 실시예에 따르면, 수술 장면 인터페이스는 수술 또는 진단 절차의 하나 이상의 비디오 프레임들을 사용자에게 디스플레이하도록 구성될 수 있다. 특정의 비디오 프레임에서 인식된 수술 거즈는, 그 비디오 프레임이 수술 장면 인터페이스를 통해 사용자에게 디스플레이될 때, 마스킹되거나 하이라이트될 수 있다. 수술 장면 인터페이스를 디스플레이하기 위해 사용자에게 제시될 수 있는 예시적인 UI가 도 6에서 설명된다.
일 실시예에 따르면, UI 관리자(216)는 특정의 비디오 프레임에서 수술 거즈를 인식한 것을 신호하는 통지를 생성하도록 추가로 구성될 수 있다. UI 관리자(216)는 생성된 통지를 사용자 단말(108)로 송신할 수 있다. 통지는 사용자 단말(108)의 UI를 통해 사용자에게 제시될 수 있다. 수술 거즈의 인식을 위한 하나 이상의 비디오 프레임들의 실시간 또는 온라인 분석의 경우에, UI 관리자(216)는 또한 생성된 통지를 송수신기(204)를 통해 수술 디바이스(102)로 전송할 수 있다. 통지의 예들은 오디오 경보, 텍스트 경보, 시각적 경보, 및/또는 햅틱 피드백을 포함할 수 있지만, 이들로 제한되지 않는다.
일 실시예에 따르면, 카메라 제어 유닛(218)은, 비디오 프레임에서의 수술 거즈의 인식에 기초하여, 영상 포착 디바이스의 하나 이상의 영상 포착 설정들에 대한 최적 값들을 결정하도록 구성될 수 있다. 하나 이상의 영상 포착 설정들의 예들은 자동 노출, 자동 초점, 자동 화이트 밸런스, 또는 자동 조명을 포함할 수 있지만, 이들로 제한되지 않는다. 일 실시예에 따르면, 하나 이상의 영상 포착 설정들의 최적 값들은, 비디오 프레임에서 수술 거즈로서 인식된 영역의 크기, 이러한 영역 내의 픽셀들의 평균 강도, 또는 이러한 영역의 하나 이상의 특징들과 같은, 하나 이상의 조건들에 기초하여 결정될 수 있다. 일 실시예에서, 최적 값들의 결정이 또한 사용자 지정 기준들에 기초할 수 있다. 카메라 제어 유닛(218)은, 송수신기(204)를 통해, 하나 이상의 영상 포착 설정들의 최적 값들을 영상 포착 디바이스로 전송하도록 구성될 수 있다. 영상 포착 디바이스의 하나 이상의 영상 포착 설정들은 카메라 제어 유닛(218)에 의해 송신되는 각자의 최적 값들에 기초하여 조절될 수 있다.
일 실시예에 따르면, UI 관리자(216)는, 사용자 단말(108)의 UI를 통해, 하나 이상의 영상 포착 설정들의 최적 값들을 사용자에게 제시할 수 있다. UI 관리자(216)는 사용자가, 사용자 단말(108)의 UI를 통해, 최적 값들을 확인 또는 조절할 수 있게 할 수 있다. UI 관리자(216)는, 송수신기(204)를 통해, 사용자 단말(108)로부터 최적 값들의 확인 또는 조절을 나타내는 사용자 입력을 수신할 수 있다. 그 후에, 카메라 제어 유닛(218)은 사용자 입력에 기초하여 최적 값들을 업데이트하고, 업데이트된 최적 값들을 송수신기(204)를 통해 영상 포착 디바이스로 전송할 수 있다. 영상 포착 디바이스의 하나 이상의 영상 포착 설정들은 카메라 제어 유닛(218)으로부터 수신되는 업데이트된 최적 값들에 기초하여 조절될 수 있다.
도 3은 본 개시내용의 일 실시예에 따른, 예시적인 사용자 단말을 나타낸 블록도이다. 도 3는 도 1로부터의 요소들과 관련하여 설명된다. 도 3을 참조하면, 사용자 단말(108)이 도시되어 있다. 사용자 단말(108)은 (프로세서(302)와 같은) 하나 이상의 프로세서들, (송수신기(304)와 같은) 하나 이상의 송수신기들, 메모리(306), 클라이언트 인터페이스 유닛(308), 및 디스플레이 디바이스(314)를 포함할 수 있다. 클라이언트 인터페이스 유닛(308)은 UI 관리자(310) 및 디스플레이 어댑터(312)를 포함할 수 있다. 프로세서(302)는 송수신기(304), 메모리(306), 클라이언트 인터페이스 유닛(308), 및 디스플레이 디바이스(314)에 통신가능하게 결합될 수 있다. 송수신기(304)는, 통신 네트워크(110)를 통해, 영상 처리 서버(104) 및/또는 수술 디바이스(102)와 통신하도록 구성될 수 있다.
프로세서(302)는 메모리(306)에 저장된 명령어 세트를 실행하도록 구성될 수 있는, 적당한 로직, 회로부, 인터페이스들, 및/또는 코드를 포함할 수 있다. 프로세서(302)는 본 기술분야에 공지된 다수의 프로세서 기술들에 기초하여 구현될 수 있다. 프로세서(302)의 예들은 X86 기반 프로세서, RISC(Reduced Instruction Set Computing) 프로세서, ASIC(Application-Specific Integrated Circuit) 프로세서, CISC(Complex Instruction Set Computing) 프로세서, 및/또는 다른 프로세서들일 수 있다.
송수신기(304)는 (도 1에 도시된 바와 같이) 통신 네트워크(110)를 통해 영상 처리 서버(104) 및/또는 수술 디바이스(102)와 통신하도록 구성될 수 있는 적당한 로직, 회로부, 인터페이스들, 및/또는 코드를 포함할 수 있다. 송수신기(304)는 통신 네트워크(110)를 사용하여 사용자 단말(108)의 유선 또는 무선 통신을 지원하기 위해 공지된 기술들을 구현할 수 있다. 송수신기(304)는 안테나, RF(radio frequency) 송수신기, 하나 이상의 증폭기들, 하나 이상의 발진기들, 디지털 신호 프로세서, 코덱(coder-decoder) 칩셋, SIM(subscriber identity module) 카드, 및/또는 로컬 버퍼를 포함할 수 있지만, 이들로 제한되지 않는다.
송수신기(304)는 무선 통신을 통해 인터넷, 인트라넷 및/또는, 셀룰러 전화 네트워크와 같은, 무선 네트워크, 무선 LAN(wireless local area network) 및/또는 MAN(metropolitan area network)과 같은 네트워크들과 통신할 수 있다. 무선 통신은 GSM(Global System for Mobile Communications), EDGE(Enhanced Data GSM Environment), W-CDMA(wideband code division multiple access), CDMA(code division multiple access), TDMA(time division multiple access), 블루투스, Wi-Fi(Wireless Fidelity)(IEEE 802.11a, IEEE 802.11b, IEEE 802.11g 및/또는 IEEE 802.11n 등), VoIP(voice over Internet Protocol), Wi-MAX, 이메일, 인스턴트 메시징, 및/또는 SMS(Short Message Service)를 위한 프로토콜과 같은 복수의 통신 표준들, 프로토콜들 및 기술들 중 임의의 것을 사용할 수 있다.
메모리(306)는 프로세서(302)에 의해 실행가능한 적어도 하나의 코드 섹션을 갖는 머신 코드 및/또는 컴퓨터 프로그램을 저장하도록 구성될 수 있는 적당한 로직, 회로부, 및/또는 인터페이스들을 포함할 수 있다. 메모리(306)의 구현의 예들은 RAM(Random Access Memory), ROM(Read Only Memory), HDD(Hard Disk Drive), 및/또는 SD(Secure Digital) 카드를 포함할 수 있지만, 이들로 제한되지 않는다.
클라이언트 인터페이스 유닛(308)은 사용자 단말(108) 상에 제시되는 하나 이상의 UI들을 렌더링 및 관리하도록 구성될 수 있는 적당한 로직, 회로부, 인터페이스들, 및/또는 코드를 포함할 수 있다. 일 실시예에 따르면, 클라이언트 인터페이스 유닛(308)은 프로세서(302)의 일부일 수 있다. 대안적으로, 클라이언트 인터페이스 유닛(308)은 사용자 단말(108)에서 별도의 프로세서 또는 회로부로서 구현될 수 있다. 예를 들어, 클라이언트 인터페이스 유닛(308)은 프로세서(302)에 통신가능하게 결합된 전용 그래픽 프로세서 또는 칩셋으로서 구현될 수 있다. 일 실시예에 따르면, 클라이언트 인터페이스 유닛(308) 및 프로세서(302)는 클라이언트 인터페이스 유닛(308) 및 프로세서(302)의 기능들을 수행하는 집적 프로세서 또는 프로세서들의 클러스터로서 구현될 수 있다. 다른 실시예에 따르면, 클라이언트 인터페이스 유닛(308)은 프로세서(302)에 의해 실행될 때 클라이언트 인터페이스 유닛(308)의 기능들을 수행할 수 있는, 메모리(306)에 저장된, 컴퓨터 프로그램 코드로서 구현될 수 있다.
UI 관리자(310)는 사용자 단말(108)의 UI를 관리하도록 구성될 수 있는 적당한 로직, 회로부, 인터페이스들, 및/또는 코드를 포함할 수 있다. 일 실시예에 따르면, UI 관리자(310)는, 사용자 단말(108)의 입력 디바이스(도 3에 도시되지 않음)를 거쳐, 사용자 단말(108)의 UI를 통해 수신되는 사용자 입력을 수신 및 처리하도록 추가로 구성될 수 있다. 일 실시예에 따르면, 입력 디바이스는 사용자 단말(108)에 통신가능하게 결합(또는 그 내에 포함)될 수 있다. 입력 디바이스의 예들은 키보드, 마우스, 조이스틱, 트랙 패드, 음성 지원(voice-enabled) 입력 디바이스, 터치 지원(touch-enabled) 입력 디바이스, 및/또는 제스처 지원(gesture-enabled) 입력 디바이스를 포함할 수 있지만, 이들로 제한되지 않는다.
일 실시예에 따르면, UI 관리자(310)는 송수신기(304)를 통해 영상 처리 서버(104)의 UI 관리자(216)와 통신하도록 추가로 구성될 수 있다. 이러한 통신은 수술 장면 인터페이스에 대응하는 정보의 수신을 용이하게 할 수 있다. 그 후에, UI 관리자(310)는 사용자 단말(108)의 UI를 통해 수술 장면 인터페이스를 제시할 수 있다.
디스플레이 어댑터(312)는 UI 관리자(310)를 디스플레이 디바이스(314)와 인터페이싱시키도록 구성될 수 있는 적당한 로직, 회로부, 인터페이스들, 및/또는 코드를 포함할 수 있다. 일 실시예에 따르면, 디스플레이 어댑터(312)는, 디스플레이 디바이스(314)의 디스플레이 구성들에 기초하여, 사용자 단말(108)의 UI의 렌더링 및 디스플레이 속성들의 조절을 수행할 수 있다. 디스플레이 조절을 수행하기 위해 이용될 수 있는 하나 이상의 기법들의 예들은 영상 향상(image enhancement), 영상 안정화(image stabilization), 콘트라스트 조절, 밝기 조절, 해상도 조절, 및/또는 스큐/회전 조절을 포함할 수 있지만, 이들로 제한되지 않는다.
디스플레이 디바이스(314)는 UI를 렌더링하도록 구성될 수 있는 적당한 로직, 회로부, 인터페이스들, 및/또는 코드를 포함할 수 있다. 일 실시예에 따르면, 디스플레이 디바이스(314)는 사용자 단말(108)의 일부로서 구현될 수 있다. 다른 실시예에서, 디스플레이 디바이스(314)는 사용자 단말(108)에 통신가능하게 결합될 수 있다. 디스플레이 디바이스(314)는, CRT(Cathode Ray Tube) 기반 디스플레이, LCD(Liquid Crystal Display), LED(Light Emitting Diode) 기반 디스플레이, 유기 LED 디스플레이 기술, 레티나 디스플레이 기술, 및/또는 기타와 같은, 몇 가지 공지된 기술들을 통해 실현될 수 있다. 그에 부가하여, 일 실시예에 따르면, 디스플레이 디바이스(314)는 사용자로부터 입력을 수신할 수 있다. 이러한 시나리오에서, 디스플레이 디바이스(314)는 사용자가 입력을 제공할 수 있게 하는 터치 스크린일 수 있다. 일 실시예에 따르면, 터치 스크린은 저항성 터치 스크린(resistive touch screen), 용량성 터치 스크린(capacitive touch screen), 또는 열 터치 스크린(thermal touch screen) 중 적어도 하나에 대응할 수 있다. 일 실시예에 따르면, 디스플레이 디바이스(314)는 가상 키패드, 스타일러스, 제스처 기반 입력, 및/또는 터치 기반 입력을 통해 입력을 수신할 수 있다. 이러한 경우에, 입력 디바이스는 디스플레이 디바이스(314) 내에 통합될 수 있다. 그에 부가하여, 일 실시예에 따르면, 사용자 단말(108)은 터치 스크린 기반 디스플레이 디바이스(314) 이외에 보조 입력 디바이스를 포함할 수 있다.
동작 중에, 사용자 단말(108)의 송수신기(304)는, 통신 네트워크(110)를 통해, 영상 처리 서버(104)의 UI 관리자(216)로부터 수술 장면 인터페이스에 대응할 수 있는 정보를 수신할 수 있다. 그 후에, 일 실시예에 따르면, 사용자 단말(108)의 UI 관리자(310)는, 사용자 단말(108)의 UI를 통해, 수술 장면 인터페이스를 사용자에게 제시할 수 있다. 일 실시예에 따르면, 수술 장면 인터페이스는 수술 또는 진단 절차의 하나 이상의 비디오 프레임들을 사용자에게 제시할 수 있다. 일 실시예에 따르면, 특정의 비디오 프레임에서 인식된 수술 거즈는, 그 비디오 프레임이 사용자에게 디스플레이될 때, 마스킹되거나 하이라이트될 수 있다. 수술 장면 인터페이스의 일 예가 도 6에서 보다 상세히 설명된다.
일 실시예에 따르면, 수술 장면 인터페이스에 의해 제시되는 하나 이상의 비디오 프레임들은 수술 또는 진단 절차가 수행되는 동안 영상 포착 디바이스에 의해 포착되는 실시간 비디오 장면일 수 있다. 이러한 경우에, 영상 처리 서버(104)는 적어도 하나의 비디오 프레임에서 수술 거즈를 인식하기 위해 하나 이상의 비디오 프레임들을 실시간으로 분석할 수 있다(온라인 처리). 특정의 비디오 프레임에서 인식된 수술 거즈는, 수술 장면 인터페이스를 통해, 그 비디오 프레임에서 마스킹된 또는 하이라이트된 영역으로서 사용자에게 동시에 제시될 수 있다.
일 실시예에 따르면, 수술 장면 인터페이스는 수술 거즈의 인식을 나타내는 통지를 사용자에게 제시하도록 추가로 구성될 수 있다. 통지의 예들은 오디오 경보, 텍스트 경보, 시각적 경보, 및/또는 햅틱 경보를 포함할 수 있지만, 이들로 제한되지 않는다. (의사와 같은) 사용자는 통지에 기초하여 적절한 조치를 취하도록 프롬프트될 수 있다. 예를 들어, 수술 장면 인터페이스는 사용자에게 영상 포착 디바이스의 하나 이상의 영상 포착 설정들을 조절하라고 프롬프트할 수 있다. 일 실시예에 따르면, 영상 처리 서버(104)의 카메라 제어 유닛(218)은, 수술 거즈의 인식에 기초하여, 하나 이상의 영상 포착 설정들에 대한 최적 값들을 결정하도록 구성될 수 있다. 수술 장면 인터페이스는 이러한 최적 값들을 하나 이상의 영상 포착 설정들에 대한 제안된 값들로서 사용자에게 제시할 수 있다. 사용자는, 사용자에게 제시되는 제안된 값들에 기초하여, 영상 포착 디바이스의 하나 이상의 영상 포착 설정들을 조절할 수 있다. 영상 포착 디바이스의 하나 이상의 영상 포착 설정들의 조절에 부가하여, (의사와 같은) 사용자는 수술 거즈를 환자의 해부학적 영역 주위의 체강 내에서 재배치(reposition)/그로부터 제거할 수 있다.
도 4는 본 개시내용의 일 실시예에 따른, 비디오 프레임에서 수술 거즈에 대응하는 하나 이상의 영상 블록들을 검출하는 방법을 나타낸 예시적인 흐름도를 나타낸 것이다. 도 4는 도 1 및 도 2로부터의 요소들과 관련하여 기술되어 있다. 도 4를 참조하면, 흐름도(400)가 도시되어 있다. 흐름도(400)는 입력 비디오 프레임(402), 해부학적 영역(404), 수술 거즈(406), 수술 기구(408), 혈액이 없는 영역(410a), 혈액이 스며든 영역(410b), 방사성 줄무늬(412), 색상 필터링된 비디오 프레임(414), 에지 필터링된 비디오 프레임(416), 신뢰도 맵핑된 비디오 프레임(418), 출력 비디오 프레임(420), 제1 부분(422a), 및 제2 부분(422b)을 포함한다.
흐름도(400)에 도시된 바와 같이, 입력 비디오 프레임(402)은 영상 포착 디바이스에 의해 포착된 하나 이상의 비디오 프레임들 중의 비디오 프레임의 스냅샷을 나타낸 것이다. 입력 비디오 프레임(402)은 수술 기구(408)를 사용하여 수술 또는 진단 절차가 수행되는 해부학적 영역(404)을 나타내고 있다. 입력 비디오 프레임(402)은 또한 수술 또는 진단 절차 동안 사용될 수 있는 수술 거즈(406)를 나타내고 있다. 수술 거즈(406)는 혈액이 없는 영역(410a) 및 혈액이 스며든 영역(410b)을 포함할 수 있다. 수술 거즈(406) 내의 혈액이 없는 영역(410a)은 색상이 백색으로 보일 수 있는 반면, 수술 거즈(406)의 혈액이 스며든 영역(410b)은 색상이 적색으로 보일 수 있다. 게다가, 수술 거즈(406)는 색상이 청색으로 보일 수 있는 방사선 줄무늬(414)를 포함할 수 있다.
일 실시예에 따르면, 영상 처리 서버(104)의 영상 필터링 엔진(210)은 입력 비디오 프레임(402)의 적어도 일부분의 픽셀 특성 세트를 결정하기 위해 입력 비디오 프레임(402)을 분석하도록 구성될 수 있다. 픽셀 특성 세트는 에지 특징, 형상 특징, 텍스처 특징, 크기 특징, 색상 특징, 강도 특징, 또는 밀도 특징을 포함할 수 있지만, 이들로 제한되지 않는다. 픽셀 특성 세트는 입력 비디오 프레임(402)의 적어도 일부분에 대해 수행되는 색상 필터링에 기초하여 결정될 수 있다. 일 실시예에 따르면, 영상 필터링 엔진(210)은, 도 2에서 특정된 바와 같은, 조건들 "Condition 1", "Condition 2", "Condition 3", 및 "Condition 4"와 같은, 하나 이상의 조건들에 기초하여 색상 필터링을 수행할 수 있다. 색상 필터링된 비디오 프레임(414)은, 입력 비디오 프레임(402)의 색상 필터링에 기초하여, 입력 비디오 프레임(402)으로부터 획득될 수 있는 결과 비디오 프레임을 나타낸다. 색상 필터링된 비디오 프레임(414)은 입력 비디오 프레임(402)에서의 수술 거즈(406)에 대응할 수 있는 관심 영역들을 포함할 수 있다.
일 실시예에 따르면, 영상 필터링 엔진(210)은 색상 필터링된 비디오 프레임(414)에서 관심 영역들 내의 에지 픽셀들을 검출하도록 구성될 수 있다. 영상 필터링 엔진(210)은, 도 2에서 특정된 바와 같은, 조건 "Condition 5"에 기초하여 소벨 에지 필터를 사용하여 에지 픽셀들을 검출할 수 있다. 에지 필터링된 비디오 프레임(416)은 색상 필터링된 비디오 프레임(414)에서의 에지 픽셀들의 검출에 기초하여 획득될 수 있는 결과 비디오 프레임을 나타낸다.
일 실시예에 따르면, 영상 필터링 엔진(210)은 에지 필터링된 비디오 프레임(416)에서 검출된 에지 픽셀들의 밀도 분석을 수행하도록 구성될 수 있다. 영상 필터링 엔진(210)은, 밀도 분석에 기초하여, 에지 필터링된 비디오 프레임(416)의 각각의 영상 블록에서의 줄무늬들의 밀도를 결정할 수 있다. 그 후에, 영상 필터링 엔진(210)은 입력 비디오 프레임(402)에서 수술 거즈(406)의 하나 이상의 부분들을 검출하기 위해 신뢰도 맵을 생성할 수 있다. 신뢰도 맵은 에지 필터링된 비디오 프레임(416)의 각각의 영상 블록에서의 줄무늬들의 밀도에 기초하여 (도 2에서 특정된 바와 같은) 조건 "Condition 6"을 사용하여 작성될 수 있다. 신뢰도 맵핑된 비디오 프레임(418)은 신뢰도 맵이 에지 필터링된 비디오 프레임(416) 상에 오버레이될 때 획득될 수 있는 결과 비디오 프레임을 나타낸다.
일 실시예에 따르면, 영상 필터링 엔진(210)은, 결정된 픽셀 특성 세트에 기초하여, 입력 비디오 프레임(402)에서의 수술 거즈(406)의 일부분에 대응할 수 있는 하나 이상의 픽셀 블록들을 검출하도록 추가로 구성될 수 있다. 영상 필터링 엔진(210)은 입력 비디오 프레임(402)에서의 (하나 이상의 영상 블록들을 포함할 수 있는) 적어도 일부분의 연결 성분 분석을 수행할 수 있다. 영상 필터링 엔진(210)은 (에지 필터링된 비디오 프레임(416)에서 식별되는 바와 같이) 입력 비디오 프레임(402)의 관심 영역들에 대해 이진화 연산을 수행할 수 있다. 이진화 연산은 신뢰도 맵핑된 비디오 프레임(418)에 표현된 신뢰도 맵에 기초하여 수행될 수 있다.
그 후에, 영상 필터링 엔진(210)은, 신뢰도 맵에 기초하여, 입력 비디오 프레임(402)의 관심 영역들 내의 연결 성분들을 링크시킬 수 있다. 예를 들어, 각각의 연결 성분은 이진화 연산의 하나 이상의 조건들을 충족시킬 수 있는 적어도 미리 정해진 수("5개 이상" 등)의 연속적인 영상 블록들을 포함할 수 있다. 영상 필터링 엔진(210)은 이어서 링크된 연결 성분들 내에 있는 그 영상 블록들을 입력 비디오 프레임(402)에서의 수술 거즈(406)의 부분들에 대응할 수 있는 검출된 하나 이상의 픽셀 블록들로서 식별할 수 있다. 예를 들어, 영상 필터링 엔진(210)은 제1 부분(422a) 및 제2 부분(422b)을 입력 비디오 프레임(402)에서의 수술 거즈(406)의 부분들로서 식별할 수 있다.
출력 비디오 프레임(420)은 제1 부분(422a) 및 제2 부분(422b)이 입력 비디오 프레임(402)에서 식별되고 마스킹될 때 획득될 수 있는 결과 비디오 프레임을 나타낸다. 도 4로부터 명백한 바와 같이, 제1 부분(422a) 및 제2 부분(422b)은 수술 거즈(406) 전체를 포함하지 않을 수 있다. 픽셀 클러스터링 엔진(212)은 수술 거즈에 대응할 수 있는 출력 비디오 프레임(420)의 부가 픽셀들을 식별하도록 구성될 수 있다. 제1 부분(422a), 제2 부분(422b), 및 부가 픽셀들의 식별에 기초하여, 수술 거즈(406)가 입력 비디오 프레임(402) 내에서 인식될 수 있다.
도 5는 본 개시내용의 일 실시예에 따른, 비디오 프레임에서 수술 거즈를 인식하는 방법을 나타내는 예시적인 흐름도를 나타낸 것이다. 도 5는 도 1 및 도 2로부터의 요소들과 관련하여 기술되어 있다. 도 5를 참조하면, 흐름도(500)가 도시되어 있다. 흐름도(500)는 전처리된 비디오 프레임(502), 해부학적 영역(504), 수술 기구(506), 수술 거즈(508), 미리 식별된 부분(510), 색상/에지 필터링된 비디오 프레임(512), 픽셀 클러스링된 비디오 프레임(514), 후처리된 비디오 프레임(516), 제1 경계(518), 출력 비디오 프레임(520), 및 제2 경계(522)를 포함한다.
흐름도(500)에 도시된 바와 같이, 전처리된 비디오 프레임(502)은 영상 포착 디바이스에 의해 포착되는 입력 비디오 프레임(도 5에 도시되지 않음)의 예비 분석에 기초하여 획득될 수 있는 결과 비디오 프레임의 스냅샷을 나타낸다. 영상 필터링 엔진(210)은 (도 4의 흐름도(400)에 예시된 것과 유사한 방식으로) 입력 비디오 프레임에서 수술 거즈의 일부분을 검출하기 위해 입력 비디오 프레임의 예비 분석을 수행할 수 있다.
영상 필터링 엔진(210)은 이어서, 전처리된 비디오 프레임(502)을 생성하기 위해, 입력 비디오 프레임에서 수술 거즈의 검출된 부분을 마스킹할 수 있다. 전처리된 비디오 프레임(502)은 수술 기구(506)를 사용하여 수술 또는 진단 절차가 수행되는 해부학적 영역(504)을 나타낸다. 전처리된 비디오 프레임(502)은 또한 수술 또는 진단 절차 중에 사용될 수 있는 수술 거즈(508)를 나타낸다. 그에 부가하여, 전처리된 비디오 프레임(502)은, 입력 비디오 프레임의 예비 분석에 기초하여, 영상 필터링 엔진(210)에 의해 식별될 수 있는 입력 비디오 프레임에서의 수술 거즈 (508)의 일부분인 미리 식별된 부분(510)을 나타낸다.
일 실시예에 따르면, 영상 필터링 엔진 (210)은, 도 2에서 특정된 바와 같은, "Condition 1", "Condition 2", "Condition 3", 및 "Condition 4"와 같은, 하나 이상의 조건들에 기초하여 입력 비디오 프레임을 색상 필터링함으로써 색상 필터링된 비디오 프레임(도 5에 도시되지 않음)을 생성할 수 있다. 게다가, 영상 필터링 엔진(210)은 색상 필터링된 비디오 프레임(도 5에 도시되지 않음)에서의 에지 픽셀들을 식별할 수 있다. 영상 필터링 엔진(210)은 에지 픽셀들을 식별하기 위해 (도 2에서 특정된 바와 같은) 조건 "Condition 5"를 사용할 수 있다. 그 후에, 입력 비디오 프레임의 색상 필터링 및 색상 필터링된 입력 비디오 프레임에서의 에지 픽셀들의 식별에 기초하여, 영상 필터링 엔진(210)은 색상/에지 필터링된 비디오 프레임(512)을 생성할 수 있다. 색상/에지 필터링된 비디오 프레임(512)은 수술 거즈(508)의 다른 부분들을 포함할 수 있는 비디오 프레임의 하나 이상의 관심 영역들을 포함할 수 있다.
일 실시예에 따르면, 픽셀 클러스터링 엔진(212)은 슈퍼픽셀 클러스터링 기법을 사용하여 색상/에지 필터링된 비디오 프레임(512)에서 하나 이상의 픽셀 클러스터들을 식별하도록 구성될 수 있다. 픽셀 클러스터링 엔진(212)은, 공간 메트릭 및 스펙트럼 메트릭과 같은, 복수의 메트릭들에 기초하여 슈퍼픽셀 클러스터링을 수행할 수 있다. 예를 들어, 픽셀 클러스터링 엔진(212)은 색상/에지 필터링된 비디오 프레임(512)에서의 관심 영역들 내의 각각의 픽셀 쌍 사이의 유클리드 거리를 결정할 수 있다. 유클리드 거리는 공간 메트릭, 스펙트럼 메트릭, 및 가중 파라미터에 기초할 수 있다. 픽셀 클러스터링된 비디오 프레임(514)은 슈퍼픽셀 클러스터링에 기초하여 색상/에지 필터링된 비디오 프레임으로부터 생성될 수 있는 결과 비디오 프레임을 나타낸다. 픽셀 클러스터링된 비디오 프레임(514)은 색상/에지 필터링된 비디오 프레임(512)으로부터 식별될 수 있는 하나 이상의 픽셀 클러스터들을 포함할 수 있다.
일 실시예에 따르면, 픽셀 클러스터링 엔진(212)은, 후처리된 비디오 프레임(516)을 획득하기 위해, 픽셀 클러스터링된 비디오 프레임(514) 상에 전처리된 비디오 프레임(502)을 오버레이할 수 있다. 픽셀 클러스터링 엔진(212)은 미리 식별된 부분(510)과 하나 이상의 클러스터들의 중첩(overlap)의 정도를 결정할 수 있다. 픽셀 클러스터링 엔진(212)은, 하나 이상의 클러스터들의 중첩의 정도에 기초하여, 수술 거즈(508)에 대응할 수 있는 제1 부가 픽셀 세트를 결정할 수 있다. 그 후에, 픽셀 클러스터링 엔진(212)은, 수술 거즈(508)를 둘러쌀 수 있는 제1 경계(518)를 생성하기 위해, 제1 부가 픽셀 세트를 미리 식별된 부분(510)과 조합할 수 있다.
일 실시예에 따르면, 픽셀 클러스터링 엔진(212)은, 하나 이상의 클러스터들 각각의 크기에 적어도 기초하여, 하나 이상의 클러스터들로부터 적어도 하나의 클러스터를 선택할 수 있다. 그 후에, 픽셀 클러스터링 엔진(212)은 수술 거즈(508)에 대응할 수 있는 제2 부가 픽셀 세트를 식별할 수 있다. 그 후에, 픽셀 클러스터링 엔진(212)은, 제2 부가 픽셀 세트(518)에 기초하여, 제2 경계(522)를 생성하기 위해 제1 경계(518)를 미세조정(refine)할 수 있다. 제1 경계(518)의 미세조정은 수술 거즈(508)의 외부에 있을 수 있는 제1 경계(518)로부터 그 픽셀들을 제거하는 것에 대응할 수 있다. 그에 부가하여, 제1 경계(518)의 미세 조정은 또한 수술 거즈(508)의 일부일 수 있지만 현재 제1 경계(518) 내에 있지 않을 수 있는 그 픽셀들을 제1 경계(518)에 포함시키는 것에 대응할 수 있다. 일 실시예에 따르면, 제2 경계(522)는 수술 거즈(508)를 완전히 둘러쌀 수 있다. 수술 거즈(508)는 입력 비디오 프레임에서 제2 경계(522)에 기초하여 인식될 수 있다. 출력 비디오 프레임(520)은 입력 비디오 프레임에서 수술 거즈(508)를 인식하기 위해 제2 경계(522)가 입력 비디오 프레임 상에 오버레이될 때 획득되는 결과 비디오 프레임에 대응할 수 있다.
도 6은 본 개시내용의 일 실시예에 따른, 사용자 단말(108) 상에 제시될 수 있는 UI의 예시적인 시나리오를 나타낸 것이다. 도 6는 도 1의 요소들과 관련하여 기술되어 있다. 도 6을 참조하면, 사용자 단말(108)의 사용자에게 제시될 수 있는 사용자 인터페이스(UI)(600)가 도시되어 있다.
일 실시예에 따르면, UI(600)는 하나 이상의 비디오 프레임들을 사용자에게 제시하기 위해 수술 장면 인터페이스(602)를 디스플레이하도록 구성될 수 있다. 예를 들어, 도 6에 도시된 바와 같이, 수술 장면 인터페이스(602)는 환자의 해부학적 영역(604)의 투시 단면의 스냅샷을 포함하는 비디오 프레임을 디스플레이할 수 있다. 해부학적 영역(604)에 대해 수술 또는 진단 절차가 수행되는 동안 스냅샷이 포착될 수 있다.
스냅샷에 예시된 바와 같이, 수술 또는 진단 절차는, 수술 거즈(610)와 같은, 하나 이상의 수술 거즈들과, 수술 집게(606) 및 내시경 수술 기구(608)와 같은, 하나 이상의 수술 기구들을 사용하여 수행될 수 있다. 예를 들어, 도 6에 도시된 바와 같이, 수술 또는 진단 절차가 내시경 수술 기구(608)를 사용하여 수행될 때, 해부학적 영역(604)의 표면이 수술 집게(606)를 사용하여 유지될 수 있다.
게다가, 수술 거즈(610)는 수술 또는 진단 절차가 수행되는 동안 배어 나올 수 있는 혈액 또는 다른 체액들을 흡수하는 데 사용될 수 있다. 예를 들어, 수술 거즈(610)는, 도 6에 예시된 바와 같이, 혈액이 스며든 영역(612로 도시됨)을 포함할 수 있다. 단일의 수술 거즈 및 2개의 수술 기구들이 도 6에 도시되어 있지만, 하나 이상의 부가 수술 거즈들 및/또는 수술 기구들이 또한, 본 개시내용의 범주를 벗어나지 않고, 수술 또는 진단 절차를 수행하는 데 사용될 수 있다. 도 6에 도시된 바와 같이, 스냅샷은 수술 거즈(610)를 둘러쌀 수 있는 제1 마스크 또는 경계(614a로 도시됨)와, 수술 거즈(610)의 혈액이 스며든 영역(612)을 둘러쌀 수 있는 제2 마스크 또는 경계(614b로 도시됨)를 추가로 예시하고 있다.
동작 중에, 특정의 비디오 프레임을 수술 장면 인터페이스(602)에 디스플레이하기 전에, 영상 처리 서버(104)는 비디오 프레임을 분석할 수 있다. 일 실시예에 따르면, 영상 처리 서버(104)의 영상 필터링 엔진(210)은, 비디오 프레임의 적어도 일부분에 대해 수행되는 색상 필터링에 기초하여, 픽셀 특성 세트를 결정할 수 있다. 그 후에, 영상 필터링 엔진(210)은, 결정된 픽셀 특성 세트에 기초하여, 비디오 프레임에서의 (수술 거즈(610)와 같은) 수술 거즈의 일부분에 대응할 수 있는 하나 이상의 픽셀 블록들을 검출할 수 있다.
일 실시예에 따르면, 영상 처리 서버(104)의 픽셀 클러스터링 엔진(212)은, 복수의 메트릭들에 기초하여, 비디오 프레임에서 (수술 거즈(610)와 같은) 수술 거즈의 나머지 부분에 대응할 수 있는 부가 픽셀들을 식별할 수 있다. 부가 픽셀은 슈퍼픽셀 클러스터링 기법을 사용하여 식별될 수 있다. 게다가, 픽셀 클러스터링 엔진(212)은, 수술 거즈(610)의 일부분에 대응하는 하나 이상의 블록들의 검출 및 수술 거즈(610)의 나머지 부분에 대응하는 부가 픽셀들의 식별에 기초하여, 비디오 프레임에서 수술 거즈(610)를 인식할 수 있다.
일 실시예에 따르면, 비디오 프레임이 사용자에게 제시되는 동안, 수술 장면 인터페이스(602)는 비디오 프레임에서 인식된 수술 거즈(610)를 마스킹 또는 하이라이트할 수 있다. 예를 들어, 수술 장면 인터페이스(602)는 비디오 프레임에서 인식된 수술 거즈(610)를 둘러쌀 수 있는 제1 마스크 또는 경계(614a)를 디스플레이할 수 있다. 게다가, 도 6에서의 비디오 프레임의 스냅샷에 예시된 바와 같이, 수술 장면 인터페이스(602)는 비디오 프레임에서 인식된 수술 거즈(610)의 혈액이 스며든 영역(612)을 둘러쌀 수 있는 제2 마스크 또는 경계(614b)를 디스플레이할 수 있다.
일 실시예에 따르면, 수술 장면 인터페이스(602)는 비디오 프레임에서의 수술 거즈(610) 및 수술 거즈(610)의 혈액이 스며든 영역(612)의 인식을 나타내는 통지를 사용자에게 제시하도록 추가로 구성될 수 있다. 통지의 예들은 오디오 경보, 텍스트 경보, 시각적 경보, 및/또는 햅틱 경보를 포함할 수 있지만, 이들로 제한되지 않는다. 비디오 프레임이 실시간으로 제시되는 경우에, 수술 장면 인터페이스(602)는 통지에 기초하여 (의사와 같은) 사용자에게 특정의 조치를 취하라고 프롬프트할 수 있다. 예를 들어, 수술 장면 인터페이스(602)는 사용자에게 영상 포착 디바이스의 하나 이상의 영상 포착 설정들을 조절하라고 프롬프트할 수 있다.
수술 장면 인터페이스(602)는 하나 이상의 영상 포착 설정들에 대한 최적 값들을 제안할 수 있다. 사용자는, 사용자에게 제시되는 제안된 최적 값들에 기초하여, 영상 포착 디바이스의 하나 이상의 영상 포착 설정들을 조절할 수 있다. 영상 포착 디바이스의 하나 이상의 영상 포착 설정들의 조절에 부가하여, (의사와 같은) 사용자는 환자의 해부학적 영역(604)으로부터 수술 거즈(610)를 제거하거나 위치변경(relocate)할 수 있다. 본 기술분야의 통상의 기술자는 UI(600)가 예시를 위해 제공되었으며 본 개시내용의 범주를 제한하는 것으로 해석되어서는 안된다는 것을 이해할 것이다.
본 개시내용의 다양한 실시예들은 다수의 장점들을 포함할 수 있다. 앞서 논의된 바와 같이, 영상 처리 서버(104)는 비디오 프레임의 적어도 일부분에서의 수술 거즈를 실시간으로 결정하기 위해 하나 이상의 비디오 프레임들을 분석할 수 있다. 비디오 프레임의 분석 동안, 영상 처리 서버(104)는 초기에 비디오 프레임의 색상 필터링에 기초하여 픽셀 특성 세트를 결정할 수 있다. 영상 처리 서버(104)는 결정된 픽셀 특성 세트에 기초하여 수술 거즈의 일부분에 대응할 수 있는 하나 이상의 픽셀 블록들을 검출할 수 있다. 검출된 수술 거즈의 일부분은 수술 거즈를 완전히 포함하지 않을 수 있으며, 또한 수술 거즈에 속하지 않는 픽셀들을 포함할 수 있다. 영상 처리 서버(104)는 슈퍼픽셀 클러스터링 기법에 기초하여 수술 거즈의 나머지 부분에 대응할 수 있는 부가 픽셀들을 식별하기 위해 비디오 프레임의 추가 분석을 수행할 수 있다. 부가 픽셀들을 식별하는 것은, 복수의 메트릭들에 기초하여, 하나 이상의 픽셀 클러스터들을 식별하는 것을 포함할 수 있다. 예를 들어, 영상 처리 서버(104)는 하나 이상의 픽셀 클러스터들을 식별하기 위해 공간 메트릭, 스펙트럼 메트릭, 및 가중 파라미터를 사용할 수 있다. 픽셀 클러스터들을 식별하기 위해 픽셀들의 공간 속성 및 스펙트럼 속성 둘 다를 사용하는 것은 비디오 프레임에서의 픽셀들의 효율적인 클러스터링을 가능하게 할 수 있다. 그 후에, 영상 처리 서버(104)는 수술 거즈의 일부분에 대응하는 검출된 하나 이상의 블록들과 수술 거즈의 나머지 부분에 대응하는 식별된 부가 픽셀들에 기초하여 비디오 프레임에서 수술 거즈를 인식할 수 있다.
수술 또는 진단 절차 동안, 영상 처리 서버(104)는 수술 거즈의 인식을 나타낼 수 있는 통지를 의사에게 실시간으로 제공할 수 있다. 실시간 통지에 기초하여, 수술 또는 진단 절차가 수행되는 동안, 의사는 수술 거즈를 환자의 해부학적 영역으로부터 제거하거나 그 내에서 재배치할 수 있다. 게다가, 논의된 바와 같이, 영상 처리 서버(104)는 또한 의사가, 특정의 비디오 프레임에서의 수술 거즈의 인식에 기초하여, 영상 포착 디바이스의 하나 이상의 영상 포착 설정들을 조절할 수 있게 할 수 있다. 하나 이상의 영상 포착 설정들에서의 이러한 조절은 영상 포착 디바이스에 의해 실시간으로 포착되는 하나 이상의 비디오 프레임들의 품질의 개선에 도움을 줄 수 있다.
도 7은 본 개시내용의 일 실시예에 따른, 해부학적 수술 동안 수술 거즈를 검출하는 예시적인 방법을 나타낸 플로우차트이다. 도 7을 참조하면, 플로우차트(700)가 도시되어 있다. 플로우차트(700)는 도 1 및 도 2와 관련하여 기술된다. 방법은 단계(702)에서 시작하여 단계(704)로 진행한다.
단계(704)에서, 픽셀 특성 세트가 결정될 수 있다. 일 실시예에 따르면, 영상 처리 서버(104)의 영상 필터링 엔진(210)은 픽셀 특성 세트를 결정하도록 구성될 수 있다. 픽셀 특성 세트는 영상 포착 디바이스로부터 수신되는 하나 이상의 비디오 프레임들 중의 비디오 프레임의 적어도 일부분에 대해 수행되는 색상 필터링에 기초하여 결정될 수 있다. 픽셀 특성 세트는 에지 특징, 형상 특징, 텍스처 특징, 크기 특징, 색상 특징, 강도 특징, 또는 밀도 특징을 포함할 수 있지만, 이들로 제한되지 않는다. 일 실시예에 따르면, 영상 필터링 엔진(210)은, 도 2에서 특정된 바와 같은, 조건들 "Condition 1", "Condition 2", "Condition 3", 및 "Condition 4"와 같은, 하나 이상의 조건들에 기초하여 비디오 프레임의 색상 필터링을 수행할 수 있다. 게다가, 영상 필터링 엔진(210)은, 도 2에서 특정된 바와 같은, 조건 "Condition 5"에 기초하여 색상 필터링된 비디오 프레임에서 에지 픽셀들을 검출할 수 있다. 색상 필터링 및 에지 픽셀들의 검출에 기초하여, 영상 필터링 엔진(210)은 비디오 프레임에서 하나 이상의 관심 영역들을 검출할 수 있다. 관심 영역들은 비디오 프레임에서의 수술 거즈의 적어도 일부분을 포함할 수 있다.
단계(706)에서, 비디오 프레임에서의 수술 거즈의 일부분에 대응할 수 있는 하나 이상의 픽셀 블록들이 검출될 수 있다. 일 실시예에 따르면, 영상 필터링 엔진(210)은, 픽셀 특성 세트 및/또는 비디오 프레임의 적어도 일부분에 대해 수행되는 연결 성분 분석에 기초하여, 하나 이상의 픽셀 블록들을 검출하도록 구성될 수 있다. 비디오 프레임에서의 관심 영역들의 밀도 분석에 기초하여 하나 이상의 픽셀 블록들이 검출될 수 있다. 예를 들어, 영상 필터링 엔진(210)은 비디오 프레임에서의 관심 영역들 내의 각각의 영상 블록에서의 줄무늬들의 밀도에 기초하여 수술 거즈의 일부분을 검출하기 위해 신뢰도 맵을 생성할 수 있다. 신뢰도 맵은, 도 2에서 특정된 바와 같은, 조건 "Condition 6"에 기초하여 작성될 수 있다.
단계(708)에서, 비디오 프레임에서 하나 이상의 픽셀 클러스터들이 결정될 수 있다. 일 실시예에 따르면, 영상 처리 서버(104)의 픽셀 클러스터링 엔진(212)은, 슈퍼픽셀 클러스터링 기법 및 복수의 메트릭들에 기초하여, 비디오 프레임에서 하나 이상의 픽셀 클러스터들을 결정하도록 구성될 수 있다. 복수의 메트릭들은 공간 메트릭 및 스펙트럼 메트릭을 포함할 수 있다. 픽셀 클러스터링 엔진(212)은 공간 메트릭, 스펙트럼 메트릭, 및 가중 파라미터에 기초하여 유클리드 거리를 결정할 수 있다. 그 후에, 픽셀 클러스터링 엔진(212)은 비디오 프레임의 관심 영역들 내의 각각의 픽셀 쌍 사이의 유클리드 거리에 기초하여 비디오 프레임에서 하나 이상의 픽셀 클러스터들을 결정할 수 있다.
단계(710)에서, 비디오 프레임에서의 수술 거즈의 나머지 부분에 대응할 수 있는 부가 픽셀들이 식별될 수 있다. 일 실시예에 따르면, 픽셀 클러스터링 엔진(212)은 비디오 프레임에서 수술 거즈의 나머지 부분에 대응할 수 있는 부가 픽셀들을 식별하도록 구성될 수 있다. 픽셀 클러스터링 엔진(212)은, 각각의 픽셀 클러스터와 검출된 하나 이상의 픽셀 블록들 간의 중첩의 정도 및/또는 각각의 픽셀 클러스터의 크기에 기초하여, 결정된 하나 이상의 픽셀 클러스터들로부터 적어도 하나의 픽셀 클러스터를 선택할 수 있다. 그 후에, 픽셀 클러스터링 엔진(212)은 부가 픽셀들을 선택된 적어도 하나의 픽셀 클러스터에 대응할 수 있는 픽셀들로서 식별할 수 있다.
단계(712)에서, 비디오 프레임에서 수술 거즈가 인식될 수 있다. 일 실시예에 따르면, 픽셀 클러스터링 엔진(212)은 비디오 프레임에서 수술 거즈를 인식하도록 구성될 수 있다. 수술 거즈의 인식은 수술 거즈의 일부분에 대응하는 하나 이상의 블록들의 검출 및 수술 거즈의 나머지 부분에 대응하는 부가 픽셀들의 식별에 기초할 수 있다. 제어는 종료 단계(714)로 넘어간다.
본 개시내용의 일 실시예에 따르면, 해부학적 수술 동안 수술 거즈를 검출하는 시스템이 개시된다. 본 시스템은 통신 네트워크(110)를 통해 영상 포착 디바이스(도 1에 도시되지 않음)에 통신가능하게 결합되는 영상 처리 서버(104)를 포함할 수 있다. 영상 포착 디바이스는 수술 또는 진단 절차 동안 하나 이상의 비디오 프레임들을 포착하도록 구성될 수 있다. 영상 처리 서버(104)는 하나 이상의 비디오 프레임들 중의 비디오 프레임의 적어도 일부분의 색상 필터링에 기초하여 픽셀 특성 세트를 결정하도록 구성될 수 있다. 영상 처리 서버(104)는 픽셀 특성 세트에 기초하여 비디오 프레임에서의 수술 거즈의 일부분의 하나 이상의 픽셀 블록들을 검출하도록 추가로 구성될 수 있다. 그에 부가하여, 영상 처리 서버(104)는 복수의 메트릭들에 기초하여 비디오 프레임에서의 수술 거즈의 나머지 부분에 대응하는 부가 픽셀들을 식별하도록 구성될 수 있다. 게다가, 영상 처리 서버(104)는 하나 이상의 픽셀 블록들의 검출 및 부가 픽셀들의 식별에 기초하여 비디오 프레임에서 수술 거즈를 인식하도록 구성될 수 있다.
본 개시내용의 다양한 실시예들은 해부학적 수술 동안 수술 거즈의 검출을 위해 머신 및/또는 컴퓨터에 의해 실행가능한 적어도 하나의 코드 섹션을 갖는 머신 코드 및/또는 컴퓨터 프로그램을 저장하고 있는, 비일시적 컴퓨터 판독가능 매체 및/또는 저장 매체, 및/또는 비일시적 머신 판독가능 매체 및/또는 저장 매체를 제공할 수 있다. 영상 처리 서버(104)에서의 적어도 하나의 코드 섹션은 머신 및/또는 컴퓨터로 하여금 하나 이상의 비디오 프레임들 중의 비디오 프레임의 적어도 일부분의 색상 필터링에 기초하여 픽셀 특성 세트를 결정하는 것을 포함하는 단계들을 수행하게 할 수 있다. 하나 이상의 비디오 프레임들이, 통신 네트워크(110)를 통해 영상 처리 서버(104)에 통신가능하게 결합될 수 있는, 영상 포착 디바이스에 의해 포착될 수 있다. 일 실시예에 따르면, 수술 거즈의 일부분의 하나 이상의 픽셀 블록들이 픽셀 특성 세트에 기초하여 비디오 프레임에서 검출될 수 있다. 게다가, 수술 거즈의 나머지 부분에 대응하는 부가 픽셀들이 복수의 메트릭들에 기초하여 식별될 수 있다. 수술 거즈가 하나 이상의 픽셀 블록들의 검출 및 부가 픽셀들의 식별에 기초하여 비디오 프레임에서 인식될 수 있다.
본 개시내용은 하드웨어, 또는 하드웨어와 소프트웨어의 조합으로 실현될 수 있다. 본 개시내용은 중앙집중 방식으로, 적어도 하나의 컴퓨터 시스템에서, 또는 상이한 요소들이 몇 개의 상호연결된 컴퓨터 시스템들에 걸쳐 확산되어 있을 수 있는 분산 방식으로 실현될 수 있다. 본원에 기술되는 방법들을 수행하도록 구성된 컴퓨터 시스템 또는 다른 장치가 적합할 수 있다. 하드웨어와 소프트웨어의 조합은, 로딩되어 실행될 때, 본원에 기술되는 방법들을 수행하도록 컴퓨터 시스템을 제어할 수 있는 컴퓨터 프로그램을 갖는 범용 컴퓨터 시스템일 수 있다. 본 개시내용은 다른 기능들을 또한 수행하는 집적 회로의 일부분을 포함하는 하드웨어로 실현될 수 있다.
본 개시내용은 또한, 본원에 기술되는 방법들의 구현을 가능하게 하는 모든 특징들을 포함하고 컴퓨터 시스템에 로딩될 때 이 방법들을 수행할 수 있는, 컴퓨터 프로그램 제품에 포함될 수 있다. 컴퓨터 프로그램은, 이와 관련하여, 정보 처리 능력을 갖는 시스템으로 하여금 특정의 기능을 직접 또는 a) 다른 언어, 코드 또는 표기법으로의 변환; b) 상이한 자료 형태의 재생 중 어느 하나 또는 둘 다 이후에 수행하게 하도록 의도되어 있는 명령어 세트의, 임의의 언어, 코드 또는 표기법으로 된, 임의의 표현을 의미한다.
본 개시내용이 특정 실시예들을 참조하여 기술되었지만, 본 기술분야의 통상의 기술자라면 본 개시내용의 범주를 벗어남이 없이 다양한 변경들이 행해질 수 있고 등가물들로 대체될 수 있다는 것을 잘 알 것이다. 그에 부가하여, 본 개시내용의 범주를 벗어남이 없이 본 개시내용의 교시내용에 따라 특정의 상황 또는 재료를 조정하기 위해 많은 수정들이 행해질 수 있다. 따라서, 본 개시내용이 개시된 특정의 실시예로 제한되지 않고 본 개시내용이 첨부된 청구항들의 범주 내에 속하는 모든 실시예들을 포함하는 것으로 의도되어 있다.

Claims (22)

  1. 해부학적 수술 동안 수술 거즈를 검출하는 시스템으로서, 상기 시스템은:
    영상 포착 디바이스에 통신가능하게 결합된 영상 처리 엔진 내의 하나 이상의 회로들을 포함하고, 상기 영상 포착 디바이스는 하나 이상의 비디오 프레임들을 포착하도록 구성되며, 상기 하나 이상의 회로들은:
    상기 영상 포착 디바이스로부터 수신되는 비디오 프레임의 적어도 일부분에 대해 수행되는 색상 필터링(color filtering)에 기초하여 픽셀 특성 세트를 결정하고;
    상기 결정된 픽셀 특성 세트에 기초하여 상기 비디오 프레임의 상기 적어도 일부분에서 수술 거즈의 일부분에 대응하는 하나 이상의 픽셀 블록들을 검출하며;
    복수의 메트릭들에 기초하여 상기 수술 거즈의 나머지 부분에 대응하는 부가 픽셀들을 식별하고;
    상기 일부분에 대응하는 상기 하나 이상의 픽셀 블록들의 상기 검출 및 상기 수술 거즈의 상기 나머지 부분에 대응하는 상기 부가 픽셀들의 상기 식별에 기초하여 상기 비디오 프레임에서 상기 수술 거즈를 인식하도록 구성되는, 시스템.
  2. 제1항에 있어서, 상기 픽셀 특성 세트는 에지 특징, 형상 특징, 텍스처 특징, 크기 특징, 색상 특징, 강도 특징, 또는 밀도 특징 중 하나 이상을 포함하는, 시스템.
  3. 제1항에 있어서, 상기 복수의 메트릭들은 적어도 공간 메트릭(spatial metric) 및 스펙트럼 메트릭(spectral metric)을 포함하는, 시스템.
  4. 제3항에 있어서, 상기 공간 메트릭은 상기 비디오 프레임의 상기 적어도 일부분의 2개의 픽셀들의 좌표들 사이의 기하학적 거리(geometric distance)에 대응하는, 시스템.
  5. 제3항에 있어서, 상기 스펙트럼 메트릭은 조명 불변 색상 메트릭(lighting-invariant color metric)에 대응하고, 상기 조명 불변 색상 메트릭은 상기 비디오 프레임의 상기 적어도 일부분의 2개의 픽셀들의 색상 성분들 사이의 코사인 거리(cosine distance)에 대응하는, 시스템.
  6. 제3항에 있어서, 상기 하나 이상의 회로들은 상기 비디오 프레임의 상기 적어도 일부분의 2개의 픽셀들 사이의 유클리드 거리(Euclidean distance)를 결정하기 위해 상기 공간 메트릭, 상기 스펙트럼 메트릭, 및 가중 파라미터를 조합하도록 추가로 구성되는, 시스템.
  7. 제3항에 있어서, 상기 부가 픽셀들은 상기 공간 메트릭, 상기 스펙트럼 메트릭, 및 가중 파라미터의 조합에 기초하여 k-평균 클러스터링 기법(k-means clustering technique)을 사용하여 식별되는, 시스템.
  8. 제1항에 있어서, 상기 일부분에 대응하는 상기 하나 이상의 블록들은 상기 비디오 프레임의 상기 적어도 일부분의 연결 성분 분석에 기초하여 검출되는, 시스템.
  9. 제1항에 있어서, 상기 하나 이상의 회로들은 슈퍼픽셀 클러스터링 기법(super-pixel clustering technique)에 기초하여 상기 비디오 프레임의 상기 적어도 일부분에서 하나 이상의 픽셀 클러스터들을 결정하도록 추가로 구성되고, 상기 부가 픽셀들의 상기 식별은 상기 하나 이상의 픽셀 클러스터들로부터 적어도 하나의 픽셀 클러스터를 선택하는 것을 포함하는, 시스템.
  10. 제9항에 있어서, 상기 비디오 프레임의 상기 적어도 일부분에서의 상기 수술 거즈의 상기 인식은 상기 선택된 적어도 하나의 픽셀 클러스터에 기초하는, 시스템.
  11. 제1항에 있어서, 상기 영상 포착 디바이스의 하나 이상의 영상 포착 설정들은 상기 비디오 프레임의 상기 적어도 일부분에서의 상기 수술 거즈의 상기 인식에 기초하여 조절되는, 시스템.
  12. 제11항에 있어서, 상기 하나 이상의 영상 포착 설정들은 자동 노출, 자동 초점, 자동 화이트 밸런스, 또는 자동 조명 중 하나 이상을 포함하는, 시스템.
  13. 제1항에 있어서, 상기 하나 이상의 회로들은 상기 해부학적 수술 동안 사용자 인터페이스를 통해 상기 비디오 프레임의 상기 적어도 일부분을 디스플레이하도록 추가로 구성되고, 상기 인식된 수술 거즈는 상기 비디오 프레임의 상기 디스플레이된 상기 적어도 일부분에서 마스킹되거나 하이라이트되는, 시스템.
  14. 제1항에 있어서, 상기 하나 이상의 회로들은 상기 수술 거즈의 상기 인식을 나타내는 통지를 생성하도록 추가로 구성되고, 상기 통지는 오디오 경보, 텍스트 경보, 시각적 경보, 또는 햅틱 경보 중 하나 이상에 대응하는, 시스템.
  15. 해부학적 수술 동안 수술 거즈를 검출하는 방법으로서, 상기 방법은:
    영상 포착 디바이스에 통신가능하게 결합된 영상 처리 엔진에서:
    상기 영상 포착 디바이스로부터 수신되는 비디오 프레임의 적어도 일부분에 대해 수행되는 색상 필터링에 기초하여 픽셀 특성 세트를 결정하는 단계 - 상기 영상 포착 디바이스는 하나 이상의 비디오 프레임들을 포착하도록 구성됨 -;
    상기 결정된 픽셀 특성 세트에 기초하여 상기 비디오 프레임의 상기 적어도 일부분에서 수술 거즈의 일부분에 대응하는 하나 이상의 픽셀 블록들을 검출하는 단계;
    복수의 메트릭들에 기초하여 상기 수술 거즈의 나머지 부분에 대응하는 부가 픽셀들을 식별하는 단계; 및
    상기 일부분에 대응하는 상기 하나 이상의 픽셀 블록들의 상기 검출 및 상기 수술 거즈의 상기 나머지 부분에 대응하는 상기 부가 픽셀들의 상기 식별에 기초하여 상기 비디오 프레임의 상기 적어도 일부분에서 상기 수술 거즈를 인식하는 단계를 포함하는, 방법.
  16. 제15항에 있어서, 상기 픽셀 특성 세트는 에지 특징, 형상 특징, 텍스처 특징, 크기 특징, 색상 특징, 강도 특징, 또는 밀도 특징 중 하나 이상을 포함하는, 방법.
  17. 제15항에 있어서, 상기 복수의 메트릭들은 공간 메트릭 또는 스펙트럼 메트릭 중 하나 이상을 포함하는, 방법.
  18. 제17항에 있어서, 상기 비디오 프레임의 상기 적어도 일부분의 2개의 픽셀들 사이의 유클리드 거리를 결정하기 위해 상기 공간 메트릭, 상기 스펙트럼 메트릭, 및 가중 파라미터를 조합하는 단계를 추가로 포함하는, 방법.
  19. 제18항에 있어서, 상기 부가 픽셀들은 상기 유클리드 거리에 기초하여 k-평균 클러스터링 기법을 사용하여 식별되는, 방법.
  20. 제15항에 있어서, 슈퍼픽셀 클러스터링 기법에 기초하여 상기 비디오 프레임의 상기 적어도 일부분에서 하나 이상의 픽셀 클러스터들을 결정하는 단계를 추가로 포함하고, 상기 부가 픽셀들의 상기 식별은 상기 하나 이상의 픽셀 클러스터들로부터 적어도 하나의 픽셀 클러스터를 선택하는 것을 포함하는, 방법.
  21. 제20항에 있어서, 상기 비디오 프레임의 상기 적어도 일부분에서의 상기 수술 거즈의 상기 인식은 상기 선택된 적어도 하나의 픽셀 클러스터에 기초하는, 방법.
  22. 컴퓨터로 하여금 단계들을 수행하게 하는 컴퓨터 실행가능 명령어 세트를 저장하고 있는 비일시적 컴퓨터 판독가능 저장 매체로서, 상기 단계들은:
    영상 포착 디바이스로부터 수신되는 비디오 프레임의 적어도 일부분에 대해 수행되는 색상 필터링에 기초하여 픽셀 특성 세트를 결정하는 단계 - 상기 영상 포착 디바이스는 상기 컴퓨터에 통신가능하게 결합되고, 상기 영상 포착 디바이스는 하나 이상의 비디오 프레임들을 포착하도록 구성됨 -;
    상기 결정된 픽셀 특성 세트에 기초하여 상기 비디오 프레임의 상기 적어도 일부분에서 수술 거즈의 일부분에 대응하는 하나 이상의 픽셀 블록들을 검출하는 단계;
    복수의 메트릭들에 기초하여 상기 수술 거즈의 나머지 부분에 대응하는 부가 픽셀들을 식별하는 단계; 및
    상기 일부분에 대응하는 상기 하나 이상의 픽셀 블록들의 상기 검출 및 상기 수술 거즈의 상기 나머지 부분에 대응하는 상기 부가 픽셀들의 상기 식별에 기초하여 상기 비디오 프레임의 상기 적어도 일부분에서 상기 수술 거즈를 인식하는 단계를 포함하는, 비일시적 컴퓨터 판독가능 저장 매체.
KR1020177022275A 2015-02-19 2016-02-11 해부학적 수술 동안 수술 거즈의 검출을 위한 방법 및 시스템 Active KR102021682B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201562118030P 2015-02-19 2015-02-19
US62/118,030 2015-02-19
US14/855,525 2015-09-16
US14/855,525 US9767554B2 (en) 2015-02-19 2015-09-16 Method and system for detection of surgical gauze during anatomical surgery
PCT/US2016/017446 WO2016133767A1 (en) 2015-02-19 2016-02-11 Method and system for detection of surgical gauze during anatomical surgery

Publications (2)

Publication Number Publication Date
KR20170106374A true KR20170106374A (ko) 2017-09-20
KR102021682B1 KR102021682B1 (ko) 2019-09-16

Family

ID=56692383

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020177022275A Active KR102021682B1 (ko) 2015-02-19 2016-02-11 해부학적 수술 동안 수술 거즈의 검출을 위한 방법 및 시스템

Country Status (6)

Country Link
US (1) US9767554B2 (ko)
EP (1) EP3243048A4 (ko)
JP (1) JP6497536B2 (ko)
KR (1) KR102021682B1 (ko)
CN (1) CN107889534B (ko)
WO (1) WO2016133767A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230088595A (ko) 2021-12-10 2023-06-20 사단법인 김해하버드바이오이미징센터 이물 육아종 제거를 위한 근적외선 형광체를 이용한 비침습 이미징 시스템 및 방법

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160259888A1 (en) * 2015-03-02 2016-09-08 Sony Corporation Method and system for content management of video images of anatomical regions
JP6809869B2 (ja) * 2016-11-02 2021-01-06 Eizo株式会社 ガーゼ検出システム
US10918445B2 (en) 2016-12-19 2021-02-16 Ethicon Llc Surgical system with augmented reality display
EP3563343A4 (en) * 2017-01-02 2020-08-19 Gauss Surgical, Inc. SURGICAL ITEM FOLLOW-UP WITH DUAL ELEMENT IMAGING PREDICTION
IT201800002612A1 (it) 2018-02-13 2019-08-13 B Res Di Braga Ing Giuseppe E C Sas Garza chirurgica.
US11488304B2 (en) * 2018-05-01 2022-11-01 Eizo Corporation Gauze detection system and gauze detection method
US11205508B2 (en) * 2018-05-23 2021-12-21 Verb Surgical Inc. Machine-learning-oriented surgical video analysis system
US10679743B2 (en) * 2018-09-12 2020-06-09 Verb Surgical Inc. Method and system for automatically tracking and managing inventory of surgical tools in operating rooms
JP7413216B2 (ja) * 2020-09-15 2024-01-15 富士フイルム株式会社 学習装置、方法およびプログラム、学習済みモデル、並びに放射線画像処理装置、方法およびプログラム
US12536250B2 (en) 2021-04-30 2026-01-27 Sony Group Corporation Electronic device and method for smoke level estimation
US12300029B2 (en) 2021-08-26 2025-05-13 Hill-Rom Services, Inc. Enhanced image-based tracking in clinical environments

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100311129A1 (en) * 2006-03-23 2010-12-09 Konstantin Vyacheslavovich Rybak Method for producing an l-amino acid using bacterium of the enterobacteriaceae family with attenuated expression of a gene coding for small rna
US20110311129A1 (en) * 2008-12-18 2011-12-22 Peyman Milanfar Training-free generic object detection in 2-d and 3-d using locally adaptive regression kernels
US20130011042A1 (en) * 2011-07-09 2013-01-10 Siddarth Satish System and method for estimating extracorporeal blood volume in a physical sample
US20130101221A1 (en) * 2011-10-25 2013-04-25 International Business Machines Corporation Anomaly detection in images and videos

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7453490B2 (en) * 1997-01-31 2008-11-18 Gyrus Acmi, Inc. Correction of image signals characteristic of non-uniform images in an endoscopic imaging system
US6741655B1 (en) * 1997-05-05 2004-05-25 The Trustees Of Columbia University In The City Of New York Algorithms and system for object-oriented content-based video search
US7197181B1 (en) * 2003-04-09 2007-03-27 Bentley Systems, Inc. Quick method for color-based selection of objects in a raster image
US7292263B2 (en) 2005-03-16 2007-11-06 The Regents Of The University Of California Robotic CCD microscope for enhanced crystal recognition
US7580560B2 (en) * 2005-07-18 2009-08-25 Mitutoyo Corporation System and method for fast template matching by adaptive template decomposition
US8181860B2 (en) * 2006-09-13 2012-05-22 Clearcount Medical Solutions, Inc. Apparatus and methods for monitoring objects in a surgical field
EP1916624B1 (en) * 2006-10-25 2016-11-23 Agfa HealthCare NV Method for segmenting a digital medical image.
US7856142B2 (en) * 2007-01-26 2010-12-21 Sharp Laboratories Of America, Inc. Methods and systems for detecting character content in a digital image
US9070192B1 (en) * 2007-05-15 2015-06-30 Vision Interface Technologies, LLC Implementing rich color transition curve tracking for applications
US9168104B2 (en) 2008-06-23 2015-10-27 John Richard Dein Intra-operative system for identifying and tracking surgical sharp objects, instruments, and sponges
US9936906B2 (en) * 2012-05-14 2018-04-10 Gauss Surgical, Inc. System and methods for managing blood loss of a patient
US9047663B2 (en) 2011-07-09 2015-06-02 Gauss Surgical Method for triggering blood salvage
CN103988057B (zh) * 2011-07-09 2017-11-28 高斯外科公司 估算体外血液体积并对外科手术样品计数的系统和方法
EP4663107A1 (en) * 2012-05-14 2025-12-17 Stryker Corporation System and method for estimating a quantity of a blood component in a fluid canister
US9025880B2 (en) * 2012-08-29 2015-05-05 Disney Enterprises, Inc. Visual saliency estimation for images and video
JP6135848B2 (ja) 2012-09-04 2017-05-31 パナソニックＩｐマネジメント株式会社 撮像装置、画像処理装置および画像処理方法
US9041834B2 (en) 2012-09-19 2015-05-26 Ziilabs Inc., Ltd. Systems and methods for reducing noise in video streams
KR102049080B1 (ko) * 2013-03-28 2020-01-08 삼성전자주식회사 영상 처리 장치 및 방법
EP2797030B1 (en) * 2013-04-24 2021-06-16 Accenture Global Services Limited Biometric recognition
US9736455B2 (en) * 2014-06-30 2017-08-15 Nokia Technologies Oy Method and apparatus for downscaling depth data for view plus depth data compression
US9947090B2 (en) * 2014-09-06 2018-04-17 RaPID Medical Technologies, LLC Medical image dectection system and method

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100311129A1 (en) * 2006-03-23 2010-12-09 Konstantin Vyacheslavovich Rybak Method for producing an l-amino acid using bacterium of the enterobacteriaceae family with attenuated expression of a gene coding for small rna
US20110311129A1 (en) * 2008-12-18 2011-12-22 Peyman Milanfar Training-free generic object detection in 2-d and 3-d using locally adaptive regression kernels
US20130011042A1 (en) * 2011-07-09 2013-01-10 Siddarth Satish System and method for estimating extracorporeal blood volume in a physical sample
US20130101221A1 (en) * 2011-10-25 2013-04-25 International Business Machines Corporation Anomaly detection in images and videos

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230088595A (ko) 2021-12-10 2023-06-20 사단법인 김해하버드바이오이미징센터 이물 육아종 제거를 위한 근적외선 형광체를 이용한 비침습 이미징 시스템 및 방법

Also Published As

Publication number Publication date
CN107889534B (zh) 2021-09-24
WO2016133767A1 (en) 2016-08-25
JP6497536B2 (ja) 2019-04-10
CN107889534A (zh) 2018-04-06
EP3243048A1 (en) 2017-11-15
JP2018513754A (ja) 2018-05-31
KR102021682B1 (ko) 2019-09-16
US20160247275A1 (en) 2016-08-25
EP3243048A4 (en) 2018-11-21
US9767554B2 (en) 2017-09-19

Similar Documents

Publication Publication Date Title
KR102021682B1 (ko) 해부학적 수술 동안 수술 거즈의 검출을 위한 방법 및 시스템
KR101945654B1 (ko) 해부학적 수술 동안 연기 검출을 위한 시스템 및 방법
US10147188B2 (en) Method and system for surgical tool localization during anatomical surgery
CN108346149B (zh) 图像检测、处理方法、装置及终端
US11715199B2 (en) Systems and methods for surgical smoke management
US11361406B2 (en) Image processing apparatus, image processing method, and non-transitory computer readable recording medium
JP7127637B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
EP4302277A1 (en) Electronic device and method for smoke level estimation
US20200160514A1 (en) Image processing apparatus and computer-readable storage medium
CN115719415B (zh) 一种视野可调双视频融合成像方法及系统
JP2015022525A (ja) 情報処理装置、被写体部位の検出方法、及びプログラム
US11039077B2 (en) Image processing device, endoscope system, image processing method, and computer-readable recording medium
CN115063334A (zh) 一种图像融合方法、设备及介质
CN116385812B (zh) 图像分类方法及装置、电子设备及存储介质
CN118736655A (zh) 图像识别方法及装置、存储介质及电子设备

Legal Events

Date Code Title Description
A201 Request for examination
PA0105 International application

Patent event date: 20170809

Patent event code: PA01051R01D

Comment text: International Patent Application

PA0201 Request for examination
PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20190131

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20190829

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20190906

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20190906

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20220822

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20230828

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20240826

Start annual number: 6

End annual number: 6