KR20170096810A - 원격 이미지 전송 시스템, 디스플레이 장치 및 그의 가이드 표시 방법 - Google Patents

원격 이미지 전송 시스템, 디스플레이 장치 및 그의 가이드 표시 방법 Download PDF

Info

Publication number
KR20170096810A
KR20170096810A KR1020160018533A KR20160018533A KR20170096810A KR 20170096810 A KR20170096810 A KR 20170096810A KR 1020160018533 A KR1020160018533 A KR 1020160018533A KR 20160018533 A KR20160018533 A KR 20160018533A KR 20170096810 A KR20170096810 A KR 20170096810A
Authority
KR
South Korea
Prior art keywords
image
images
processor
received
display device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020160018533A
Other languages
English (en)
Other versions
KR102508831B1 (ko
Inventor
김민성
김주유
김용
김수완
김응선
조재걸
홍태화
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020160018533A priority Critical patent/KR102508831B1/ko
Priority to US15/403,309 priority patent/US10607340B2/en
Priority to PCT/KR2017/000751 priority patent/WO2017142223A1/en
Publication of KR20170096810A publication Critical patent/KR20170096810A/ko
Application granted granted Critical
Publication of KR102508831B1 publication Critical patent/KR102508831B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G06F19/3418—
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0004—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by the type of physiological signal transmitted
    • A61B5/0013—Medical image data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0015—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by features of the telemetry system
    • A61B5/0022—Monitoring a patient using a global network, e.g. telephone networks, internet
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0062—Arrangements for scanning
    • A61B5/0064—Body surface scanning
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Measuring devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1072—Measuring physical dimensions, e.g. size of the entire body or parts thereof measuring distances on the body, e.g. measuring length, height or thickness
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Measuring devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1079—Measuring physical dimensions, e.g. size of the entire body or parts thereof using optical or photographic means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
    • A61B5/444—Evaluating skin marks, e.g. mole, nevi, tumour, scar
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
    • A61B5/445—Evaluating skin irritation or skin trauma, e.g. rash, eczema, wound, bed sore
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient; User input means
    • A61B5/742—Details of notification to user or communication with user or patient; User input means using visual displays
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient; User input means
    • A61B5/742—Details of notification to user or communication with user or patient; User input means using visual displays
    • A61B5/745—Details of notification to user or communication with user or patient; User input means using visual displays using a holographic display
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G06F19/321—
    • G06F19/345—
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/22—Social work or social welfare, e.g. community support activities or counselling services
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three-dimensional [3D] modelling for computer graphics
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30088—Skin; Dermal
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two two-dimensional [2D] image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dermatology (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Physiology (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)

Abstract

원격 이미지 전송 시스템, 디스플레이 장치 및 디스플레이 장치의 가이드 표시 방법이 제공된다. 본 개시의 일 실시 예에 따른 원격 이미지 전송 시스템은, 서로 이격된 복수의 촬상 소자 각각에서 촬상된 복수의 이미지를 디스플레이 장치에 전송하는 촬상 장치 및 수신된 복수의 이미지를 이용하여, 촬상된 오브젝트의 물리 정보를 나타내는 가이드 오브젝트를 생성하고, 복수의 이미지 중 적어도 하나의 이미지와 생성된 가이드 오브젝트를 함께 표시하는 디스플레이 장치를 포함할 수 있다.

Description

원격 이미지 전송 시스템, 디스플레이 장치 및 그의 가이드 표시 방법{REMOTE IMAGE TRANSMISSION SYSTEM, DISPLAY APPARATUS AND GUIDE DISPLAYING METHOD OF THEREOF}
본 발명은 원격 이미지 전송 시스템, 디스플레이 장치 및 그의 가이드 표시 방법에 관한 것으로, 보다 구체적으로, 원격으로 전송된 이미지에 대한 물리적인 크기를 제공할 수 있는 원격 이미지 전송 시스템, 디스플레이 장치 및 그의 가이드 표시 방법에 관한 것입니다.
최근 비대면 방식인 원격 진료에 대한 필요성 및 수요가 증가하고 있다. 원격 진료의 경우 실시간 또는 비실시간으로 환자가 송신한 영상 정보를 통해, 의료진이 진단을 수행하게 된다.
이러한 경우, 의료진은 환자의 신장, 체형 등에 대한 직관적인 정보를 얻기 어렵다. 또한, 환자의 특정 장기의 크기가 환부의 실제 물리적인 크기가 어떠한지 알수 없다는 문제점이 존재한다. 이미지 상에서 동일한 범위를 차지하고 있는 환부의 실제 크기는 환자의 체격 등에 따라 달라지기 때문이다.
종래의 원격 진료에서는 환자가 직접 환부의 크기를 측정하여 의료진에게 알려주거나, 룰러(ruler)를 환부 옆에 놓고 측정하도록 하여 물리적인 크기 정보를 얻고자 시도하였다. 하지만, 이러한 방법에는 환자에게 부담과 불편함을 발생시켜 원격 진료의 이점이 감소되는 문제점이 있다.
본 개시는 상술한 문제점을 해결하기 위한 것으로, 원격으로 전송된 이미지에 대한 물리적인 크기를 제공하는 가이드를 이미지와 함께 표시할 수 있는 원격 이미지 전송 시스템, 디스플레이 장치 및 그의 가이드 표시 방법을 제공함을 목적으로 한다.
상기 목적을 달성하기 위한 본 개시의 일 실시 예에 따른 원격 이미지 전송 시스템은, 디스플레이 장치, 서로 이격된 복수의 촬상 소자 각각에서 촬상된 복수의 이미지를 상기 디스플레이 장치에 전송하는 촬상 장치를 포함하고, 상기 디스플레이 장치는, 상기 수신된 복수의 이미지를 이용하여, 촬상된 오브젝트의 물리 정보를 나타내는 가이드 오브젝트를 생성하고, 상기 복수의 이미지 중 적어도 하나의 이미지와 상기 생성된 가이드 오브젝트를 함께 표시할 수 있다.
그리고, 상기 촬상 장치는, 서로 이격된 복수의 촬상 소자 각각에서 촬상된 복수의 이미지를 생성하는 촬상부, 상기 디스플레이 장치와 송수신하는 통신부 및 상기 복수의 촬상 소자 사이의 이격 거리 및 상기 복수의 촬상 소자의 초점 거리를 나타내는 정보를, 상기 촬상된 복수의 이미지와 함께 상기 디스플레이 장치로 전송하도록 상기 통신부를 제어하는 프로세서를 포함할 수 있다.
또한, 상기 촬상 장치는, 적외선 파장의 광을 조사하는 광원부를 더 포함하고, 상기 복수의 촬상 소자 중 적어도 하나는 상기 광원부에서 조사된 적외선 파장의 광에 의한 반사광을 수광할 수 있다.
그리고, 상기 촬상 장치의 프로세서는, 상기 복수의 촬상 소자 각각이 동일한 시점에 촬상하도록 상기 촬상부를 제어할 수 있다.
또한, 상기 촬상 장치의 프로세서는, 상기 복수의 촬상 소자가 교번적으로 상이한 시점에 촬상하도록 상기 촬상부를 제어할 수 있다.
그리고, 상기 디스플레이 장치는, 상기 촬상 장치와 송수신하는 통신부, 디스플레이부 및 상기 수신된 복수의 이미지를 이용하여, 촬상된 오브젝트의 물리 정보를 나타내는 가이드 오브젝트를 생성하고, 상기 수신된 복수의 이미지 중 적어도 하나의 이미지와 상기 생성된 가이드 오브젝트를 함께 표시하도록 상기 디스플레이부를 제어하는 프로세서를 포함할 수 있다.
또한, 상기 가이드 오브젝트는 룰러, 그리드, 화살표 중 적어도 하나의 형태로 생성될 수 있다.
그리고, 상기 디스플레이 장치의 프로세서는, 상기 수신된 복수의 이미지 중 적어도 하나의 이미지에서 환부 영역을 검출하고, 상기 검출된 환부 영역을 감싸는 그래픽 오브젝트를 생성할 수 있다.
또한, 상기 디스플레이 장치의 프로세서는, 상기 검출된 환부 영역의 이미지 특성을 변경하는 필터 처리를 수행할 수 있다.
그리고, 상기 디스플레이 장치의 프로세서는, 현재의 환부 영역을 감싸는 상기 그래픽 오브젝트 및 이전에 수신된 이미지에서 검출된 이전의 환부 영역에 대해 기생성된 그래픽 오브젝트를 함께 표시하도록 상기 디스플레이부를 제어할 수 있다.
또한, 상기 디스플레이 장치의 프로세서는, 상기 수신된 이미지로부터 특징점을 추출하고, 상기 추출된 특징점을 기준으로 상기 현재의 환부 영역을 감싸는 그래픽 오브젝트 및 상기 기생성된 그래픽 오브젝트의 크기를 매칭할 수 있다.
그리고, 상기 디스플레이 장치는, 오브젝트를 선택받는 입력부를 더 포함하고, 상기 프로세서는, 상기 선택된 오브젝트의 크기 정보를 표시하는 가이드 오브젝트를 생성할 수 있다.
또한, 상기 디스플레이 장치의 프로세서는, 상기 수신된 복수의 이미지를 이용하여, 상기 복수의 이미지에 포함된 오브젝트의 3차원 모델을 생성할 수 있다.
그리고, 상기 디스플레이 장치는, 서로 이격된 복수의 촬상 소자 각각에서 촬상된 복수의 이미지를 생성하는 촬상부를 더 포함하고, 상기 수신된 복수의 이미지를 이용하여 상기 촬상 장치에서 촬상된 오브젝트의 물리 정보를 추출하고, 상기 촬상된 복수의 이미지를 이용하여 상기 촬상된 공간의 물리 정보를 추출하며, 상기 수신된 복수의 이미지 중 적어도 하나의 이미지와 상기 디스플레이 장치에서 촬상된 복수의 이미지 중 적어도 하나의 이미지를 상기 추출된 각각의 물리 정보에 기초하여 함께 표시할 수 있다.
한편, 상기 목적을 달성하기 위한 본 개시의 일 실시 예에 따른 디스플레이 장치는, 외부 장치와 송수신하는 통신부, 디스플레이부 및 상기 외부 장치로부터 수신된 복수의 이미지를 이용하여, 상기 수신된 복수의 이미지에 포함된 오브젝트의 물리 정보를 나타내는 가이드 오브젝트를 생성하고, 상기 수신된 복수의 이미지 중 적어도 하나의 이미지와 상기 생성된 가이드 오브젝트를 함께 표시하도록 상기 디스플레이부를 제어하는 프로세서를 포함할 수 있다.
한편, 상기 목적을 달성하기 위한 본 개시의 일 실시 예에 따른 디스플레이 장치의 가이드 표시 방법은, 외부 장치로부터 복수의 이미지를 수신하는 단계, 상기 수신된 복수의 이미지에 포함된 오브젝트의 물리 정보를 나타내는 가이드 오브젝트를 생성하는 단계 및 상기 수신된 복수의 이미지 중 적어도 하나의 이미지와 상기 생성된 가이드 오브젝트를 함께 표시하는 단계를 포함할 수 있다.
그리고, 상기 수신된 복수의 이미지 중 적어도 하나의 이미지에서 환부 영역을 검출하는 단계, 상기 검출된 환부 영역을 감싸는 그래픽 오브젝트를 생성하는 단계 및 상기 생성된 그래픽 오브젝트를 표시하는 단계를 더 포함할 수 있다.
또한, 이전에 수신된 이미지에서 검출된 이전 환부 영역에 대해 기생성된 그래픽 오브젝트를 현재 환부 영역을 감싸는 그래픽 오브젝트와 크기를 매칭하여 표시하는 단계를 더 포함할 수 있다.
그리고, 상기 크기를 매칭하여 표시하는 단계는, 상기 수신된 이미지로부터 특징점을 추출하는 단계 및 상기 추출된 특징점을 기준으로 상기 현재 환부 영역을 감싸는 그래픽 오브젝트 및 상기 기생성된 그래픽 오브젝트의 크기를 매칭하는 단계를 포함할 수 있다.
또한, 상기 가이드 오브젝트를 생성하는 단계는, 상기 수신된 이미지에 포함된 오브젝트를 선택받는 단계 및 상기 선택된 오브젝트의 크기 정보를 표시하는 가이드 오브젝트를 생성하는 단계를 포함할 수 있다.
이상과 같은 본 개시의 다양한 실시 예에 따르면, 촬상된 이미지를 이용하여 물리 정보를 생성하고, 생성된 물리 정보를 촬상된 이미지와 함께 제공할 수 있다. 별도의 물리 정보를 측정하기 위한 활동 없이도 물리 정보를 알 수 있다는 점에서, 이미지에 포함된 오브젝트의 정확한 크기가 제공되어야 하는 분야에서 사용자 경험이 향상될 수 있다.
도 1은 본 개시의 일 실시 예에 따른 원격 이미지 전송 시스템을 설명하기 위한 개념도,
도 2는 본 개시의 일 실시 예에 따른 촬상 장치의 구성을 설명하기 위한 블럭도,
도 3은 본 개시의 일 실시 예에 따른 촬상 장치의 복수의 촬상 소자로부터 얻을 수 있는 정보를 설명하기 위한 도면,
도 4는 본 개시의 일 실시 예에 따른 일반 이미지와 특정 파장으로 촬상한 이미지를 도시한 도면,
도 5는 본 개시의 일 실시 예에 따른 촬상 장치에서의 촬상 타이밍을 설명하기 위한 도면,
도 6은 본 개시의 일 실시 예에 따른 디스플레이 장치의 구성을 설명하기 위한 개략적인 블럭도,
도 7은 본 개시의 일 실시 예에 따른 디스플레이 장치의 구성을 상세히 설명하기 위한 블럭도,
도 8 내지 도 10은 본 개시의 일 실시 예에 따른 가이드 오브젝트를 설명하기 위한 도면,
도 11은 본 개시의 일 실시 예에 따른 환부 영역을 감싸는 그래픽 오브젝트를 도시한 도면,
도 12는 본 개시의 일 실시 예에 따른 환부 영역에 대한 필터 처리 결과를 도시한 도면,
도 13은 본 개시의 일 실시 예에 따른 환부 영역의 크기 정보가 표시된 도면,
도 14는 본 개시의 일 실시 예에 따른 환부의 추이 결과를 비교할 수 있는 그래픽 오브젝트들을 도시한 도면,
도 15a 내지 도 15b는 본 개시의 일 실시 예에 따른 특징점 검출 방법을 설명하기 위한 도면,
도 16은 본 개시의 일 실시 예에 따른 환부 예상 이미지를 생성하는 것을 설명하기 위한 도면,
도 17 및 도 18은 본 개시의 일 실시 예에 따른 가이드 오브젝트를 설명하기 위한 도면,
도 19a 내지 도 19c는 본 개시의 일 실시 예에 따른 3차원 모델 생성 및 조작을 설명하기 위한 도면,
도 20a 내지 도 20b는 본 개시의 다른 실시 예에 따른 라이브뷰 이미지와 수신된 이미지의 크기 매칭 방법을 설명하기 위한 도면,
도 21은 본 개시의 일 실시 예에 따른 디스플레이 장치의 가이드 표시 방법을 설명하기 위한 흐름도, 그리고,
도 22는 본 개시의 일 실시 예에 따른 원격 이미지 전송 시스템의 동작을 설명하기 위한 시퀀스도이다.
이하에서는 본 개시의 바람직한 실시 예가 첨부된 도면을 참조하여 상세히 설명한다. 본 개시를 설명함에 있어서, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 개시의 요지를 불필요하게 흐릴 수 있다고 판단된 경우 그 상세한 설명은 생략한다. 그리고 후술되는 용어들은 본 개시에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되지는 않는다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 항목들의 조합 또는 복수의 관련된 항목들 중의 어느 하나의 항목을 포함한다.
본 명세서에서 사용한 용어는 실시예를 설명하기 위해 사용된 것으로, 본 발명을 제한 및/또는 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, 포함하다 또는 가지다 등의 용어는 명세서상에 기재된 특징, 숫자, 동작, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 동작, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
도 1은 본 개시의 일 실시 예에 따른 원격 이미지 전송 시스템(1000)을 설명하기 위한 개념도이다. 도 1을 참조하면, 원격 이미지 전송 시스템(1000)은 촬상 장치(100) 및 디스플레이 장치(200)를 포함할 수 있다. 도 1에서는 촬상 장치(100)는 듀얼 카메라를 포함하는 스마트폰으로 도시되었으며, 디스플레이 장치(200)는 스마트 TV로 도시되었다. 하지만, 촬상 장치(100) 및 디스플레이 장치(200)의 구현 예가 이와 같이 한정되는 것은 아니다.
본 개시의 일 실시 예에 따른 원격 이미지 전송 시스템(1000)은 촬상된 이미지에 포함된 오브젝트의 크기를 알아야 할 필요가 있는 분야에서 이용될 수 있다. 도 1에 도시된 것과 같은 원격 진료 분야가 본 개시의 일 실시 예에 따른 원격 이미지 전송 시스템(1000)이 이용될 수 있는 분야의 대표적인 예이다. 원격 진료란 환자와 의료진이 영상을 통해 전송된 환자의 정보를 바탕으로 수행되는 비대면 진료를 의미한다. 도 1을 참조하면, 본 개시의 일 실시 예에 따른 원격 이미지 전송 시스템(1000)은 환자가 촬영한 환부의 영상에 크기를 알 수 있는 가이드 오브젝트를 함께 표시함으로써 의료진이 정확한 진료를 할 수 있도록 기능한다.
촬상 장치(100)는 복수의 촬상 소자를 이용하여 오브젝트를 촬상함으로써, 촬상된 이미지의 물리 정보를 촬상된 이미지와 함께 디스플레이 장치로 제공할 수 있다. 또는, 촬상 장치(100)는 촬상된 이미지의 물리 정보 자체를 제공하지 않고, 물리 정보를 알 수 있는 정보를 제공할 수도 있다. 예를 들어, 촬상 장치(100)는 촬상된 오브젝트의 크기에 대한 정보를 직접 제공하는 대신, 복수의 촬상 소자의 이격 거리 및 초점 거리 정보를 제공할 수도 있다.
촬상 장치(100)는 듀얼 카메라를 포함하는 스마트폰, 타블렛, 스마트 글라스 등의 웨어러블 장치, 디지털 카메라 등으로 구현될 수 있다. 촬상 장치(100)는 촬상된 이미지를 동영상 또는 스틸 이미지의 형태로 제공할 수 있다. 또한, 촬상 장치(100)는 촬상된 동영상을 라이브뷰 형태로 실시간으로 제공할 수도 있다.
디스플레이 장치(200)는 스마트 TV, 모니터, 스마트폰, 타블렛 등으로 구현될 수 있다. 디스플레이 장치(200)는 촬상 장치(100)로부터 촬상된 복수의 이미지와 물리 정보를 알 수 있는 정보를 수신할 수 있다. 그리고, 디스플레이 장치(200)는 촬상된 오브젝트의 물리 정보를 나타내는 가이드 오브젝트를 생성할 수 있다. 예를 들어, 디스플레이 장치(200)는 촬상 장치(100)의 복수의 촬상 소자 사이의 이격 거리 및 각 촬상 소자의 초점 거리를 이용하여 수신된 이미지에 포함된 오브젝트의 크기 정보를 생성할 수 있다. 그리고, 디스플레이 장치(200)는 수신된 이미지와 생성된 가이드 오브젝트를 함께 표시할 수 있다. 도 1을 참조하면, 디스플레이 장치(200)는 수신된 환자의 팔의 이미지 및 환부의 크기를 알 수 있는 룰러 형태의 가이드 오브젝트를 함께 표시한다.
상술한 바와 같은 본 개시의 일 실시 예에 따른 원격 이미지 전송 시스템(1000)에 따르면, 촬상된 이미지와 촬상 장치의 하드웨어 정보를 이용하여 별도의 물리 정보 측정 없이도, 이미지에 포함된 오브젝트의 물리 정보가 직관적으로 제공될 수 있다.
이하에서는 원격 이미지 전송 시스템(1000)을 구성하는 촬상 장치(100) 및 디스플레이 장치(200)의 구성 및 동작을 도면을 참조하여 더욱 상세히 설명하기로 한다.
도 2는 본 개시의 일 실시 예에 따른 촬상 장치(100)의 구성을 설명하기 위한 블럭도이다. 도 2를 참조하면, 촬상 장치(100)는 촬상부(110), 통신부(120) 및 프로세서(130)를 포함할 수 있다. 촬상 장치(100)는 도 2에 도시되지 않은 메모리(미도시), 디스플레이부(미도시), 입력부(미도시) 등을 더 포함할 수 있으며, 도 2에 도시된 구성요소만을 갖는 것으로 한정되지 않는다.
촬상부(110)는 오브젝트를 촬상하여 이미지를 생성할 수 있다. 그리고, 촬상부(110)는 서로 이격된 복수의 촬상 소자를 포함할 수 있다. 예를 들어, 촬상부(110)는 도 3과 같이 2개의 촬상 소자(110-1, 110-2)를 포함하는 듀얼 카메라의 형태로 구현될 수 있다. 그리고, 촬상부(110)는 듀얼 카메라를 구성하는 2개의 촬상 소자를 이용하여 스테레오 이미지를 촬영할 수 있다.
통신부(120)는 유선 또는 무선으로 디스플레이 장치(200)와 통신할 수 있다. 예를 들어, 통신부(120)는 촬상된 복수의 이미지를 디스플레이 장치(200)로 송신할 수 있다. 또한, 통신부(120)는 촬상 소자의 스펙 정보, 촬상 장치(100)의 모델명 등을 촬상된 이미지와 함께 전송할 수 있다. 도 3을 예로 들면, 통신부(120)는 복수의 촬상 소자(110-1, 110-2) 간의 이격 거리(d), 촬상 소자의 초점 거리(f) 등을 전송할 수 있다.
예를 들어, 통신부(120)는 무선 통신 방식으로 NFC(Near Field Communication), 무선 LAN(Wireless LAN), IR(InfraRed) 통신, Zigbee 통신, WiFi, 블루투스(Bluetooth) 등 다양한 방식을 이용할 수 있다. 그리고, 통신부(120)는 유선 통신 방식으로 HDMI(High Definition Multimedia Interface), LVDS(Low Voltage Differential Signaling), LAN(Local Area Network), USB(Universal Serial Bus) 등 다양한 방식을 이용할 수 있다.
프로세서(130)는 촬상 장치(100)의 전반적인 동작을 제어한다. 예를 들어, 프로세서(130)는 복수의 촬상 소자 사이의 이격 거리 및 촬상 소자 각각의 초점 거리에 대한 정보를, 촬상된 복수의 이미지와 함께 전송하도록 통신부(120)를 제어할 수 있다.
다른 예에서, 프로세서(130)는 복수의 촬상 소자 사이의 이격 거리 및 촬상 소자 각각의 초점 거리에 대한 정보를 이용하여 촬상된 오브젝트의 크기 정보를 나타내는 가이드 오브젝트를 생성할 수 있다. 그리고, 프로세서(130)는 생성된 가이드 오브젝트를 촬상된 복수의 이미지와 함께 전송하도록 통신부(120)를 제어할 수 있다.
본 개시의 일 실시 예에 따른 촬상 장치(100)는 일반적인 이미지를 촬상하는 것뿐만 아니라 특수 파장을 이용하여 이미지를 촬상할 수도 있다. 예를 들어, 촬상 장치(100)는 기설정된 파장의 광을 조사하는 광원부(미도시)를 더 포함할 수 있다. 그리고, 촬상부(100)에 포함된 복수의 촬상 소자 중 적어도 하나는 광원부(미도시)에서 조사한 기설정된 파장의 광에 의한 반사광을 수광할 수 있다. 예를 들어, 광원부(미도시)는 적외선 파장의 광을 조사할 수 있으며, 복수의 촬상 소자 중 적어도 하나는 적외선 이미지 센서 또는 적외선 카메라일 수 있다.
도 4는 본 개시의 일 실시 예에 따른 일반 이미지(410)와 특정 파장으로 촬상한 이미지(420)를 도시한 도면이다. 도 4와 같이 원격 이미지 전송 시스템(1000)을 이용하여 피부 질환을 원격 진단하는 실시 예에 있어서, 일반 이미지(410)를 바탕으로는 곰팡이에 의한 백선 질환과 일반 피부염 질환이 쉽게 구분되지 않는다. 일반 피부염을 치료하는 외용 스테로이드를 처방할 경우, 곰팡이에 의한 백선 질환은 오히려 악화된다. 이러한 점을 방지하기 위하여 특정 파장으로 촬상된 이미지가 이용될 수 있다. 특정 파장에 곰팡이 균이 반사되는 특성을 이용하여, 촬상 장치(100)는 기설정된 파장의 광을 피부에 조사하여 반사된 광을 수광하여 특수 촬상 이미지(420)를 생성할 수 있다. 도 4를 참조하면, 특수 촬상 이미지(420) 상에서 곰팡이에 의한 백선 질환 영역(430)이 촬상될 수 있다. 그리고, 프로세서(130)는 촬상된 일반 이미지(410) 및 특수 촬상 이미지(420)를 함께 디스플레이 장치(200)로 전송하도록 통신부(120)를 제어할 수 있다.
촬상 장치(100)는 특정 질환의 진단을 위해 어느 파장의 광을 조사해야 하는지에 대한 정보를 저장하고 있을 수 있다. 또는, 디스플레이 장치(200)로부터 특정 파장의 광을 조사하여 특수 이미지를 촬상하라는 제어 명령을 수신할 수도 있다.
본 개시의 다른 실시 예에 따르면, 복수의 촬상 소자 중 적어도 하나가 적외선 카메라인 촬상 장치(100)는 적외선 이미지를 촬상하여 정맥의 패턴이나 홍채 인식 성능 개선에 이용할 수 있다.
본 개시의 일 실시 예에 따르면, 프로세서(130)는 복수의 촬상 소자 각각이 동일한 시점에 촬상하도록 촬상부(110)를 제어할 수 있다. 다른 예로, 프로세서(130)는 복수의 촬상 소자가 교번적으로 상이한 시점에 촬상하도록 촬상부(110)를 제어할 수 있다.
도 5는 본 개시의 일 실시 예에 따른 촬상 장치(100)에서의 촬상 시점(프레임 캡처 시점)을 도시한 도면이다. 도 5에서는 촬상부(110)가 2개의 카메라로 구성되어 촬상을 하는 것으로 가정하여 도시하였다.
우선, 도 5 상단의 동기(sync) 모드에서, 프로세서(130)는 카메라 1과 카메라 2의 촬상 시점이 동일하도록 촬상부(110)를 제어할 수 있다. 예를 들어, 촬상부(110)의 카메라 1 및 카메라 2가 1초에 30프레임을 촬상할 수 있는 경우, 프로세서(130)는 카메라 1 및 카메라 2가 각각 1초 동안 30개의 프레임을 동일한 시점에 촬상하도록 제어할 수 있다.
촬영 대상 오브젝트의 움직임을 미세하게 관찰할 필요성이 있는 경우, 프로세서(130)는 카메라 1과 카메라 2의 촬상 시점이 어긋나도록 제어할 수 있다. 도 5의 하단의 비동기(async) 모드에서, 카메라 1과 카메라 2의 촬상 시점은 교번적으로 도래한다. 따라서, 1초에 30프레임을 촬상할 수 있는 촬상부(110)의 촬상 시점을 제어하여, 프로세서(130)는 1초에 60프레임이 촬상된 이미지를 생성할 수 있다.
본 개시의 일 실시 예에 따르면, 프로세서(130)는 촬상 시작 초기의 기설정된 시간 동안 동기 모드로 촬상하도록 촬상부(110)를 제어할 수 있다. 그리고, 프로세서(130)는 동기 모드 촬상 이후의 기설정된 시간 동안 비동기 모드로 촬상하도록 촬상부(110)를 제어할 수 있다. 동기 모드 촬상으로부터 오브젝트의 크기/거리 등의 물리 정보가 제공될 수 있다. 그리고, 비동기 모드 촬상으로부터 오브젝트의 미세한 움직임에 대한 정보가 제공될 수 있다.
도 6은 본 개시의 일 실시 예에 따른 디스플레이 장치(200)의 구성을 설명하기 위한 개략적인 블럭도이다. 도 6을 참조하면, 디스플레이 장치(200)는 통신부(210), 디스플레이부(220) 및 프로세서(230)를 포함할 수 있다.
통신부(210)는 유선 또는 무선으로 촬상 장치(100)와 통신할 수 있다. 예를 들어, 통신부(210)는 촬상 장치(100)로부터 촬상된 복수의 이미지를 수신할 수 있다. 또한, 통신부(210)는 촬상 소자의 스펙 정보(예를 들어, 촬상 소자 사이의 이격 거리, 촬상 소자의 초점 거리), 촬상 장치(100)의 모델명 등을 촬상된 이미지와 함께 수신할 수 있다. 통신부(210)는 외부 서버(미도시)에 수신된 촬상 장치(100)의 모델명을 송신하고, 외부 서버로부터 모델명에 대응되는 스펙 정보를 수신할 수도 있다.
디스플레이부(220)는 이미지, 오브젝트 등을 표시할 수 있다. 예를 들어, 디스플레이부(220)는 수신된 복수의 이미지 중 적어도 하나를 표시할 수 있다. 그리고, 디스플레이부(220)는 생성된 가이드 오브젝트, 그래픽 오브젝트 등을 수신된 이미지와 함께 표시할 수 있다. 또한, 디스플레이부(220)는 특정 형태의 가이드 오브젝트를 생성하도록 제어할 수 있는 버튼을 GUI의 형태로 표시할 수도 있다.
프로세서(230)는 수신된 복수의 이미지를 이용하여, 촬상된 오브젝트의 물리 정보를 나타내는 가이드 오브젝트를 생성할 수 있다. 프로세서(230)는 촬상 장치(100)의 스펙 정보를 이용하여 촬상된 오브젝트의 크기와 같은 물리 정보를 생성할 수도 있다. 그리고, 프로세서(230)는 생성된 가이드 오브젝트를 수신된 복수의 이미지 중 적어도 하나와 함께 표시하도록 디스플레이부(220)를 제어할 수 있다.
프로세서(230)는 물리 정보 생성과 더불어 예상 오차 범위를 함께 생성할 수 있다. 예를 들어, 촬상 환경, 촬상 조건 및 촬상 장치(100)의 스펙 정보로부터 얻어지는 물리적인 한계(예를 들어, 초점 거리에 따른 최근접 거리, 최대 계산 가능한 크기의 최소값)에 의하여 오차가 발생될 수 있다. 프로세서(230)는 예상 오차 범위 정보를 함께 사용자에 제공함으로써 정밀한 진단이 도움을 줄 수 있다.
프로세서(230)는 수신된 복수의 이미지 중 적어도 하나의 이미지에서 환부 영역과 같은 배경 영역과 구분 가능한 영역을 검출할 수 있다. 또한, 프로세서(230)는 검출된 영역을 감싸는 그래픽 오브젝트를 생성할 수 있다. 그리고, 프로세서(230)는 생성된 그래픽 오브젝트를 수신된 복수의 이미지 중 적어도 하나의 이미지와 함께 표시하도록 디스플레이부(220)를 제어할 수 있다.
도 7은 본 개시의 일 실시 예에 따른 디스플레이 장치(200)의 구성을 상세히 설명하기 위한 블럭도이다. 도 7을 참조하면, 디스플레이 장치(200)는 통신부(210), 디스플레이부(220) 및 프로세서(230) 이외에도, 메모리(240), 입력부(250), 촬상부(260)를 더 포함할 수 있다. 하지만, 본 개시의 일 실시 예에 따른 디스플레이 장치(200)는 도 7에 도시된 구성요소를 반드시 포함하거나, 그 밖의 구성요소를 포함할 수 없는 것으로 한정되지 않는다. 예를 들어, 디스플레이 장치(200)는 촬상부(260)를 포함하지 않을 수 있다. 그리고, 디스플레이 장치(200)는 오디오 출력부(미도시) 등을 더 포함할 수 있다.
통신부(210)는 외부 장치와 통신할 수 있다. 예를 들어, 통신부(210)는 촬상 장치(100)와 통신하여 촬상된 이미지를 수신할 수 있다. 그리고, 통신부(210)는 촬상 장치(100)의 스펙 정보 및 모델명 중 적어도 하나를 수신할 수 있다.
통신부(210)는 무선 통신 방식으로 NFC(Near Field Communication), 무선 LAN(Wireless LAN), IR(InfraRed) 통신, Zigbee 통신, WiFi, 블루투스(Bluetooth) 등 다양한 방식을 이용할 수 있다. 그리고, 통신부(210)는 유선 통신 방식으로 HDMI(High Definition Multimedia Interface), LVDS(Low Voltage Differential Signaling), LAN(Local Area Network), USB(Universal Serial Bus) 등 다양한 방식을 이용할 수 있다.
또한, 통신부(210)는 의료 영상 정보 시스템(PACS)를 통해 연결된 병원 서버나 병원 내의 다른 의료 장치와 데이터를 송수신할 수도 있다. 또한, 통신부(210)는 의료용 디지털 영상 및 통신(DICOM, Digital Imaging and Communications in Medicine) 표준에 따라 데이터 통신을 할 수도 있다.
디스플레이부(220)는 수신된 이미지, 생성된 가이드 오브젝트, 사용자 명령 입력을 위한 GUI 등을 표시할 수 있다.
디스플레이부(220)의 구현 방식은 한정되지 않으며, 예컨대, LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diodes), AM-OLED(Active-Matrix Organic Light-Emitting Diode), PDP(Plasma Display Panel) 등과 같은 다양한 형태의 디스플레이로 구현될 수 있다. 디스플레이부(220)는 그 구현 방식에 따라서 부가적인 구성을 추가적으로 포함할 수 있다. 예를 들면, 디스플레이부(220)가 액정 방식인 경우, 디스플레이부(220)는 LCD 디스플레이 패널(미도시)과, 이에 광을 공급하는 백라이트 유닛(미도시)과, 패널(미도시)을 구동시키는 패널 구동기판(미도시)을 포함할 수 있다.
디스플레이부(220)는 터치패드와 함께 상호 레이어 구조를 이루는 터치 스크린의 형태로도 구현될 수 있으며, 터치 스크린은 터치 입력 위치, 면적, 터치 입력의 압력 등을 통해 사용자 명령을 입력받을 수 있다. 이러한 경우에, 디스플레이부(220)는 입력부(250)의 기능을 아울러 수행할 수 있다.
디스플레이부(220)는 벤디드 디스플레이의 형태로 디스플레이 장치(200)의 전면 영역 및, 측면 영역 또는 후면 영역 중 적어도 하나에 결합 될 수도 있다. 벤디드 디스플레이는 플렉서블 디스플레이(flexible display)로 구현될 수도 있으며, 플렉서블 하지 않는 일반 디스플레이로 구현될 수도 있다. 예를 들어, 벤디드 디스플레이는 복수의 평면의 디스플레이를 서로 연결하여 구현될 수 있다.
메모리(240)는 디스플레이 장치(200)의 동작에 필요한 각종 프로그램 및 데이터를 저장할 수 있다. 메모리(240)는 플래시 메모리, 하드디스크 등의 형태로 구현 가능하다. 예를 들어, 메모리(240)는 디스플레이 장치(200)의 동작 수행을 위한 프로그램을 저장하기 위한 ROM, 디스플레이 장치(200)의 동작 수행에 따른 데이터를 일시적으로 저장하기 위한 RAM 등을 구비할 수 있다. 또한, 각종 참조 데이터를 저장하기 위한 EEPROM(Electrically Erasable and Programmable ROM) 등을 더 구비할 수 있다.
메모리(240)에는 디스플레이부(220)에 표시될 각종 화면을 구성하기 위한 프로그램 및 데이터가 저장될 수 있다. 또한, 메모리(240)에는 특정 서비스를 수행하기 위한 프로그램 및 데이터가 저장될 수 있다. 예를 들어, 메모리(240)에는 촬상 장치(100)의 모델명에 대응한 스펙 정보가 저장될 수 있다. 또한, 메모리(240)에는 특정 질환을 진단하기 위해 조사해야 하는 광의 파장 정보가 저장될 수 있다. 그리고, 메모리(240)에는 기생성된 그래픽 오브젝트가 생성 시점 정보와 함께 저장될 수 있다.
입력부(250)는 사용자로부터 디스플레이 장치(200)의 동작을 제어하기 위한 요청, 명령 또는 기타 데이터를 입력받을 수 있다. 예를 들어, 입력부(250)는 표시된 이미지에 포함된 복수의 오브젝트 중 하나를 선택하는 사용자 명령을 수신할 수 있다. 입력부(250)는 키 패드, 마우스, 터치 패널, 터치 스크린, 트랙 볼, 조그 스위치 등으로 구현될 수 있다.
촬상부(260)는 서로 이격된 복수의 촬상 소자를 포함할 수 있다. 그리고, 촬상부(260)는 복수의 촬상 소자 각각에서 촬상된 복수의 이미지를 생성할 수 있다. 본 개시의 일 실시 예에 따른 디스플레이 장치(200)는 촬상부(260)에서 자체적으로 생성한 이미지와 촬상 장치(100)로부터 수신한 이미지를 결합하여 증강현실(AR, Augmented Reality)을 구현할 수도 있다.
프로세서(230)는 디스플레이 장치(200)의 전반적인 구성을 제어할 수 있다. 프로세서(230)는 수신된 복수의 이미지를 이용하여, 촬상된 오브젝트의 물리 정보를 나타내는 가이드 오브젝트를 생성할 수 있다. 프로세서(230)는 촬상 장치(100)의 스펙 정보를 이용하여 촬상된 오브젝트의 크기와 같은 물리 정보를 생성할 수도 있다. 그리고, 프로세서(230)는 생성된 가이드 오브젝트를 수신된 복수의 이미지 중 적어도 하나와 함께 표시하도록 디스플레이부(220)를 제어할 수 있다.
본 개시의 일 실시 예에 따르면, 프로세서(230)는 가이드 오브젝트를 룰러, 그리드, 화살표 중 적어도 하나의 형태로 생성할 수 있다. 도 8 내지 도 10은 본 개시의 다양한 실시 예에 따른 가이드 오브젝트가 수신된 이미지와 함께 표시된 화면을 도시한 도면이다.
도 8을 참조하면, 프로세서(230)는 촬상된 환부의 크기 정보를 나타내는 가이드 오브젝트를 생성할 수 있다. 도 8에서는 프로세서(230)는 길이 정보를 제공하는 룰러(ruler) 형태의 가이드 오브젝트를 생성할 수 있다. 그리고, 프로세서(230)는 수신된 이미지와 함께 이미지 외곽에 제1 룰러 가이드 오브젝트를 표시하도록 디스플레이부(220)를 제어할 수 있다. 또한, 프로세서(230)는 환부 영역을 검출하고, 검출된 환부 영역 주변에 크기 정보를 판단할 수 있는 제2 룰러 가이드 오브젝트를 표시하도록 디스플레이부(220)를 제어할 수 있다. 도 8에 환부 영역의 직경을 나타내는 화살표 가이드 오브젝트가 표시된 것과 같이, 가이드 오브젝트는 하나의 형태로만 제공되는 것은 아니다.
도 9를 참조하면, 프로세서(230)는 촬상된 이미지의 크기 정보는 나타내는 그리드(grid) 형태의 가이드 오브젝트를 생성할 수 있다. 프로세서(230)는 수신된 이미지와 생성된 그리드 형태의 가이드 오브젝트를 함께 표시하도록 디스플레이부(220)를 제어할 수 있다. 그리고, 프로세서(230)는 각 그리드의 한 변의 길이에 대한 정보를 함께 제공할 수 있다.
도 10을 참조하면, 프로세서(230)는 수신된 이미지의 특정 포인트들 사이의 거리 정보를 제공할 수 있는 화살표 형태의 가이드 오브젝트를 생성할 수 있다. 화살표 형태의 가이드 오브젝트에는 화살표의 길이를 나타내는 텍스트가 포함될 수 있다. 예를 들어, 표시된 이미지의 특정 포인트들을 선택하는 사용자 명령을 수신하면, 프로세서(230)는 선택된 포인트들을 연결하는 화살표 형태의 가이드 오브젝트를 생성하고, 대응되는 물리 정보를 제공할 수 있다. 다른 예로, 특정 포인트를 선택하는 사용자 명령 없이도, 프로세서(230)는 검출 가능한 영역의 직경에 해당하는 화살표 형태의 가이드 오브젝트를 생성할 수 있다.
본 개시의 일 실시 예에 따르면, 프로세서(230)는 수신된 복수의 이미지 중 적어도 하나의 이미지에서 환부 영역과 같은 배경 영역과 구분 가능한 영역을 검출할 수 있다. 또한, 프로세서(230)는 검출된 영역을 감싸는 그래픽 오브젝트를 생성할 수 있다. 그리고, 프로세서(230)는 생성된 그래픽 오브젝트를 수신된 복수의 이미지 중 적어도 하나의 이미지와 함께 표시하도록 디스플레이부(220)를 제어할 수 있다. 도 11에 도시된 바와 같이, 프로세서(230)는 수신된 이미지에서 환부 영역을 검출하고, 환부 영역을 감싸는 폐곡선 형태의 그래픽 오브젝트를 생성할 수 있다. 검출된 영역을 감싸는 그래픽 오브젝트는 폐곡선 형태뿐만 아니라 원, 사각형 등의 다양한 형태로 구현될 수 있다.
본 개시의 일 실시 예에 따르면, 프로세서(230)는 검출된 영역(예를 들어, 환부 영역)의 이미지 특성을 변경하는 필터 처리를 수행할 수 있다. 육안으로 검출된 영역이 배경 영역과 잘 구분되지 않는 경우에, 검출된 영역을 강조하는 시각적 처리가 필요하다. 도 12에 도시된 바와 같이, 프로세서(230)는 검출된 환부 영역을 강조하기 위한 콘트라스트 변경 등의 필터 처리를 수행할 수 있다.
도 13에 도시된 바와 같이, 프로세서(230)는 검출된 환부 영역을 감싸는 그래픽 오브젝트를 생성할 수 있다. 그리고, 프로세서(230)는 시간의 경과에 따라 변화하는 추이를 확인하기 위하여, 생성된 그래픽 오브젝트를 시간 정보와 함께 메모리(240)에 저장할 수 있다.
그리고, 프로세서(230)는 현재의 환부 영역을 감싸는 그래픽 오브젝트를 이전에 수신된 이미지에서 검출된 이전의 환부 영역에 대해 기생성되어 저장된 그래픽 오브젝트와 함께 표시하도록 디스플레이부(220)를 제어할 수 있다.
도 14는 본 개시의 일 실시 예에 따른 환부의 추이 결과를 비교할 수 있는 그래픽 오브젝트들을 도시한 도면이다. 도 14를 참조하면, 프로세서(230)는 2015년 10월 14일 현재 수신된 이미지와 검출된 환부 영역을 감싸는 그래픽 오브젝트(1430)를 함께 표시하도록 디스플레이부(220)를 제어할 수 있다. 그리고, 프로세서(230)는 2015년 10월 1일과 2015년 10월 7일 검출된 환부 영역에 대해 생성되어 저장된 그래픽 오브젝트들(1410, 1420)을 함께 표시하도록 디스플레이부(220)를 제어할 수 있다.
또한, 프로세서(230)는 복수의 그래픽 오브젝트(1410, 1420, 1430) 사이의 거리 정보를 제공하는 가이드 오브젝트를 생성하여 함께 제공할 수 있다. 도 14의 예에서, 10월 1일 생성된 그래픽 오브젝트(1410)과 10월 7일 생성된 그래픽 오브젝트(1420)의 간격은 0.5 cm이며, 10월 7일 생성된 그래픽 오브젝트(1420)와 2015년 10월 14일 생성된 그래픽 오브젝트(1430)의 간격은 0.7 cm이다.
이와 같은 변화 추이를 정확히 제공하기 위해서는 과거에 생성된 그래픽 오브젝트의 위치와 현재 생성된 그래픽 오브젝트의 위치가 매칭되어야 한다. 본 개시의 일 실시 예에 따르면, 프로세서(230)는 수신된 이미지로부터 특징점을 추출할 수 있다. 예를 들어, 특징점은 코 끝, 입 끝, 주름의 위치, 점의 패턴 등일 수 있다. 촬상 장치(100)에서 촬상이 이루어질 때마다 촬상 대상 오브젝트와의 거리가 달라질 수 있기 때문에, 본 개시의 일 실시 예에 따른 디스플레이 장치(200)는 수신된 이미지 중 특징점을 추출하고, 추출된 특징점을 촬상 시점이 다른 이미지들이 동일한 크기가 되게끔 매칭하는 기준점으로 이용할 수 있다.
도 15a 내지 도 15b는 본 개시의 일 실시 예에 따른 특징점 검출 방법을 설명하기 위한 도면이다. 도 15a 및 도 15b를 참조하면, 프로세서(230)는 콧날(1520), 코 끝(1530), 점(1540), 입 끝(1550)을 특징점으로 검출할 수 있다. 그리고, 검출된 특징점들(1520, 1530, 1540, 1550)을 이용하여, 프로세서(230)는 도 15a에서 염증이 존재하였던 영역(1510-1)에 대한 도 15b에서의 위치(1510-2)를 판단할 수 있다.
본 개시의 일 실시 예에 따르면, 프로세서(230)는 검출된 환부 영역의 변화 추이로부터 향후 환부의 예상 이미지를 생성할 수 있다. 도 16을 참조하면, 프로세서(230)는 현재 수신된 이미지의 환부 영역(1610)의 크기를 기저장된 과거의 환부 영역을 감싸는 그래픽 오브젝트의 크기와 비교하여 변화 추이를 계산할 수 있다. 그리고, 프로세서(230)는 계산된 변화 추이를 이용하여 향후 환부의 예상 이미지(1620)를 생성할 수 있다.
상술한 바와 같이 피부 질환과 같은 평면상의 이미지로 진단 가능한 경우에만 크기 정보와 같은 물리 정보를 함께 제공하는 가이드 오브젝트가 필요한 것은 아니다. 예를 들어, 눈, 손목, 발목, 종아리에 발생하는 붓기, 손가락, 코 등에 발생할 수 있는 골절로 인한 휘어짐, 자상에 의한 환부와 같이 3차원 정보가 필요한 진단의 경우에도, 본 개시의 일 실시 예에 따른 원격 이미지 전송 시스템(1000)이 이용될 수 있다.
본 개시의 일 실시 예에 따른 프로세서(230) 양 발목의 붓기 차이를 확인하도록 도 17에 도시된 바와 같이 그리드 형태의 가이드 오브젝트가 함께 표시되도록 디스플레이부(220)를 제어할 수 있다.
다른 예로, 입력부(250)에 오브젝트를 선택하는 사용자 명령이 수신되면, 프로세서(230)는 선택된 오브젝트의 크기 정보를 표시하는 가이드 오브젝트를 생성할 수 있다. 도 18을 참조하면, 이미지에 포함된 양 발목 오브젝트의 일 지점을 선택하는 사용자 명령에 대응하여, 프로세서(230)는 선택된 지점의 가로 방향에 해당하는 거리 정보를 제공하는 가이드 오브젝트를 생성할 수 있다. 이러한 경우, 프로세서(230)는 3차원 정보를 이용하여 거리 정보를 생성할 수 있다. 3차원 정보를 이용하여 거리 정보를 생성하기 때문에, 프로세서(230)는 회전이나 병진이 있는 경우에도 강인하게(robust) 좌표계가 유지되어 정확한 거리 정보를 생성할 수 있다.
도 19a 내지 도 19c는 본 개시의 일 실시 예에 따른 3차원 모델 생성 및 조작을 설명하기 위한 도면이다. 수신된 복수의 이미지를 이용하여, 프로세서(230)는 복수의 이미지에 포함된 오브젝트의 3차원 모델을 생성할 수 있다. 본 개시의 일 실시 예에 따른 촬상 장치(100)는 서로 이격된 복수의 촬상 소자를 이용하여 촬상 대상 오브젝트를 촬상하기 때문에 3차원 모델을 생성하는데 필요한 뎁스 정보 등을 획득할 수 있다. 도 19a와 같이 손을 촬상한 복수의 이미지를 이용하여, 프로세서(230)는 도 19b와 같은 3차원 모델을 생성할 수 있다. 그리고, 프로세서(230)는 3차원 모델에도 크기 정보를 나타내는 가이드 오브젝트를 함께 표시하도록 디스플레이부(220)를 제어할 수 있다. 또한, 프로세서(230)는 도 19c와 같이 생성된 3차원 모델을 회전시키는 등의 조작을 할 수 있다. 이를 통해, 사용자는 정확한 오브젝트의 형태 및 크기를 제공 받을 수 있다.
상술한 바와 같은 원격 이미지 전송 시스템(1000)에 따르면, 원격 진료 영역에서 별도의 측정 없이도 실제 대면 진료와 같이 환부의 크기 정보를 인지할 수 있다. 따라서, 환자에게 최소한의 동작만을 요구하면서도, 정확한 진단이 가능한 이점이 존재한다.
본 개시의 일 실시 예에 따른 원격 이미지 전송 시스템(1000)은 원격 진료 영역뿐 아니라 이미지에 대한 크기 정보가 함께 제공되어야 하는 영역이라면 어느 영역에도 응용될 수 있다. 예를 들어, 온라인 의류 판매 영역에 있어서, 정확한 옷의 치수를 의류 이미지만으로 파악하기 어렵다. 따라서, 본 개시의 일 실시 예에 따른 원격 이미지 전송 시스템(1000)을 이용하여, 의류 이미지와 함께 정확한 크기 정보가 제공될 수 있다.
도 20a 내지 도 20c는 본 개시의 일 실시 예에 따른 원격 이미지 전송 시스템(1000)을 이용하여 가구의 크기를 파악하는 경우를 도시한 도면이다.
도 20a 내지 도 20c의 실시 예에서, 디스플레이 장치(200)는 서로 이격된 복수의 촬상 소자를 포함하는 촬상부(260)를 포함해야 한다. 촬상부(260)에서 생성된 복수의 이미지를 이용하여, 프로세서(230)는 현재 촬영하고 있는 공간의 물리 정보를 추출할 수 있다. 그리고, 프로세서(230)는 촬상 장치(100)로부터 수신된 이미지로부터 촬상된 오브젝트의 물리 정보를 추출할 수 있다. 프로세서(230)는 추출된 물리 정보들을 이용하여 현재 촬영하고 있는 공간의 크기와 수신된 이미지의 크기를 동일하도록 매칭할 수 있다.
도 20a를 참조하면, 디스플레이 장치(200)는 촬상 장치(100)에서 촬상한 제1 가구(2020)에 대한 이미지(2010)를 수신할 수 있다. 프로세서(230)는 수신된 이미지(2010)에 크기 정보를 알 수 있는 그리드 형태의 가이드 오브젝트가 함께 표시되도록 할 수 있다.
그리고, 프로세서(230)는 촬상부(260)가 현재 촬영하고 있는 공간에 대한 라이브뷰 이미지(2030)를 표시하도록 디스플레이부(220)를 제어할 수 있다. 현재 촬영하고 있는 공간에 대한 이미지(2030)에는 제2 가구(2040)가 포함되어 있다. 프로세서(230)는 수신된 이미지(2010)에 표시된 그리드와 동일한 길이 단위의 그리드를 갖는 가이드 오브젝트(예를 들어, 그리드의 한 변의 길이는 10cm 단위)를 라이브뷰 이미지(2030)과 함께 표시하도록 디스플레이부(220)를 제어할 수 있다.
그리고, 프로세서(230)는 수신된 이미지(2010)을 현재 촬영하고 있는 라이브뷰 이미지(2030)와 함께 표시하도록 디스플레이부(220)를 제어할 수 있다. 도 20b를 참조하면, 라이브뷰 이미지(2030)와 수신된 이미지(2010)가 함께 표시된 것을 확인할 수 있다. 하지만, 라이브뷰 이미지(2030)와 수신된 이미지(2010)는 크기 비율이 일치되지 않음을 알 수 있다. 왜냐하면, 양 이미지(2010, 2030)에 표시된 그리드의 크기가 일치되지 않기 때문이다.
도 20c에 도시된 바와 같이, 수신된 이미지(2010)와 라이브뷰 이미지(2030)의 화면 상에서의 그리드 크기가 일치되도록, 프로세서(230)는 수신된 이미지(2010)를 확대 또는 축소할 수 있다.
이와 같이 본 개시의 일 실시 예에 따른 원격 이미지 전송 시스템(1000)을 이용하면, 사용자는 외부에서 수신된 이미지에 포함된 제1 오브젝트의 크기를 라이브뷰로 촬영하고 있는 제2 오브젝트의 크기와 직관적으로 비교할 수 있다.
도 21은 본 개시의 일 실시 예에 따른 디스플레이 장치(200)의 가이드 표시 방법을 설명하기 위한 흐름도이다. 디스플레이 장치(200)는 외부 장치로부터 복수의 이미지를 수신할 수 있다(S2110). 복수의 이미지는 서로 이격된 복수의 촬상 소자에서 동시에 각각 촬상된 이미지일 것을 요한다. 예를 들어, 복수의 이미지는 듀얼 카메라를 포함한 스마트폰에서 촬상된 이미지일 수 있다. 또한, 디스플레이 장치(200)는 복수의 촬상 소자 사이의 이격 거리 및 각 촬상 소자의 초점 거리와 같은 정보를 외부 장치로부터 수신할 수 있다.
그리고, 디스플레이 장치(200)는 복수의 촬상 소자 사이의 이격 거리 및 촬상 소자의 초점 거리로부터 촬상된 이미지의 물리 정보를 생성할 수 있다. 생성된 물리 정보를 이용하여, 디스플레이 장치(200)는 수신된 이미지에 포함된 오브젝트에 대한 물리 정보를 나타내는 가이드 오브젝트를 생성할 수 있다(S2120).
그리고, 디스플레이 장치(200)는 수신된 복수의 이미지 중 적어도 하나와 함께 생성된 가이드 오브젝트를 표시할 수 있다(S2130).
도 21에 도시된 가이드 표시 방법 이외에 다양한 실시 예에 따른 디스플레이 장치(200)의 가이드 표시 방법에 대한 설명은 상술한 원격 이미지 전송 시스템(1000)에서의 설명과 중복되는바 생략하기로 한다.
도 22는 본 개시의 일 실시 예에 따른 원격 이미지 전송 시스템(1000)의 동작을 설명하기 위한 시퀀스도이다. 도 22를 참조하면, 원격 이미지 전송 시스템(1000)은 촬상 장치(100) 및 디스플레이 장치(200)를 포함할 수 있다. 촬상 장치(100)는 서로 이격된 복수의 촬상 소자 각각에서 촬상된 복수의 이미지를 생성할 수 있다(S2210). 그리고, 촬상 장치(100)는 생성된 복수의 이미지 및 촬상 장치(100)의 스펙 정보를 디스플레이 장치(200)로 전송할 수 있다(S2220). 예를 들어, 스펙 정보는 복수의 촬상 소자 사이의 이격 거리, 촬상 소자의 초점 거리일 수 있다.
수신된 스펙 정보를 이용하여, 디스플레이 장치(200)는 촬상된 오브젝트에 대한 물리 정보를 생성할 수 있다(S2230). 예를 들어, 물리 정보는 오브젝트의 크기, 깊이 등에 관한 정보일 수 있다. 디스플레이 장치(200)는 생성된 물리 정보를 제공하는 가이드 오브젝트를 생성할 수 있다(S2240). 그리고, 디스플레이 장치(200)는 수신된 이미지를 생성된 가이드 오브젝트와 함께 표시할 수 있다(S2250).
본 개시의 다른 실시 예에 따르면, 촬상 장치(100)에서 가이드 오브젝트를 생성하고, 생성된 가이드 오브젝트와 촬상된 이미지를 함께 디스플레이 장치(200)로 전송할 수도 있다.
상기에서 설명된 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광 기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기의 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 개시는 비록 한정된 실시 예와 도면에 의해 설명되었으나, 본 개시는 상기의 실시 예에 한정되는 것은 아니며, 본 개시가 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 그러므로, 본 개시의 범위는 설명된 실시 예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
1000: 원격 이미지 전송 시스템 100: 촬상 장치
110: 촬상부 120: 통신부
130: 프로세서 200: 디스플레이 장치
210: 통신부 220: 디스플레이부
230: 프로세서 240: 메모리
250: 입력부 260: 촬상부

Claims (20)

  1. 디스플레이 장치;
    서로 이격된 복수의 촬상 소자 각각에서 촬상된 복수의 이미지를 상기 디스플레이 장치에 전송하는 촬상 장치;를 포함하고,
    상기 디스플레이 장치는,
    상기 수신된 복수의 이미지를 이용하여, 촬상된 오브젝트의 물리 정보를 나타내는 가이드 오브젝트를 생성하고, 상기 복수의 이미지 중 적어도 하나의 이미지와 상기 생성된 가이드 오브젝트를 함께 표시하는 원격 이미지 전송 시스템.
  2. 제1항에 있어서,
    상기 촬상 장치는,
    서로 이격된 복수의 촬상 소자 각각에서 촬상된 복수의 이미지를 생성하는 촬상부;
    상기 디스플레이 장치와 송수신하는 통신부; 및
    상기 복수의 촬상 소자 사이의 이격 거리 및 상기 복수의 촬상 소자의 초점 거리를 나타내는 정보를, 상기 촬상된 복수의 이미지와 함께 상기 디스플레이 장치로 전송하도록 상기 통신부를 제어하는 프로세서;를 포함하는 원격 이미지 전송 시스템.
  3. 제2항에 있어서,
    상기 촬상 장치는,
    적외선 파장의 광을 조사하는 광원부;를 더 포함하고,
    상기 복수의 촬상 소자 중 적어도 하나는 상기 광원부에서 조사된 적외선 파장의 광에 의한 반사광을 수광하는 원격 이미지 전송 시스템.
  4. 제2항에 있어서,
    상기 프로세서는,
    상기 복수의 촬상 소자 각각이 동일한 시점에 촬상하도록 상기 촬상부를 제어하는 원격 이미지 전송 시스템.
  5. 제2항에 있어서,
    상기 프로세서는,
    상기 복수의 촬상 소자가 교번적으로 상이한 시점에 촬상하도록 상기 촬상부를 제어하는 원격 이미지 전송 시스템.
  6. 제1항에 있어서,
    상기 디스플레이 장치는,
    상기 촬상 장치와 송수신하는 통신부;
    디스플레이부; 및
    상기 수신된 복수의 이미지를 이용하여, 촬상된 오브젝트의 물리 정보를 나타내는 가이드 오브젝트를 생성하고, 상기 수신된 복수의 이미지 중 적어도 하나의 이미지와 상기 생성된 가이드 오브젝트를 함께 표시하도록 상기 디스플레이부를 제어하는 프로세서;를 포함하는 원격 이미지 전송 시스템.
  7. 제6항에 있어서,
    상기 가이드 오브젝트는 룰러, 그리드, 화살표 중 적어도 하나의 형태로 생성되는 원격 이미지 전송 시스템.
  8. 제6항에 있어서,
    상기 프로세서는,
    상기 수신된 복수의 이미지 중 적어도 하나의 이미지에서 환부 영역을 검출하고, 상기 검출된 환부 영역을 감싸는 그래픽 오브젝트를 생성하는 원격 이미지 전송 시스템.
  9. 제8항에 있어서,
    상기 프로세서는,
    상기 검출된 환부 영역의 이미지 특성을 변경하는 필터 처리를 수행하는 원격 이미지 전송 시스템.
  10. 제8항에 있어서,
    상기 프로세서는,
    현재의 환부 영역을 감싸는 상기 그래픽 오브젝트 및 이전에 수신된 이미지에서 검출된 이전의 환부 영역에 대해 기생성된 그래픽 오브젝트를 함께 표시하도록 상기 디스플레이부를 제어하는 원격 이미지 전송 시스템.
  11. 제10항에 있어서,
    상기 프로세서는,
    상기 수신된 이미지로부터 특징점을 추출하고, 상기 추출된 특징점을 기준으로 상기 현재의 환부 영역을 감싸는 그래픽 오브젝트 및 상기 기생성된 그래픽 오브젝트의 크기를 매칭하는 원격 이미지 전송 시스템.
  12. 제6항에 있어서,
    상기 디스플레이 장치는,
    오브젝트를 선택받는 입력부;를 더 포함하고,
    상기 프로세서는,
    상기 선택된 오브젝트의 크기 정보를 표시하는 가이드 오브젝트를 생성하는 원격 이미지 전송 시스템.
  13. 제6항에 있어서,
    상기 프로세서는,
    상기 수신된 복수의 이미지를 이용하여, 상기 복수의 이미지에 포함된 오브젝트의 3차원 모델을 생성하는 원격 이미지 전송 시스템.
  14. 제6항에 있어서,
    상기 디스플레이 장치는,
    서로 이격된 복수의 촬상 소자 각각에서 촬상된 복수의 이미지를 생성하는 촬상부;를 더 포함하고,
    상기 수신된 복수의 이미지를 이용하여 상기 촬상 장치에서 촬상된 오브젝트의 물리 정보를 추출하고, 상기 촬상된 복수의 이미지를 이용하여 상기 촬상된 공간의 물리 정보를 추출하며,
    상기 수신된 복수의 이미지 중 적어도 하나의 이미지와 상기 디스플레이 장치에서 촬상된 복수의 이미지 중 적어도 하나의 이미지를 상기 추출된 각각의 물리 정보에 기초하여 함께 표시하는 원격 이미지 전송 시스템.
  15. 외부 장치와 송수신하는 통신부;
    디스플레이부; 및
    상기 외부 장치로부터 수신된 복수의 이미지를 이용하여, 상기 수신된 복수의 이미지에 포함된 오브젝트의 물리 정보를 나타내는 가이드 오브젝트를 생성하고, 상기 수신된 복수의 이미지 중 적어도 하나의 이미지와 상기 생성된 가이드 오브젝트를 함께 표시하도록 상기 디스플레이부를 제어하는 프로세서;를 포함하는 디스플레이 장치.
  16. 디스플레이 장치의 가이드 표시 방법에 있어서,
    외부 장치로부터 복수의 이미지를 수신하는 단계;
    상기 수신된 복수의 이미지에 포함된 오브젝트의 물리 정보를 나타내는 가이드 오브젝트를 생성하는 단계; 및
    상기 수신된 복수의 이미지 중 적어도 하나의 이미지와 상기 생성된 가이드 오브젝트를 함께 표시하는 단계;를 포함하는 가이드 표시 방법.
  17. 제16항에 있어서,
    상기 수신된 복수의 이미지 중 적어도 하나의 이미지에서 환부 영역을 검출하는 단계;
    상기 검출된 환부 영역을 감싸는 그래픽 오브젝트를 생성하는 단계; 및
    상기 생성된 그래픽 오브젝트를 표시하는 단계;를 더 포함하는 가이드 표시 방법.
  18. 제17항에 있어서,
    이전에 수신된 이미지에서 검출된 이전 환부 영역에 대해 기생성된 그래픽 오브젝트를 현재 환부 영역을 감싸는 그래픽 오브젝트와 크기를 매칭하여 표시하는 단계;를 더 포함하는 가이드 표시 방법.
  19. 제18항에 있어서,
    상기 크기를 매칭하여 표시하는 단계는,
    상기 수신된 이미지로부터 특징점을 추출하는 단계; 및
    상기 추출된 특징점을 기준으로 상기 현재 환부 영역을 감싸는 그래픽 오브젝트 및 상기 기생성된 그래픽 오브젝트의 크기를 매칭하는 단계;를 포함하는 가이드 표시 방법.
  20. 제16항에 있어서,
    상기 가이드 오브젝트를 생성하는 단계는,
    상기 수신된 이미지에 포함된 오브젝트를 선택받는 단계; 및
    상기 선택된 오브젝트의 크기 정보를 표시하는 가이드 오브젝트를 생성하는 단계;를 포함하는 가이드 표시 방법.
KR1020160018533A 2016-02-17 2016-02-17 원격 이미지 전송 시스템, 디스플레이 장치 및 그의 가이드 표시 방법 Active KR102508831B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020160018533A KR102508831B1 (ko) 2016-02-17 2016-02-17 원격 이미지 전송 시스템, 디스플레이 장치 및 그의 가이드 표시 방법
US15/403,309 US10607340B2 (en) 2016-02-17 2017-01-11 Remote image transmission system, display apparatus, and guide displaying method thereof
PCT/KR2017/000751 WO2017142223A1 (en) 2016-02-17 2017-01-23 Remote image transmission system, display apparatus, and guide displaying method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160018533A KR102508831B1 (ko) 2016-02-17 2016-02-17 원격 이미지 전송 시스템, 디스플레이 장치 및 그의 가이드 표시 방법

Publications (2)

Publication Number Publication Date
KR20170096810A true KR20170096810A (ko) 2017-08-25
KR102508831B1 KR102508831B1 (ko) 2023-03-10

Family

ID=59562240

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160018533A Active KR102508831B1 (ko) 2016-02-17 2016-02-17 원격 이미지 전송 시스템, 디스플레이 장치 및 그의 가이드 표시 방법

Country Status (3)

Country Link
US (1) US10607340B2 (ko)
KR (1) KR102508831B1 (ko)
WO (1) WO2017142223A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019027190A1 (ko) 2017-07-31 2019-02-07 주식회사 엘지화학 배터리 관리 장치 및 이를 포함하는 배터리 팩

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9179844B2 (en) 2011-11-28 2015-11-10 Aranz Healthcare Limited Handheld skin measuring or monitoring device
KR102508831B1 (ko) * 2016-02-17 2023-03-10 삼성전자주식회사 원격 이미지 전송 시스템, 디스플레이 장치 및 그의 가이드 표시 방법
US11116407B2 (en) * 2016-11-17 2021-09-14 Aranz Healthcare Limited Anatomical surface assessment methods, devices and systems
EP4183328A1 (en) 2017-04-04 2023-05-24 Aranz Healthcare Limited Anatomical surface assessment methods, devices and systems
FR3096126B1 (fr) * 2019-05-15 2021-04-23 Vit Procede d'inspection optique d'un objet
US12039726B2 (en) 2019-05-20 2024-07-16 Aranz Healthcare Limited Automated or partially automated anatomical surface assessment methods, devices and systems

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012120812A (ja) 2010-12-06 2012-06-28 Advas Co Ltd 歯科治療におけるビデオカメラによる治療支援システム
US20120206587A1 (en) * 2009-12-04 2012-08-16 Orscan Technologies Ltd System and method for scanning a human body

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6018587A (en) * 1991-02-21 2000-01-25 Applied Spectral Imaging Ltd. Method for remote sensing analysis be decorrelation statistical analysis and hardware therefor
US5631973A (en) 1994-05-05 1997-05-20 Sri International Method for telemanipulation with telepresence
JPH10285587A (ja) 1997-03-31 1998-10-23 Tsushin Hoso Kiko マルチウインドウ画像表示方式とこの方式を使用した遠隔検査システム
US20020036617A1 (en) * 1998-08-21 2002-03-28 Timothy R. Pryor Novel man machine interfaces and applications
US7028899B2 (en) * 1999-06-07 2006-04-18 Metrologic Instruments, Inc. Method of speckle-noise pattern reduction and apparatus therefore based on reducing the temporal-coherence of the planar laser illumination beam before it illuminates the target object by applying temporal phase modulation techniques during the transmission of the plib towards the target
JP3461135B2 (ja) 1999-01-28 2003-10-27 日本電信電話株式会社 立体画像入出力装置
CN100379391C (zh) 2002-05-07 2008-04-09 国立大学法人京都大学 医疗舱系统
US7818041B2 (en) 2004-07-07 2010-10-19 Young Kim System and method for efficient diagnostic analysis of ophthalmic examinations
US7889931B2 (en) * 2004-10-22 2011-02-15 Gb Investments, Inc. Systems and methods for automated vehicle image acquisition, analysis, and reporting
US8838210B2 (en) * 2006-06-29 2014-09-16 AccuView, Inc. Scanned laser vein contrast enhancer using a single laser
US8831299B2 (en) 2007-05-22 2014-09-09 Intellectual Ventures Fund 83 Llc Capturing data for individual physiological monitoring
US7995798B2 (en) * 2007-10-15 2011-08-09 Given Imaging Ltd. Device, system and method for estimating the size of an object in a body lumen
US10354407B2 (en) * 2013-03-15 2019-07-16 Spatial Cam Llc Camera for locating hidden objects
US8488246B2 (en) * 2010-02-28 2013-07-16 Osterhout Group, Inc. See-through near-eye display glasses including a curved polarizing film in the image source, a partially reflective, partially transmitting optical element and an optically flat film
US8964298B2 (en) * 2010-02-28 2015-02-24 Microsoft Corporation Video display modification based on sensor input for a see-through near-to-eye display
US8908928B1 (en) * 2010-05-31 2014-12-09 Andrew S. Hansen Body modeling and garment fitting using an electronic device
US8655053B1 (en) * 2010-05-31 2014-02-18 Andrew S Hansen Body modeling and garment fitting using an electronic device
US9076310B2 (en) 2010-07-30 2015-07-07 Lg Electronics Inc. Method and electronic device for remote diagnosis
US9696897B2 (en) * 2011-10-19 2017-07-04 The Regents Of The University Of California Image-based measurement tools
EP2929527B1 (en) * 2011-12-06 2020-11-18 E- Vision Smart Optics, Inc. Systems, devices, and/or methods for providing images
KR101512068B1 (ko) 2012-06-22 2015-04-15 서울대학교병원 (분사무소) 원격 진료 서비스 시스템 및 방법
US9599632B2 (en) * 2012-06-22 2017-03-21 Fitbit, Inc. Fitness monitoring device with altimeter
KR20140083856A (ko) * 2012-12-26 2014-07-04 가톨릭대학교 산학협력단 복합 실제 3차원 영상 제작방법 및 이를 위한 시스템
US9456067B2 (en) * 2012-12-28 2016-09-27 Trimble Navigation Limited External electronic distance measurement accessory for a mobile data collection platform
US9639941B2 (en) * 2012-12-28 2017-05-02 Trimble Inc. Scene documentation
US9459697B2 (en) * 2013-01-15 2016-10-04 Leap Motion, Inc. Dynamic, free-space user interactions for machine control
US9256963B2 (en) * 2013-04-09 2016-02-09 Elc Management Llc Skin diagnostic and image processing systems, apparatus and articles
WO2014179277A1 (en) * 2013-04-30 2014-11-06 Tractus Corporation Hand-held imaging devices with position and/or orientation sensors for complete examination of tissue
KR20150061750A (ko) 2013-11-28 2015-06-05 (주) 임베디드 솔루션 적외선 방식 뎁스 카메라 및 뎁스영상 기반 원격진료 자세유도 시스템
EP3077956B1 (en) 2013-12-03 2023-10-11 Children's National Medical Center Method and system for wound assessment and management
EP3076366A4 (en) * 2014-02-03 2017-05-24 Prosper Creative Co., Ltd. Image inspecting device and image inspecting program
US9560968B2 (en) * 2014-06-27 2017-02-07 Nucleus Dynamics Pte. Ltd. Remote monitoring framework
WO2016032048A1 (ko) * 2014-08-28 2016-03-03 엘지전자 주식회사 근접 센서 및 이의 제어 방법
KR102155094B1 (ko) * 2014-08-28 2020-09-11 엘지전자 주식회사 이동 단말기 및 그 제어방법
WO2017070629A1 (en) * 2015-10-23 2017-04-27 Fluke Corporation Imaging tool for vibration and/or misalignment analysis
KR102508831B1 (ko) * 2016-02-17 2023-03-10 삼성전자주식회사 원격 이미지 전송 시스템, 디스플레이 장치 및 그의 가이드 표시 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120206587A1 (en) * 2009-12-04 2012-08-16 Orscan Technologies Ltd System and method for scanning a human body
JP2012120812A (ja) 2010-12-06 2012-06-28 Advas Co Ltd 歯科治療におけるビデオカメラによる治療支援システム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019027190A1 (ko) 2017-07-31 2019-02-07 주식회사 엘지화학 배터리 관리 장치 및 이를 포함하는 배터리 팩

Also Published As

Publication number Publication date
KR102508831B1 (ko) 2023-03-10
WO2017142223A1 (en) 2017-08-24
US20170236273A1 (en) 2017-08-17
US10607340B2 (en) 2020-03-31

Similar Documents

Publication Publication Date Title
KR102508831B1 (ko) 원격 이미지 전송 시스템, 디스플레이 장치 및 그의 가이드 표시 방법
US12169881B2 (en) Augmented reality interventional system providing contextual overylays
RU2740259C2 (ru) Позиционирование датчика ультразвуковой визуализации
US20200022769A1 (en) Surgical system with haptic feedback based upon quantitative three-dimensional imaging
US10492873B2 (en) Medical spatial orientation system
EP3477655B1 (en) Medical imaging apparatus for transmitting a medical image
JP2018514352A (ja) 後期マーカー配置による融合イメージベース誘導のためのシステムおよび方法
US10269453B2 (en) Method and apparatus for providing medical information
WO2017033516A1 (ja) 読影支援装置及び方法
JP7417337B2 (ja) 情報処理システム、情報処理方法及びプログラム
EP4189698A1 (en) Devices, systems, and methods for identifying unexamined regions during a medical procedure
US11771506B2 (en) Method and system for controlling dental machines
WO2021138262A1 (en) Systems and methods for telestration with spatial memory
CN110018733A (zh) 确定用户触发意图的方法、设备和存储器设备
KR20130082637A (ko) 투명 디스플레이를 이용한 의료서비스 제공 장치
US20250082174A1 (en) Medical information processing system, medical information processing method, and program
JP2021509298A (ja) 損傷に関連付けられたデータを取得するためのシステム及び方法
JP2013257830A (ja) 情報処理装置
JP2017016347A (ja) 情報処理装置、情報処理方法及びプログラム
KR20220076579A (ko) 입체 영상을 표시하는 전자 장치 및 방법
JP2015039615A (ja) 医用画像処理装置及び医用画像表示システム

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20160217

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20201216

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20160217

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20220624

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20221215

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20230307

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20230308

End annual number: 3

Start annual number: 1

PG1601 Publication of registration