KR102802423B1 - 피부증상 영상의 생성 방법 - Google Patents

피부증상 영상의 생성 방법 Download PDF

Info

Publication number
KR102802423B1
KR102802423B1 KR1020230165615A KR20230165615A KR102802423B1 KR 102802423 B1 KR102802423 B1 KR 102802423B1 KR 1020230165615 A KR1020230165615 A KR 1020230165615A KR 20230165615 A KR20230165615 A KR 20230165615A KR 102802423 B1 KR102802423 B1 KR 102802423B1
Authority
KR
South Korea
Prior art keywords
image
skin
symptom
skin symptom
generating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020230165615A
Other languages
English (en)
Inventor
서순용
이종하
유상욱
최용준
Original Assignee
주식회사 룰루랩
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 룰루랩 filed Critical 주식회사 룰루랩
Priority to KR1020230165615A priority Critical patent/KR102802423B1/ko
Priority to PCT/KR2024/016761 priority patent/WO2025110540A1/ko
Application granted granted Critical
Publication of KR102802423B1 publication Critical patent/KR102802423B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus, e.g. for MRI, optical tomography or impedance tomography apparatus; Arrangements of imaging apparatus in a room
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30088—Skin; Dermal

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Dermatology (AREA)

Abstract

본 발명은 피부증상 영상의 생성 방법에 관한 것으로, 피부가 촬영된 영상을 시작 영상으로서 준비하는 제1단계; 피부증상이 부가되는 증상위치와 개수를 랜덤하게 결정하는 제2단계; 피부증상이 부가되도록 결정된 증상위치에 대하여 피부증상 마스크를 생성하는 제3단계; 및 생성된 피부증상 마스크를 시작 영상의 동일한 위치에 덮어서 피부증상 영상을 생성하는 제4단계를 포함하며, 상기 제3단계는, 선택된 피부 증상에 대하여 피부 증상별로 다르게 부여된 영상 처리 알고리즘을 상기 시작 영상에 적용하여 수행되는 것을 특징으로 한다.
본 발명은, 피부 촬영 영상에 대하여 영상 처리를 수행하여 피부 증상을 재현함으로써, 더욱 자연스러운 피부 증상이 부가된 영상을 생성할 수 있는 효과가 있다.
나아가 피부증상의 부가 위치와 개수 및 모양 등을 랜덤하게 적용하기 때문에 무작위의 피부증상 영상을 다수 생성할 수 있는 효과가 있다.

Description

피부증상 영상의 생성 방법{GENERATING METHOD FOR SKIN SYMPTOM IMAGE}
본 발명은 가상의 영상을 생성하는 방법에 관한 것으로, 더욱 자세하게는 피부 증상이 있는 피부에 대한 영상을 생성하는 방법에 관한 것이다.
일반적으로 피부 질환 등에 의해서 나타는 증상은 피부과 전문의에 의해서 확인 및 판단되는 것이 일반적이지만, 근래에 들어 의료영상 분석을 포함한 의료진단 분야에서 머신러닝 등을 통해서 인공지능이 사용되는 것과 함께, 피부 증상의 분석에도 인공지능을 적용하려는 노력이 이어지고 있다.
인공지능 기술의 한 종류인 머신러닝은 많은 수의 입력 데이터를 분석하여, 확률적으로 대상을 분류하거나 특정 범위 내의 값을 예측하는 기술이다. 명확한 규칙에 의해 정해진 결과값을 도출하는 전통적인 프로그래밍 방법과는 달리, 머신러닝은 많은 수의 입력 데이터를 경험적으로 분석하여 확률적으로 결과값을 도출하는 방식으로 동작한다.
그에 따라서 머신러닝에 사용되는 입력 데이터로서 대량의 학습 데이터를 확보하는 것이 중요하다. 이때, CT나 MRI 등과 같이 유사한 조건에서 촬영된 영상을 사용하는 의료영상 분석 분야에서는 병변이 부여된 가상의 의료 영상을 제작하여 학습 데이터로서 이용하려는 기술(대한민국 공개특허 10-2020-0089146)이 개발되기도 하였으나, 피부 증상의 경우에는 촬영 장치의 성능과 조명 등과 같은 촬영 조건의 차이에 의해서 이러한 기술을 적용할 수가 없다.
한편, 가상의 피부 증상에 대한 영상은 인공지능의 학습 데이터 용도 이외에도 다양한 용도로 사용될 수 있으며, 기존의 피부 영상에 가상의 피부 증상을 추가하는 방식으로 생성될 수 있다. 이러한 방식은 영상의 합성에 대한 기술(대한민국 등록특허 10-2236904)을 적용할 여지도 있으나, 별도의 이미지를 합성하는 점에서 기존의 피부 영상이 촬영된 조건 등을 반영하여 자연스러운 피부 증상을 부여하지 못하는 문제가 있다.
대한민국 공개특허 10-2020-0089146 대한민국 등록특허 10-2236904
본 발명은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서 기존의 피부 영상에 더욱 자연스러운 피부 증상이 랜덤하게 부여된 가상의 영상을 생성하는 새로운 방법을 제공하는데 그 목적이 있다.
상기 목적을 달성하기 위한 본 발명에 의한 피부증상 영상의 생성 방법은, 피부가 촬영된 영상을 시작 영상으로서 준비하는 제1단계; 피부증상이 부가되는 증상위치와 개수를 랜덤하게 결정하는 제2단계; 피부증상이 부가되도록 결정된 증상위치에 대하여 피부증상 마스크를 생성하는 제3단계; 및 생성된 피부증상 마스크를 시작 영상의 동일한 위치에 덮어서 피부증상 영상을 생성하는 제4단계를 포함하며, 상기 제3단계는, 선택된 피부 증상에 대하여 피부 증상별로 다르게 부여된 영상 처리 알고리즘을 상기 시작 영상에 적용하여 수행되는 것을 특징으로 한다.
상기 피부 증상별로 설정된 영상 처리 알고리즘은, 영상의 촬영 조건과 피부색을 반영하여 복수의 영상 그룹으로 그룹핑된 각 영상 그룹별로 다르게 부여되고, 상기 제3단계는, 상기 시작 영상을 분석하여 복수의 영상 그룹 중에 하나로 분류하고, 분류된 영상 그룹에 부여된 영상 처리 알고리즘을 시작 영상에 적용하여 수행되는 것일 바람직하다.
상기 제2단계는, 증상의 위치와 개수를 결정하는 과정이 피부증상의 종류를 반영하여 수행될 수 있다.
상기 제2단계는, 상기 시작 영상에서 피부 증상이 발생될 수 있는 복수의 관심영역을 설정한 뒤에, 복수의 관심영역 중에서 하나 이상을 랜덤하게 선택하고, 선택된 관심영역을 하나 이상으로 분할하여 분할패치를 생성하여 수행되며, 선택된 관심영역을 분할하는 크기와 개수가 랜덤하게 선택될 수 있다.
이때, 복수의 관심영역 중에서 하나 이상을 랜덤하게 선택하는 과정이 피부증상의 종류를 반영하여 수행될 수 있다.
그리고 상기 제3단계는, 랜덤하게 선택된 피부 증상에 대하여 피부 증상별로 설정된 영상 처리 알고리즘을 상기 분할 패치에 적용하여 수행되는 것이 바람직하다.
또한, 상기 제3단계는, 상기 분할패치에 대하여 피부 증상의 외형을 반영하는 과정을 더 포함하는 것이 바람직하다.
그리고 피부 증상의 외형을 반영하는 과정은, 각 피부 증상 별로 복수의 외형 템플릿을 포함하는 외형 데이터베이스에서 외형 템플릿을 랜덤으로 선택하여 수행되는 것이 바람직하다.
나아가 상기 외형 템플릿은 피부 증상이 발현된 레퍼런스 영상에서 피부 증상이 발현된 부분을 분할하고 이진맵으로 변형하여 획득된 것일 수 있다.
반영된 피부 증상의 외형에 대하여, 중심부에서 외곽으로 갈수록 투명도를 갖도록 가중치를 부여하는 과정을 더 포함하는 것이 바람직하다.
이때, 가중치를 부여하는 과정은, 유클리디안 거리 변환 또는 가우시안 모서리 블러를 적용할 수 있다.
상기 영상 처리 알고리즘은 각 픽셀에서 색상값(Hue), 포화도값(Saturation) 및 명도값(Value) 중에서 하나 이상을 변환하는 것일 수 있다.
상술한 바와 같이 구성된 본 발명은, 피부 촬영 영상에 대하여 영상 처리를 수행하여 피부 증상을 재현함으로써, 더욱 자연스러운 피부 증상이 부가된 영상을 생성할 수 있는 효과가 있다.
또한, 촬영된 영상의 촬영 조건 등을 반영하여 영상 처리를 수행하기 때문에, 촬영 조건에 상관없이 자연스러운 피부 증상이 부가된 영상을 생성할 수 있는 효과가 있다.
나아가 피부증상의 부가 위치와 개수 및 모양 등을 랜덤하게 적용하기 때문에 무작위의 피부증상 영상을 다수 생성할 수 있는 효과가 있다.
도 1은 본 발명의 실시예에 따른 피부증상 영상의 생성 방법을 설명하기 위한 도면이다.
도 2는 영상의 색온도와 피부색에 따른 피부 증상의 발현 차이를 나타내는 도면이다.
도 3은 본 발명의 실시예에 따른 피부증상 영상의 생성 방법에서 시작 영상을 분석하여 영상 그룹에 따라서 영상 처리를 수행하는 과정을 설명하는 도면이다.
도 4는 본 발명의 실시예에 따른 피부증상 영상의 생성 방법에서 홍조에 대한 외형 템플릿들의 예시이다.
도 5는 본 발명의 실시예에 따른 피부증상 영상의 생성 방법에서 홍조를 생성하는 과정을 설명하기 위한 도면이다.
첨부된 도면을 참조하여 본 발명에 따른 실시예를 상세히 설명한다.
그러나 본 발명의 실시형태는 여러 가지의 다른 형태로 변형될 수 있으며, 본 발명의 범위가 이하 설명하는 실시형태로만 한정되는 것은 아니다. 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있으며, 도면상의 동일한 부호로 표시되는 요소는 동일한 요소이다.
그리고 명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때 이는 "직접적으로 연결"되어 있는 경우뿐만 아니라 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한, 어떤 부분이 어떤 구성요소를 "포함" 또는 "구비"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함하거나 구비할 수 있는 것을 의미 한다.
또한, "제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
도 1은 본 발명의 실시예에 따른 피부증상 영상의 생성 방법을 설명하기 위한 도면이다.
본 실시예에 따른 피부증상 영상의 생성 방법은, 먼저, 피부가 촬영된 영상을 시작 영상으로서 준비한다.(제1단계)
본 실시예는 피부가 촬영된 일반 영상에 피부 증상을 부가하는 형태로 피부증상 영상을 생성하며, 이를 위하여 기초가 되는 시작 영상으로서 피부가 촬영된 영상을 준비한다. 이때, 시작 영상은 피부 증상이 없는 깨끗한 피부를 가진 사람의 영상인 것이 바람직하다.
다음으로 시작 영상에 대하여 피부증상이 부가되는 증상위치를 결정한다.(제2단계)
본 발명은 가상의 피부증상이 부가된 영상을 다양하게 생성하기 위하여, 피부증상이 부가되는 증상위치와 개수에 무작위성을 부여한다. 증상위치와 개수에 대한 무작위성은 완전한 랜덤 확률을 적용할 수도 있고, 피부증상의 특성을 반영하여 일부 확률이 조절될 수도 있다. 예를 들면, 피부증상에 따라서 주로 발현되는 위치에 대한 정보를 반영하여, 해당 위치에 대한 확률을 높이도록 설정될 수 있다. 또한, 증상의 개수를 결정함에 있어서도 데이터 분포 확률에 기반하여 랜덤 확률이 조절될 수 있다.
본 실시예에서는 다음의 방법을 통해서 증상위치와 개수를 랜덤으로 선택한다.
먼저, 시작 영상에서 복수의 관심영역(Range of Interest, ROI)을 설정하고, 복수의 관심영역 중에 하나 이상을 랜덤하게 선택하고, 분할(crop)하여 분할패치를 생성한다.
이때, 관심영역은 피부 증상이 발생할 수 있는 위치들이며, 이는 시작 영상에 따라서 결정될 수 있다. 예를 들면, 사람의 얼굴을 촬영한 영상의 경우에는 눈, 코, 입 등의 특징점을 도출하여 관심영역을 설정할 수 있으며, 이외에도 다른 신체부위를 촬영한 영상의 경우에도 각각의 특징에 맞추어 관심영역을 설정할 수 있다.
이에 따라서 설정된 복수의 관심영역에서 하나 이상을 랜덤으로 선택하며, 이때 앞서 살펴본 것과 같이 선택되는 관심영역의 위치와 개수에 대한 무작위성은 완전한 랜덤 확률을 적용할 수도 있고, 피부증상의 특성을 반영하여 일부 확률이 조절될 수도 있다. 이러한 관심영역의 선택 과정을 통해서 시작 영상에 부가되는 피부증상의 위치와 개수가 랜덤으로 결정될 수 있다.
한편, 학습용 데이터 세트를 제작하는 등의 경우에는, 관심영역을 선택하지 않는 경우를 포함시켜서, 피부 증상이 발현되지 않는 영상을 학습용 데이터 세트에 포함시킬 수도 있다.
그리고 선택된 관심영역을 하나 이상으로 분할(crop)하여 분할패치를 생성한다. 생성된 분할패치는 피부증상이 부가될 위치이며, 관심영역 전체를 분할할 수도 있고 일부를 분할하는 것도 가능하다. 선택된 관심영역을 분할하는 크기와 개수가 랜덤하게 선택될 수 있으며, 이를 통해서 피부증상의 위치에 대한 무작위성이 더욱 증가한다.
그리고 피부증상이 부가되도록 결정된 증상위치에 대하여 피부증상 마스크를 생성한다.(제3단계)
구체적으로, 본 실시예에서는 관심영역 중에서 선택된 하나 이상의 분할패치 각각을 이용하여 피부증상 마스크를 생성한다.
생성되는 피부증상 마스크는 홍조, 다크서클, 색소침착, 여드름 등의 다양한 피부증상에 대한 이미지이이다. 피부증상은 앞서 살펴본 관심영역의 설정의 내용이 반영될 수 있고, 이때, 서로 다른 분할패치에는 서로 다른 피부증상이 부여될 수도 있지만, 동일한 관심영역에 속하는 분할패치에 대해서는 1개의 피부증상이 적용되는 것이 바람직하다.
본 실시예에서 피부증상 마스크를 생성하는 과정은 영상처리, 외형 부여 및 가중치 부여의 순서로 진행된다.
우선, 영상처리는 선택된 분할패치에 대하여 부여된 피부증상에 맞춘 영상 처리를 수행하는 단계이다.
영상처리는 기본 영상, 즉 분할패치의 각 픽셀에서 색상값(Hue), 포화도값(Saturation) 및 명도값(Value) 중에서 하나 이상을 변환하여 수행되며, 생성하려는 피부증상별로 마련된 영상처리 알고리즘에 따라서 수행된다. 예를 들면, 다크서클, 색소침착은 명도값을 낮추어 생성할 수 있고, 홍조와 여드름은 색상값을 붉은 계열로 높여 생성할 수 있다.
한편, 본 실시예는 피부가 촬영된 영상을 이용하여 가상의 피부증상이 부여된 영상을 생성하는 것이며, 일반적으로 피부를 촬영한 영상은 카메라의 필터, 피사계 심도, 노출도 및 조명 등의 촬영 조건에 따른 환경적 영향과 피부색 등에 의해서 영상의 색상 등에서 차이가 생긴다. 또한, 촬영되는 피부증상도 촬영조건과 피부색 등에 따라서 그 발현 형태가 차이가 생긴다. 예를 들면, 동일한 피부증상인 홍조의 경우, 화이트밸런스의 색온도가 낮은(초록색) 영상에서는 선분홍색으로 보이고, 색온도가 높은(붉은색) 영상에서는 붉은색으로 보인다. 따라서 원본 영상의 화이트밸런스 등의 특징에 무관하게 피부증상을 생성하는 경우에는 실제 피부증상을 촬영한 것과는 차이가 생길 수밖에 없으며, 이러한 영상을 학습 데이터로 사용하는 경우에는 학습 모델의 정확도가 낮아지는 원인이 된다.
도 2는 영상의 색온도와 피부색에 따른 피부 증상의 발현 차이를 나타내는 도면이다.
본 발명은 피부가 촬영된 시작 영상의 촬영 조건에 맞추어 자연스러운 피부증상을 부여하기 위하여, 다양한 조건의 영상에 대하여 특징 추출 방법 및 클러스터링(clustering) 알고리즘을 적용하여 영상들을 복수의 영상 그룹으로 분류한다. 예를 들면, 복수의 그룹은 피부증상이 촬영된 영상들을 통해서 동일한 색감의 형태로 피부증상이 촬영되는 사진들을 N개의 영상 그룹으로 분류하여 그룹핑될 수 있다. 증상의 색감을 파악하기 위해서 안면의 피부를 분할(segmentation)하는 전처리 알고리즘을 적용할 수 있고, 해당 위치에 해당하는 HSV 컬러 공간에서 색상(Hue)을 추출할 수 있다.
이러한 복수의 영상 그룹은 촬영 조건과 피부색을 반영하게 되며, 각 영상 그룹은 피부증상별로 별도의 영상처리 알고리즘이 부여된다. 이때, 영상처리 알고리즘은 각 영상 그룹을 그룹핑하는 기준이 된 촬영 조건과 피부색을 반영하여 최적화된 것일 수 있다.
시작 영상을 분석하여, 상기 복수의 영상 그룹 중에서 하나로 분류하고, 해당 그룹에 부여된 영상처리 알고리즘을 적용하여 분할패치에 대하여 영상처리를 수행한다.
도 3은 본 발명의 실시예에 따른 피부증상 영상의 생성 방법에서 시작 영상을 분석하여 영상 그룹에 따라서 영상 처리를 수행하는 과정을 설명하는 도면이다.
외형 부여는 영상 처리가 수행된 분할패치에 대하여 피부증상의 외형으로 잘라내는 단계이다.
피부증상은 증상별로 피부 상에 다른 범위와 모양을 가지는 형태(외형)로 발현되며, 동일한 증상에 대해서도 다양한 외형으로 발현될 수 있다. 앞선 단계에서 영상처리를 통해서 피부증상에 해당되는 HSV를 나타내게 되었으나, 이러한 영상처리는 분할패치 전체에 대하여 수행되었기 때문에, 피부증상의 외형은 반영되지 못하였다. 외형 부여는 피부증상에 맞는 범위와 모양을 부여하는 단계이며, 이를 위하여 본 실시예에서는 피부증상 별로 복수의 외형 템플릿으로 구성된 데이터베이스를 구비하고, 복수의 외형 템플릿 중에서 랜덤으로 선택되도록 구성한다. 구체적으로 본 실시예에서는 피부 증상이 발현된 레퍼런스 영상에서 피부 증상이 발현된 부분을 분할하여 이진맵으로 변형한 것을 외형 템플릿으로 획득하였으며, 각 피부 증상별로 외형 템플릿을 준비하되 관심영역 별로 50개 이상의 외형 템플릿을 포함하는 데이터베이스를 구성하였다. 그리고 영상 처리된 분할패치에 대하여 외형 데이터베이스에서 랜덤으로 선택된 하나의 외형 템플릿인 이진맵의 모양으로 잘라서 외형이 부여된 스텐실마스크를 생성하였다.
도 4는 본 발명의 실시예에 따른 피부증상 영상의 생성 방법에서 홍조에 대한 외형 템플릿들의 예시이다.
본 실시예에서는 영상 처리를 먼저 수행한 뒤에 외형 부여를 수행하였으나, 이에 한정되는 것은 아니며 이들의 순서를 변경할 수도 있다.
가중치 부여는 잘라낸 스텐실마스크가 원래의 시작영상에 자연스럽게 매칭될 수 있도록 스텐실마스크 외형의 중심부에서 외곽으로 갈수록 투명도를 갖도록 처리하는 단계이다.
앞선 과정으로 생성된 스텐실마스크는 피부증상의 색감과 외형이 부여되었지만, 이를 그대로 시작영상에 붙이는 경우에는 경계선이 도드라지는 문제가 발생한다. 이러한 문제를 해소하기 위하여, 외형의 중심부에서 외곽으로 갈수록 점진적으로 투명해지도록 처리하며, 유클리디안 거리 변환(Euclidian distance transform, EDT), 가우시안 모서리 블러(Gaussian Edge Blur) 등의 알고리즘을 적용할 수 있고, 특별히 제한되지 않는다. 이때, 가중치 부여 정도, 즉 중심부와 외곽 사이의 투명도 변화량은 질환의 종류에 따라서 다르게 조절될 수 있다.
마지막으로 생성된 피부증상 마스크를 시작 영상의 동일한 위치에 붙여서 덮어 씌우는 방식으로 피부증상 영상을 생성한다.(제4단계)
도 5는 본 발명의 실시예에 따른 피부증상 영상의 생성 방법에서 홍조를 생성하는 과정을 설명하기 위한 도면이다.
①은 관심영역 중에서 선택된 분할패치이고, ②는 분할패치에 대하여 홍조 증상에 대한 영상처리를 수행한 결과이다. ③은 홍조 증상에 대한 외형 템플릿이고, ④는 외형 템플릿에 대하여 가중치를 부여한 모습이며, ⑤는 홍조 증상에 대한 피부 증상 마스크를 동일한 위치에 붙인 결과를 나타낸다.
앞선 과정을 통해서, 스텐실마스크 형태로 생성된 피부증상 마스크는, 시작영상의 영상 특성에 맞추어 선택된 영상 처리 알고리즘으로 영상처리가 되었기 때문에 실제 피부증상에 가까운 HSV를 가지며, 외형 데이터베이스에서 선택된 외형 및 가중치 부여까지 수행되었기 때문에 시작 영상의 동일한 위치에 붙이는 경우에 피부증상 마스크가 시작영상의 위를 덮음으로써 자연스러운 피부 증상이 부여된 영상을 생성할 수 있다.
또한, 복수의 관심영역들 중에서 랜덤으로 선택된 분할패치에 대하여 랜덤으로 피부질환을 부여하기 때문에 피부증상의 위치와 개수가 랜덤한 다양한 피부증상 영상을 생성할 수 있으며, 복수의 외형 데이터베이스에서 랜덤으로 선택된 외형으로 피부증상 마스크를 생성하였기 때문에 외형 또한 랜덤한 다양한 피부증상 영상을 생성할 수 있다.
이상 본 발명을 바람직한 실시예를 통하여 설명하였는데, 상술한 실시예는 본 발명의 기술적 사상을 예시적으로 설명한 것에 불과하며, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 다양한 변화가 가능함은 이 분야에서 통상의 지식을 가진 자라면 이해할 수 있을 것이다. 따라서 본 발명의 보호범위는 특정 실시예가 아니라 특허청구범위에 기재된 사항에 의해 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술적 사상도 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (12)

  1. 피부가 촬영된 영상을 시작 영상으로서 준비하는 제1단계;
    피부증상이 부가되는 증상위치와 개수를 랜덤하게 결정하는 제2단계;
    피부증상이 부가되도록 결정된 증상위치에 대하여 피부증상 마스크를 생성하는 제3단계; 및
    생성된 피부증상 마스크를 시작 영상의 동일한 위치에 덮어서 피부증상 영상을 생성하는 제4단계를 포함하며,
    상기 제2단계는, 상기 시작 영상에서 피부 증상이 발생될 수 있는 복수의 관심영역을 설정한 뒤에, 복수의 관심영역 중에서 하나 이상을 랜덤하게 선택하고, 선택된 관심영역을 하나 이상으로 분할하여 분할패치를 생성하여 수행되되, 선택된 관심영역을 분할하는 크기와 개수가 랜덤하게 선택되며,
    상기 제3단계는, 선택된 피부 증상에 대하여 피부 증상별로 다르게 부여된 영상 처리 알고리즘을 상기 시작 영상에 적용하여 수행되는 것을 특징으로 하는 피부증상 영상의 생성 방법.
  2. 청구항 1에 있어서,
    상기 피부 증상별로 설정된 영상 처리 알고리즘은, 영상의 촬영 조건과 피부색을 반영하여 복수의 영상 그룹으로 그룹핑된 각 영상 그룹별로 다르게 부여되고,
    상기 제3단계는, 상기 시작 영상을 분석하여 복수의 영상 그룹 중에 하나로 분류하고, 분류된 영상 그룹에 부여된 영상 처리 알고리즘을 시작 영상에 적용하여 수행되는 것을 특징으로 하는 피부증상 영상의 생성 방법.
  3. 청구항 1에 있어서,
    상기 제2단계는, 증상의 위치와 개수를 결정하는 과정이 피부증상의 종류를 반영하여 수행되는 것을 특징으로 하는 피부증상 영상의 생성 방법.
  4. 삭제
  5. 청구항 1에 있어서,
    복수의 관심영역 중에서 하나 이상을 랜덤하게 선택하는 과정이 피부증상의 종류를 반영하여 수행되는 것을 특징으로 하는 피부증상 영상의 생성 방법.

  6. 청구항 1에 있어서,
    상기 제3단계는, 선택된 피부 증상에 대하여 피부 증상별로 설정된 영상 처리 알고리즘을 상기 분할 패치에 적용하여 수행되는 것을 특징으로 하는 피부증상 영상의 생성 방법.
  7. 청구항 6에 있어서,
    상기 제3단계는, 상기 분할패치에 대하여 선택된 피부 증상의 외형을 반영하는 과정을 더 포함하는 것을 특징으로 하는 피부증상 영상의 생성 방법.
  8. 청구항 7에 있어서,
    피부 증상의 외형을 반영하는 과정은,
    각 피부 증상 별로 복수의 외형 템플릿을 포함하는 외형 데이터베이스에서 외형 템플릿을 랜덤으로 선택하여 수행되는 것을 특징으로 하는 피부증상 영상의 생성 방법.
  9. 청구항 8에 있어서,
    상기 외형 템플릿은 피부 증상이 발현된 레퍼런스 영상에서 피부 증상이 발현된 부분을 분할하고 이진맵으로 변형하여 획득된 것을 특징으로 하는 피부증상 영상의 생성 방법.
  10. 청구항 7에 있어서,
    반영된 피부 증상의 외형에 대하여, 중심부에서 외곽으로 갈수록 투명도를 갖도록 가중치를 부여하는 과정을 더 포함하는 것을 특징으로 하는 피부증상 영상의 생성 방법.
  11. 청구항 10에 있어서,
    가중치를 부여하는 과정은, 유클리디안 거리 변환 또는 가우시안 모서리 블러를 적용하는 것을 특징으로 하는 피부증상 영상의 생성 방법.
  12. 청구항 1에 있어서,
    상기 영상 처리 알고리즘은 각 픽셀에서 색상값(Hue), 포화도값(Saturation) 및 명도값(Value) 중에서 하나 이상을 변환하는 것을 특징으로 하는 피부증상 영상의 생성 방법.
KR1020230165615A 2023-11-24 2023-11-24 피부증상 영상의 생성 방법 Active KR102802423B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020230165615A KR102802423B1 (ko) 2023-11-24 2023-11-24 피부증상 영상의 생성 방법
PCT/KR2024/016761 WO2025110540A1 (ko) 2023-11-24 2024-10-30 피부증상 영상의 생성 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020230165615A KR102802423B1 (ko) 2023-11-24 2023-11-24 피부증상 영상의 생성 방법

Publications (1)

Publication Number Publication Date
KR102802423B1 true KR102802423B1 (ko) 2025-05-08

Family

ID=95713237

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020230165615A Active KR102802423B1 (ko) 2023-11-24 2023-11-24 피부증상 영상의 생성 방법

Country Status (2)

Country Link
KR (1) KR102802423B1 (ko)
WO (1) WO2025110540A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200089146A (ko) 2019-01-16 2020-07-24 삼성전자주식회사 의료 영상 처리 장치 및 방법
KR102236904B1 (ko) 2019-12-13 2021-04-06 조선대학교산학협력단 이미지 합성 방법 및 장치
KR20220094791A (ko) * 2020-12-29 2022-07-06 연세대학교 산학협력단 인공지능 학습 및 빅데이터 구축을 위한 피부질환 데이터 증강 방법 및 시스템
KR20220128016A (ko) * 2021-03-12 2022-09-20 주식회사 매직내니 피부 분석 시스템
KR20230044341A (ko) * 2021-09-24 2023-04-04 주식회사 씨앤에이아이 인공지능을 통해 인체 피부의 의료 진단 방법 및 시스템

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111507937B (zh) * 2020-03-03 2024-05-10 平安科技（深圳）有限公司 一种图像数据的生成方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200089146A (ko) 2019-01-16 2020-07-24 삼성전자주식회사 의료 영상 처리 장치 및 방법
KR102236904B1 (ko) 2019-12-13 2021-04-06 조선대학교산학협력단 이미지 합성 방법 및 장치
KR20220094791A (ko) * 2020-12-29 2022-07-06 연세대학교 산학협력단 인공지능 학습 및 빅데이터 구축을 위한 피부질환 데이터 증강 방법 및 시스템
KR20220128016A (ko) * 2021-03-12 2022-09-20 주식회사 매직내니 피부 분석 시스템
KR20230044341A (ko) * 2021-09-24 2023-04-04 주식회사 씨앤에이아이 인공지능을 통해 인체 피부의 의료 진단 방법 및 시스템

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Kavita Behara 외, Skin Lesion Synthesis and Classification Using an Improved DCGAN Classifier, Diagnostics, 2023.08.09., pp.1-29.* *
Kumar Abhishek 외, Mask2Lesion: Mask-Constrained Adversarial Skin Lesion Image Synthesis, arXiv, 2019.07.15., pp.1-10.* *
Yingao Liu 외, A partial convolution generative adversarial network for lesion synthesis and enhanced liver tumor segmentation, J Appl Clin Med Phys., 2023.01.17., Vol.24, pp.1-10.* *

Also Published As

Publication number Publication date
WO2025110540A1 (ko) 2025-05-30

Similar Documents

Publication Publication Date Title
CN110033456B (zh) 一种医疗影像的处理方法、装置、设备和系统
CN111476849B (zh) 对象颜色识别方法、装置、电子设备以及存储介质
CN103914699B (zh) 一种基于色彩空间的自动唇彩的图像增强的方法
Naji et al. Skin segmentation based on multi pixel color clustering models
CN109948566B (zh) 一种基于权重融合与特征选择的双流人脸反欺诈检测方法
WO2018049084A1 (en) Methods and systems for human imperceptible computerized color transfer
CN113570619B (zh) 基于人工智能的计算机辅助胰腺病理图像诊断系统
CN106610969A (zh) 基于多模态信息的视频内容审查系统及方法
CN108717524A (zh) 一种基于双摄手机和人工智能系统的手势识别系统及方法
CN114140445B (zh) 基于重点关注区域提取的乳腺癌病理图像识别方法
JP2005135392A (ja) 赤目軽減方法
CN111160194B (zh) 一种基于多特征融合的静态手势图像识别方法
CN110969631B (zh) 一种精细化照片染发方法及系统
WO2020066257A1 (ja) 分類装置、分類方法、プログラム、ならびに、情報記録媒体
CN113781488A (zh) 舌象图像的分割方法、装置及介质
CN113096071A (zh) 一种基于CHS-Net网络的医学图像分割方法
CN119672484B (zh) 基于多模态数据的印花布面疵点智能识别方法
CN111161281A (zh) 一种人脸区域识别方法、装置及存储介质
US8498496B2 (en) Method and apparatus for filtering red and/or golden eye artifacts
CN114140465B (zh) 基于宫颈细胞切片图像的自适应的学习方法和学习系统
CN120782767B (zh) 一种基于文本语言提示的术后病理图像分析方法
CN113505784A (zh) 甲片自动标注解析方法及装置、电子设备及存储介质
CN110648336B (zh) 一种舌质和舌苔的分割方法及装置
KR102802423B1 (ko) 피부증상 영상의 생성 방법
Youlian et al. Face detection method using template feature and skin color feature in rgb color space

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20231124

PA0201 Request for examination

Patent event code: PA02011R01I

Patent event date: 20231124

Comment text: Patent Application

PA0302 Request for accelerated examination

Patent event date: 20231127

Patent event code: PA03022R01D

Comment text: Request for Accelerated Examination

PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20240808

Patent event code: PE09021S01D

PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20250217

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20250425

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20250428

End annual number: 3

Start annual number: 1

PG1601 Publication of registration