KR20260077401A - 딥러닝 기반 저차원 재료의 점 결함 자동 검출 장치 및 방법 - Google Patents

딥러닝 기반 저차원 재료의 점 결함 자동 검출 장치 및 방법

Info

Publication number
KR20260077401A
KR20260077401A KR1020250041798A KR20250041798A KR20260077401A KR 20260077401 A KR20260077401 A KR 20260077401A KR 1020250041798 A KR1020250041798 A KR 1020250041798A KR 20250041798 A KR20250041798 A KR 20250041798A KR 20260077401 A KR20260077401 A KR 20260077401A
Authority
KR
South Korea
Prior art keywords
deep learning
low
point defect
defect detection
learning model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
KR1020250041798A
Other languages
English (en)
Inventor
양세정
추유성
한중훈
최시영
양동환
프란시스 응곰메 오켈로 오동고
Original Assignee
연세대학교 미래산학협력단
포항공과대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 미래산학협력단, 포항공과대학교 산학협력단 filed Critical 연세대학교 미래산학협력단
Publication of KR20260077401A publication Critical patent/KR20260077401A/ko
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N23/00—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
    • G01N23/22—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by measuring secondary emission from the material
    • G01N23/225—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by measuring secondary emission from the material using electron or ion
    • G01N23/2251—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by measuring secondary emission from the material using electron or ion using incident electron beams, e.g. scanning electron microscopy [SEM]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2223/00—Investigating materials by wave or particle radiation
    • G01N2223/40—Imaging
    • G01N2223/418—Imaging electron microscope
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2223/00—Investigating materials by wave or particle radiation
    • G01N2223/40—Imaging
    • G01N2223/421—Imaging digitised image, analysed in real time (recognition algorithms)
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2223/00—Investigating materials by wave or particle radiation
    • G01N2223/60—Specific applications or type of materials
    • G01N2223/646—Specific applications or type of materials flaws, defects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)

Abstract

본 개시는 딥러닝 기반 저차원 재료의 점 결함 자동 검출 장치 및 방법에 관한 것으로, 특히, 장치는, 외부 장치와 통신을 수행하는 통신모듈; 딥러닝 기반 저차원 재료의 점 결함 자동 검출 동작을 수행하기 위한 적어도 하나의 프로세스가 저장된 메모리; 및 상기 프로세스에 따라 상기 점 결함 자동 검출 동작을 수행하는 프로세서를 포함하며, 상기 프로세서는, 저차원 재료에 대한 이미지를 획득하고, 입력된 이미지를 기반으로 사전 설정된 형상의 단위 유닛 셀을 추출하여 두 채널을 통해 상기 단위 유닛 셀에 대한 분석을 수행함으로써 저차원 재료의 점 결함에 대한 분류 결과를 출력하도록 사전 학습된 딥러닝 모델에 상기 획득된 이미지를 입력하고, 상기 딥러닝 모델로부터 상기 획득된 이미지 기반의 분류 결과가 출력되면, 상기 분류 결과를 제공하도록 구성될 수 있다.

Description

딥러닝 기반 저차원 재료의 점 결함 자동 검출 장치 및 방법{APPARATUS AND METHOD FOR AUTOMATIC DETECTION OF POINT DEFECTS OF LOW DIMENSIONAL METERIALS BASED ON DEEP LEARNING}
본 개시는 딥러닝 기반 저차원 재료의 점 결함 자동 검출 장치 및 방법에 관한 것이다.
주사투과전자현미경 장비의 발전으로 원자 구조의 고해상도 이미지를 얻어낼 수 있고 이를 바탕으로 재료의 구조에 대한 이해가 가능하게 되었다. 이러한 이해를 바탕으로 재료의 원자 구조가 그 특성에 어떻게 영향을 미치고 구조가 변화함으로써 특성이 다르게 발현되는 지를 밝힐 수 있다. 특히 원자층 두께의 원자들이 이차원 배열을 하고 있는 저차원 재료는 적층 방법, 적층 개수 등에 다양한 변화를 줄 수 있으며, 외부 환경에 노출된 면적이 많아 자연적으로 또는 인위적으로 재료에 생긴 결함을 관찰하고 결함에 변화를 주는 등 재료의 구조적 특징과 그 특성을 규명하는데 많은 기회를 제공한다.
주사투과전자현미경에는 HAADF(High-angle annular dark field) 이미징 모드와 ABF(Annular bright field) 이미징의 모드가 존재한다. HAADF는 무거운 원자를 이미징하는 데 사용하는 모드이며, ABF는 상대적으로 가벼운 원소(산소, 질소, 및 수소 등)를 이미징하는데 사용하는 모드로, 저차원 재료에서 HAADF 이미지와 ABF 이미지를 동시에 분석하여 존재할 수 있는 다양한 점 결함의 분석이 가능하다.
재료가 가질 수 있는 여러 결함들과 그 결함이 재료의 전기적 특성이 미치는 영향에 대한 연구는 많은 주목을 받아왔다. 그 중 저차원 재료들은 구조적인 변형과 결함 생성이 용이하기 때문에 전기적 특성 제어로 많은 연구에 사용되고 있다. 예를 들어 2H-몰리브덴 디텔루라이드(2H-MoTe2)의 경우 텔루륨 원자가 비어있으면 전자가 전하를 운반하는 n-형 반도체가 되며, 몰리브덴이 비어있는 경우 정공이 전하를 운반하는 p-형 반도체가 된다.
또한, 외부에서 원자가 화학 흡착하는 경우에도 전기적인 특성을 조절할 수 있는데, 수소 원자가 화학 흡착하는 경우 전자 한 개를 제공하는 전자 공여체 역할을 하여 n-형 반도체로, 산소 원자가 화학 흡착하는 경우 전자 한 개를 받을 수 있는 전자 수용체 역할을 하여 p-형 반도체가 된다.
이러한 원자 단위의 결함들과 그들이 저차원 재료의 전기적 특성에 미치는 영향이 많이 연구되고 있음에도 그 결함들을 분석하는데 많은 어려움이 따른다. 아무 결함이 없는 깨끗한(pristine) 상태의 저차원 재료에 비하여 원자가 비어있거나 원자가 추가된 경우 그 위치의 원자 밝기는 어두워지거나 밝아진다. 실험으로 얻어진 하나의 STEM 이미지에는 적게는 천여 개, 많게는 수 만개의 원자가 있으며 일일이 원자 단위에서 결함의 개수나 종류를 파악하는데 많은 시간이 들고 노력이 소모된다.
이를 해결하기 위하여 상용 소프트웨어가 존재하는데, 이 소프트웨어는 원자 하나의 크기를 모티프(또는 기저)로 설정하여 그 영역 내의 질량 중심으로 원자의 위치(중심)를 파악하며, 이를 바탕으로 다른 위치의 원자들도 인식한다. 그런데 여기서 설정하는 모티프의 크기에 따라서 다른 위치의 원자들을 원자로 인식하거나 인식하지 못할 수도 있다. 이미지에 밝기가 나타나는 노이즈의 경우도 이를 원자로 간주할 수도 있어 추후에 이 값을 제거해야하는 번거로움도 존재한다.
상용 소프트웨어를 이용하여 결함의 개수와 종류를 분석할 경우 기준이 될 원자에서 모티프 영역 내의 밝기를 적분하여 얻고 다른 원자 위치의 적분 강도의 비를 구하여 파악한다. 이 때 결함의 종류를 파악할 상대밝기 강도의 기준 값도 따로 통계적으로 HAADF 이미지의 시뮬레이션을 통하여 얻어야하므로 추가적인 시간이 소요된다는 단점이 있다.
따라서, 원자 이미지 내에서 점 결함을 신속하고 정확하게 자동으로 감지할 수 있도록 하는 기술이 개발될 필요가 있다.
한국공개특허공보 제10-2023-0048110호 (공개일: 2023년 04월 10일)
본 개시는 사전 학습된 딥러닝 모델을 기반으로 저차원 재료의 이미지 내 점 결함을 작업자의 개입없이 자동으로 분류할 수 있도록 함으로써, 분류 작업에 대한 정확도는 물론, 효율성을 향상시킬 수 있도록 하는 딥러닝 기반 저차원 재료의 점 결함 자동 검출 장치 및 방법을 제공함에 있다.
본 개시가 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
상술한 기술적 과제를 달성하기 위한 본 개시의 일 측면에 따른 딥러닝 기반 저차원 재료의 점 결함 자동 검출 장치는, 외부 장치와 통신을 수행하는 통신모듈; 딥러닝 기반 저차원 재료의 점 결함 자동 검출 동작을 수행하기 위한 적어도 하나의 프로세스가 저장된 메모리; 및 상기 프로세스에 따라 상기 점 결함 자동 검출 동작을 수행하는 프로세서를 포함하며, 상기 프로세서는, 저차원 재료에 대한 이미지를 획득하고, 입력된 이미지를 기반으로 사전 설정된 형상의 단위 유닛 셀을 추출하여 두 채널을 통해 상기 단위 유닛 셀에 대한 분석을 수행함으로써 저차원 재료의 점 결함에 대한 분류 결과를 출력하도록 사전 학습된 딥러닝 모델에 상기 획득된 이미지를 입력하고, 상기 딥러닝 모델로부터 상기 획득된 이미지 기반의 분류 결과가 출력되면, 상기 분류 결과를 제공하도록 구성될 수 있다.
한편, 본 개시의 일 측면에 따른 딥러닝 기반 저차원 재료의 점 결함 자동 검출 방법은, 저차원 재료에 대한 이미지를 획득하는 단계; 입력된 이미지를 단위 유닛 셀로 추출하여 두 채널을 기반으로 상기 단위 유닛 셀에 대한 분석을 수행하여 저차원 재료의 점 결함에 대한 분류 결과를 출력하도록 사전 학습된 딥러닝 모델에 상기 획득된 이미지를 입력하는 단계; 및 상기 딥러닝 모델로부터 상기 획득된 이미지 기반의 분류 결과가 출력되면, 상기 분류 결과를 제공하는 단계를 포함할 수 있다.
이 외에도, 본 개시를 구현하기 위한 방법을 실행하기 위한 컴퓨터 판독 가능한 기록 매체에 저장된 컴퓨터 프로그램이 더 제공될 수 있다.
이 외에도, 본 개시를 구현하기 위한 방법을 실행하기 위한 컴퓨터 프로그램을 기록하는 컴퓨터 판독 가능한 기록 매체가 더 제공될 수 있다.
본 개시의 전술한 과제 해결 수단에 의하면, 사전 학습된 딥러닝 모델을 기반으로 저차원 재료의 이미지 내 점 결함을 작업자의 개입없이 자동으로 분류할 수 있도록 함으로써, 분류 작업에 대한 정확도는 물론, 효율성을 향상시킬 수 있도록 한다.
본 개시의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 개시의 일 실시예에 따른 딥러닝 기반 저차원 재료의 점 결함 자동 검출 시스템의 네트워크 구조를 나타내는 도면이다.
도 2는 본 개시의 일 실시예에 따라 딥러닝 기반 저차원 재료의 점 결함 자동 검출을 수행하는 서비스 서버의 구성을 나타내는 도면이다.
도 3은 본 개시의 일 실시예에 따라 단위 유닛 셀을 추출하는 방식의 일 예시를 설명하기 위한 도면이다.
도 4는 본 개시의 일 실시예에 따른 서비스 서버로부터 딥러닝 기반 저차원 재료의 점 결함 자동 검출에 따른 분류 결과를 제공받는 사용자 단말의 구성을 나타내는 도면이다.
도 5는 본 개시의 일 실시예에 따른 딥러닝 기반 저차원 재료의 점 결함 자동 검출 방법을 나타내는 도면이다.
도 6은 본 개시의 일 실시예에 따라 딥러닝 모델을 사전 학습하는 구체적인 동작을 설명하기 위한 도면이다.
도 7은 본 개시의 일 실시예에 따라 딥러닝 모델을 사전 학습하기 위해 결함을 포함하도록 생성된 이미지의 일 예시를 나타내는 도면이다.
도 8은 본 개시의 일 실시예에 따른 제1 딥러닝 모델을 통해 이미지를 기반으로 단위 유닛 셀을 추출하기 위한 CNN 아키텍처를 나타내는 도면이다.
도 9는 본 개시의 일 실시예에 따른 제2 딥러닝 모델을 통해 단위 유닛 셀을 기반으로 두 채널을 통해 점 결함을 분류하기 위한 CNN 아키텍처를 나타내는 도면이다.
도 10은 본 개시의 일 실시예에 따른 딥러닝 모델의 점 결함 분류 성능에 대한 실험 결과의 일 예시를 나타내는 도면이다.
본 개시의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 개시는 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 개시가 완전하도록 하고, 본 개시가 속하는 기술 분야의 통상의 기술자에게 본 개시의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 개시는 청구항의 범주에 의해 정의될 뿐이다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 개시를 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 개시의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 개시가 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
본 개시 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다. 본 개시가 실시예들의 모든 요소들을 설명하는 것은 아니며, 본 개시가 속하는 기술분야에서 일반적인 내용 또는 실시예들 간에 중복되는 내용은 생략한다. 명세서에서 사용되는 "부" 또는 “모듈”이라는 용어는 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, "부" 또는 “모듈”은 어떤 역할들을 수행한다. 그렇지만 "부" 또는 “모듈”은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. "부" 또는 “모듈”은 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 "부" 또는 “모듈”은 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 "부" 또는 “모듈”들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 "부" 또는 “모듈”들로 결합되거나 추가적인 구성요소들과 "부" 또는 “모듈”들로 더 분리될 수 있다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐 아니라, 간접적으로 연결되어 있는 경우를 포함하고, 간접적인 연결은 무선 통신망을 통해 연결되는 것을 포함한다.
또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
명세서 전체에서, 어떤 부재가 다른 부재 "상에" 위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다.
제1, 제2 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위해 사용되는 것으로, 구성요소가 전술된 용어들에 의해 제한되는 것은 아니다.
단수의 표현은 문맥상 명백하게 예외가 있지 않는 한, 복수의 표현을 포함한다.
각 단계들에 있어 식별부호는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 실시될 수 있다.
이하 설명에서 사용되는 용어에 대하여 정의하면 하기와 같다.
본 명세서에서 '서비스 서버'로 한정하여 설명하였으나, 이는 연산처리를 수행할 수 있는 다양한 장치들을 모두 포함할 수 있다. 또한, 이 서비스 서버는 별도의 서버, 컴퓨터 및/또는 휴대용 단말기와 연결/연동되어 설정이 변경되거나 정보를 수집 또는 분석하여 제공할 수 있으며, 그 종류 및 형태를 한정하지 않는다.
여기에서, 상기 컴퓨터는 예를 들어, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(desktop), 랩톱(laptop), 태블릿 PC, 슬레이트 PC 등을 포함할 수 있다.
상기 서버는 외부 장치와 통신을 수행하여 정보를 처리하는 서버로써, 애플리케이션 서버, 컴퓨팅 서버, 데이터베이스 서버, 파일 서버, 게임 서버, 메일 서버, 프록시 서버 및 웹 서버 등을 포함할 수 있다.
상기 휴대용 단말기는 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), WiBro(Wireless Broadband Internet) 단말, 스마트 폰(Smart Phone) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치와 시계, 반지, 팔찌, 발찌, 목걸이, 안경, 콘택트 렌즈, 또는 머리 착용형 장치(head-mounted-device(HMD) 등과 같은 웨어러블 장치를 포함할 수 있다.
이하 첨부된 도면들을 참고하여 본 개시의 작용 원리 및 실시예들에 대해 설명한다.
도 1은 본 개시의 일 실시예에 따른 딥러닝 기반 저차원 재료의 점 결함 자동 검출 시스템의 네트워크 구조를 나타내는 도면이다.
도 1을 참조하면, 본 개시의 일 실시예에 따른 딥러닝 기반 저차원 재료의 점 결함 자동 검출 시스템(이하, '자동 검출 시스템'이라 칭함)(1000)은 서비스 서버(100) 및 사용자 단말(200) 중 적어도 하나를 포함하여 구성될 수 있다.
서비스 서버(100)는 딥러닝 기반 저차원 재료의 점 결함을 자동으로 검출하고, 그 검출에 따라 점 결함을 분류한 결과를 사용자에게 제공함으로써, 사용자(작업자를 포함함)의 개입 없이도 저차원 재료의 이미지 내 점 결함 여부를 신속하고 정확하게 확인할 수 있도록 지원하는 서비스(이하, '점 결함 자동 검출 서비스'라 칭함)를 제공하기 위한 장치, 즉, 점 결함 자동 검출 장치를 통칭하는 것일 수 있다.
이 서비스 서버(100)는 적어도 하나의 통신 방식을 기초로 사용자 단말(200) 또는 별도의 외부 장치(미도시)와 각종 데이터 및/또는 정보를 송수신하며 사용자에게 점 결함 자동 검출 서비스를 제공한다.
구체적으로, 서비스 서버(100)는 사용자 단말(200)의 서비스 제공 요청에 따라 저차원 재료에 대한 이미지를 획득하고, 사전 학습된 딥러닝 모델을 통해 그 이미지를 기반으로 하는 점 결함 분류 결과(이하, '분류 결과'라 칭함)를 도출한 후, 그 분류 결과를 사용자 단말(200)로 송신하여 제공할 수 있다.
앞서 설명한 바와 같이, 서비스 서버(100)는 점 결함 검출 서비스를 제공하기 위해 사전 학습된 딥러닝 모델을 구축하여 구비할 수 있다. 이때, 딥러닝 모델은 적어도 하나 이상일 수 있으며, 그 개수나 학습 방식을 한정하지는 않는다. 또한, 서비스 서버(100)는 구축된 딥러닝 모델에 대한 계속적인 관리, 즉, 재학습 및/또는 업데이트를 통해 그 성능을 개선하도록 할 수 있다.
한편, 사용자 단말(200)은 서비스 서버(100)에 의해 제공되는 점 결함 검출 서비스를 이용하기 위해 서비스 서버(100)에 사전 등록된 사용자가 소지하는 단말을 통칭하는 것으로서, 적어도 하나 이상으로 구성될 수 있다.
각 사용자는 사용자 단말(200)을 통해 서비스 서버(100)로 서비스 제공 요청을 송신하고, 그에 대한 응답으로서, 서비스 서버(100)로부터 저차원 재료에 대한 이미지를 기반으로 도출된 분류 결과를 제공받을 수 있다.
그에 따라, 사용자 단말(200)은 그 분류 결과를 사용자 단말(200)에 구비된 디스플레이모듈 또는 별도로 연결된 디스플레이모듈 상에 표시하여 사용자가 시각적으로 용이하게 확인하도록 할 수 있다.
한편, 각 사용자 단말(200)은 각 사용자가 원하는 다수의 응용 프로그램(즉, 어플리케이션)을 설치하여 실행할 수 있는 컴퓨터, UMPC(Ultra Mobile PC), 워크스테이션, 넷북(net-book), PDA(Personal Digital Assistants), 포터블(portable) 컴퓨터, 웹 테블릿(web tablet), 무선 전화기(wireless phone), 모바일 폰(mobile phone), 스마트 폰(smart phone), 패드(Pad), 스마트 워치(Smart watch), 웨어러블(wearable) 단말, e-북(e-book), PMP(portable multimedia player), 휴대용 게임기, 네비게이션(navigation) 장치, 블랙 박스(black box) 또는 디지털 카메라(digital camera), 헤드 마운트 디스플레이(Head Mounted Display, HMD), 기타 이동통신 단말 등일 수 있다. 즉, 각 사용자 단말(200)은 다양한 형태로 구비될 수 있으며, 그 형태, 개수 및 종류를 한정하지 않는다.
상술한 바와 같이, 본 개시에 따른 자동 검출 시스템(1000)은 네트워크를 기반으로 하는 서비스 서버(100) 및 사용자 단말(200) 간 데이터/정보 송수신을 통해 구현될 수 있다.
도 2는 본 개시의 일 실시예에 따라 딥러닝 기반 저차원 재료의 점 결함 자동 검출을 수행하는 서비스 서버의 구성을 나타내는 도면이다.
도 2를 참조하면, 본 개시의 일 실시예에 따른 서비스 서버(100)는 통신모듈(110), 메모리(120) 및 프로세서(130) 중 적어도 하나를 포함하여 구성될 수 있다.
통신모듈(110)은 각종 단말(장치), 외부 저장소(예를 들어, 데이터베이스(database, 140)), 외부 서버 및 클라우드 서버 중 적어도 하나와 통신을 수행할 수 있다.
한편, 외부 서버 또는 클라우드 서버에서는, 프로세서(130)의 적어도 일부의 역할을 수행하도록 구성될 수 있다. 즉, 데이터 처리 또는 데이터 연산 등의 수행은 외부 서버 또는 클라우드 서버에서 이루어지는 것이 가능하며, 본 개시에서는 이러한 방식에 대한 특별한 제한을 두지 않는다.
한편, 통신모듈(110)은 통신하는 대상(예를 들어, 전자기기, 외부 서버, 디바이스 등)의 통신 규격에 따라 다양한 통신 방식을 지원할 수 있다.
예를 들어, 통신모듈(110)은, WLAN(Wireless LAN), Wi-Fi(Wireless-Fidelity), Wi-Fi(Wireless Fidelity) Direct, DLNA(Digital Living Network Alliance), WiBro(Wireless Broadband), WiMAX(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), LTE(Long Term Evolution), LTE-A(Long Term Evolution-Advanced), 5G(5th　Generation　Mobile　Telecommunication　), 블루투스(Bluetooth™), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), UWB(Ultra-Wideband), ZigBee, NFC(Near Field Communication), Wi-Fi Direct, Wireless USB(Wireless Universal Serial Bus) 기술 중 적어도 하나를 이용하여, 통신 대상과 통신하도록 이루어질 수 있다.
한편, 메모리(120)는, 본 개시와 관련된 다양한 정보를 저장하도록 이루어질 수 있다. 본 개시에서 메모리(120)는 본 개시에 따른 장치 자체에 구비될 수 있다. 이와 다르게, 메모리(120)의 적어도 일부는, 데이터베이스(database: DB, 140) 및 클라우드 저장소(또는 클라우드 서버) 중 적어도 하나를 의미할 수 있다. 즉, 메모리(120)는 본 개시에 따른 장치 및 방법을 위하여 필요한 정보가 저장되는 공간이면 충분하며, 물리적인 공간에 대한 제약은 없는 것으로 이해될 수 있다. 이에, 이하에서는, 메모리(120), 데이터베이스(140), 외부 저장소, 클라우드 저장소(또는 클라우드 서버)를 별도로 구분하지 않고, 모두 메모리(120)라고 표현하도록 한다.
이 메모리(120)는 서비스 서버(100)에서 구동되는 다수의 응용 프로그램(application program 또는 애플리케이션(application), 서비스 서버(100)의 동작을 위한 데이터들, 명령어들을 저장할 수 있다. 이러한 응용 프로그램 중 적어도 일부는, 무선 통신을 통해 외부 서버로부터 다운로드 될 수 있다. 한편, 응용 프로그램은, 메모리(120)에 구비된 적어도 하나의 메모리에 저장되고, 서비스 서버(100) 상에 설치되어, 프로세서(130)를 통해 메모리(120)에 저장된 적어도 하나의 프로세서에 의하여 동작(또는 기능)을 수행하도록 구동될 수 있다.
한편, 적어도 하나의 메모리는 플래시 메모리 타입(flash memory type), 하드 디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 아울러, 메모리는 일시적, 영구적 또는 반영구적으로 정보를 저장할 수 있으며, 내장형 또는 탈착형으로 제공될 수 있다.
다음으로, 프로세서(130)는 본 개시와 관련된 장치의 전반적인 동작을 제어하도록 이루어질 수 있다. 프로세서(130)는 위에서 살펴본 구성요소들을 통해 입력 또는 출력되는 신호, 데이터, 정보 등을 처리하거나 사용자(관리자, 작업자, 검수자 등을 포함함)에게 적절한 정보 또는 기능을 제공 또는 처리할 수 있다.
프로세서(130)는 적어도 하나의 CPU 및 적어도 하나의 NPU를 포함하여, 본 개시에 따른 기능을 수행할 수 있다.
구체적으로, 프로세서(130)는 저차원 재료에 대한 이미지를 획득하고, 입력된 이미지를 기반으로 사전 설정된 형상의 단위 유닛 셀을 추출하여 두 채널을 통해 상기 단위 유닛 셀에 대한 분석을 수행함으로써 저차원 재료의 점 결함에 대한 분류 결과를 출력하도록 사전 학습된 딥러닝 모델에 상기 획득된 이미지를 입력한 후, 딥러닝 모델로부터 상기 획득된 이미지 기반의 분류 결과가 출력되면, 그 분류 결과를 사용자에게 제공하도록 구성될 수 있다.
여기서, 이미지는 저차원 재료의 원자 이미지로서, 점 결함이 포함된 상기 저차원 재료의 주사투과전자현미경 이미지를 나타낼 수 있다. 예를 들어, 이미지는 HAADF 이미지 또는 ABF 이미지 중 적어도 하나일 수 있다. 또한, 저차원 재료는 원자층 두께의 물질을 이차원적으로 배열하고 있는 것으로서, 모노레이어 또는 바이레이어로 이루어질 수 있다. 예를 들어, 저차원 재료는 전이 금속 디칼코게나이드일 수 있다. 아울러, 점 결함은 공공(vacancy), 치환형 결함(substitutional defect), 침입형 결함(interstitial defect), 또는 공공(vacancy)에서 원자의 화학 흡착(chemisorption) 중 적어도 하나를 포함할 수 있다.
이러한 점 결함 검출 서비스를 제공하기 위해서, 프로세서(130)는 사전 학습된 딥러닝 모델을 적어도 하나 이상 구비하여 구축한다. 이때, 적어도 하나의 딥러닝 모델은 입력된 이미지를 기반으로 단위 유닛 셀을 추출하되, 그 단위 유닛 셀은 육각형 형태로 추출될 수 있다. 그에 따라, 이미지 내에서 추출되는 단위 유닛 셀들은 이웃하는 셀 간에 중첩되는 부분이 존재하게 되므로, 이미지에 대한 보다 정확한 분석이 가능하도록 한다.
이를 위해, 프로세서(130)는 정확한 단위 유닛 셀의 위치를 감지하는 것이 중요하다. 그러나 VTe2 + VMo와 같이 대비가 약한 결함 유형의 경우에는 단위 유닛 셀의 위치(경계)가 모호하기 때문에, 딥러닝 모델을 통해 입력된 이미지에서 육각형 셀을 감지한 다음 육각형 셀에서 단위 셀을 추출하는 후처리를 수행하도록 한다. 이로써, 저차원 재료에서 약한 대비(예를 들어, VTe1 + VMo 또는 VTe2 +VMo)에서도 단위 유닛 셀을 정확하게 추출할 수 있다.
도 3을 참조하면, 프로세서(130)는 사전 설정된 비율을 만족하는 부분을 상기 단위 유닛 셀로서 추출하는데, (a)에 도시된 바와 같이 이 비율은 하기 <수학식 1> 또는 <수학식 2>를 기반으로 사전 설정될 수 있다.
여기서, a는 비율, WU는 단위 유닛 셀의 너비, WH는 육각형 셀의 너비를 나타낼 수 있다.
여기서, b는 비율, HU는 단위 유닛 셀의 높이, HH는 육각형 셀의 높이를 나타낼 수 있다.
이후, 프로세서(130)는 A, B, C 및 D의 좌표를 확인할 수 있는데, 각 지표는 A(xmin, ymin); B(xmin + a _ WH, ymin +b _ HH); C(xmax _ a _ WH, ymax _ b _ HH); D(xmax, ymax)와 같이 정의될 수 있다.
이러한 좌표는 (b)에 도시된 바와 같이 녹색 육각형 셀 하나에서 후처리된 두 개의 녹색 단위 유닛 셀을 추출하는 데 활용될 수 있다. 이러한 추출 공정의 성능을 평가하기 위해 IoU(Intersection over Union)을 추정하였다. 도 (b)에 도시된 바와 같이, 왼쪽 도면은 a를 0.55에서 0.70(0.05 증가)으로, b를 0.45에서 0.60(0.05 증가)으로 변화시켜 얻은 IoU를 계산한 것이다. 전체 검사를 통해 a가 0.65, b가 0.5로 가장 높은 IoU(적색 점선 원), 즉, 단위 유닛 셀의 검출 정확도를 나타냈다. 여기서, (b)의 오른쪽 도면과 같이 IoU는 ''실제 값(적색)과 감지된 단위 유닛 셀(녹색)의 교차 영역''을 ''실제 값과 감지된 단위 유닛 셀의 영역''으로 나누어 정의할 수 있다.
한편, 프로세서(130)는 단위 유닛 셀의 두 개의 채널을 기반으로 분석 수행하여 점 결함에 대한 분류를 수행한다. 이때, 두 채널은 상기 Te2 영역에 기초하여 상기 점 결함을 분류하는 제1 채널 및 상기 Mo 영역에 기초하여 상기 점 결함을 분류를 수행하는 제2 채널을 포함할 수 있다. 그에 따라, 프로세서(130)는 단위 유닛 셀의 Te2 영역 및 Mo 영역을 각각 제1 채널 및 제2 채널에 입력한다. 즉, 제1 채널에는 전체 단위 유닛 셀이 입력되고, 제2 채널에는 이 전체 단위 유닛 셀의 Te2 영역 및 Mo 영역이 분리되어 입력된다.
이와 같이, 두 채널을 이용하여 분석을 수행함에 따라 점 결함에 대해 보다 높은 정확도의 분류 결과를 도출할 수 있게 된다.
이를 위해, 프로세서(130)는 시뮬레이션을 통해 점 결함이 포함된 저차원 재료의 이미지(주사투과전자현미경 이미지)를 생성하여 학습데이터 셋을 구축하고, 그 구축된 학습데이터 셋을 이용하여 딥러닝 알고리즘을 기반으로 사전 학습을 수행하여 적어도 하나의 딥러닝 모델을 생성할 수 있다. 이 적어도 하나의 딥러닝 모델을 사전 학습하는 동작에 대해서는 이하에서 도 6 내지 도 10을 기반으로 설명하도록 한다.
한편, 프로세서(130)는 분류 결과를 사용자 단말(200)로 송신하여, 그 사용자 단말(200)에 구비된 디스플레이모듈 또는 별도의 디스플레이모듈 상 분류 결과가 표시되도록 하여 사용자가 육안으로 확인 가능하도록 제공할 수 있다.
그 외, 프로세서(130)의 구체적인 동작에 대해서는 이하에서 각각의 도면을 기반으로 설명하도록 한다.
또한, 도 2에 도시된 구성 요소들의 성능에 대응하여 적어도 하나의 구성요소가 추가되거나 삭제될 수 있다. 또한, 구성 요소들의 상호 위치는 장치의 성능 또는 구조에 대응하여 변경될 수 있다는 것은 당해 기술 분야에서 통상의 지식을 가진 자에게 용이하게 이해될 것이다.
도 4는 본 개시의 일 실시예에 따른 서비스 서버로부터 딥러닝 기반 저차원 재료의 점 결함 자동 검출에 따른 분류 결과를 제공받는 사용자 단말의 구성을 나타내는 도면이다.
도 4를 참조하면, 사용자 단말(200)은 메모리 인터페이스(210), 하나 이상의 프로세서(220) 및 주변 인터페이스(230)를 포함할 수 있다. 사용자 단말(200) 내의 다양한 컴포넌트들은 하나 이상의 통신 버스 또는 신호 라인에 의해 연결될 수 있다.
메모리 인터페이스(210)는 메모리(250)에 연결되어 프로세서(220)로 다양한 데이터를 전할 수 있다. 여기서, 메모리(250)는 플래시 메모리 타입, 하드디스크 타입, 멀티미디어 카드 마이크로 타입, 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램, SRAM, 롬, EEPROM, PROM, 네트워크 저장 스토리지, 클라우드, 블록체인 데이터베이스 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
다양한 실시예에서, 메모리(250)는 점 결함 검출 서비스를 이용하기 위한 웹/앱 애플리케이션 또는 프로그램을 저장할 수 있다. 또한, 메모리(250)는 적어도 하나의 의료진, 환자, 보호자 등에 대한 각종 정보를 저장할 수 있으며, 애플리케이션 또는 프로그램을 통해 획득되는 각종 정보들을 저장할 수 있다.
다양한 실시예에서, 메모리(250)는 운영 체제(251), 통신 모듈(252), 그래픽 사용자 인터페이스 모듈(GUI)(253), 센서 처리 모듈(254), 전화 모듈(255) 및 애플리케이션 모듈(256) 중 적어도 하나 이상을 저장할 수 있다. 구체적으로, 운영 체제(251)는 기본 시스템 서비스를 처리하기 위한 명령어 및 하드웨어 작업들을 수행하기 위한 명령어를 포함할 수 있다. 통신 모듈(252)은 다른 하나 이상의 디바이스, 컴퓨터 및 서버 중 적어도 하나와 통신할 수 있다. 그래픽 사용자 인터페이스 모듈(GUI)(253)은 그래픽 사용자 인터페이스를 처리할 수 있다. 센서 처리 모듈(254)은 센서 관련 기능(예를 들어, 하나 이상의 마이크(292)를 통해 수신된 음성 입력을 처리함)을 처리할 수 있다. 전화 모듈(255)은 전화 관련 기능을 처리할 수 있다. 애플리케이션 모듈(256)은 사용자 애플리케이션의 다양한 기능들, 예컨대 전자 메시징, 웹 브라우징, 미디어 처리, 탐색, 이미징, 기타 프로세스 기능을 수행할 수 있다. 아울러, 사용자 단말(200)은 메모리(250)에 어느 한 종류의 서비스와 연관된 하나 이상의 소프트웨어 애플리케이션(256-1, 256-2)(예. 서비스용 애플리케이션)을 저장할 수 있다.
다양한 실시예에서, 메모리(250)는 디지털 어시스턴트 클라이언트 모듈(257)(이하, DA 클라이언트 모듈)을 저장할 수 있으며, 그에 따라 디지털 어시스턴트의 클라이언트 측의 기능을 수행하기 위한 명령어 및 다양한 사용자 데이터(258)(예. 환자 맞춤형 어휘 데이터, 선호도 데이터, 사용자의 전자 주소록 등과 같은 기타 데이터)를 저장할 수 있다.
한편, DA 클라이언트 모듈(257)은 사용자 단말(200)에 구비된 다양한 사용자 인터페이스(예. I/O 서브시스템(240))를 통해 사용자의 음성 입력, 텍스트 입력, 터치 입력 및/또는 제스처 입력을 획득할 수 있다.
또한, DA 클라이언트 모듈(257)은 시청각적, 촉각적 형태의 데이터를 출력할 수 있다. 예를 들어, DA 클라이언트 모듈(257)은 음성, 소리, 알림, 텍스트 메시지, 메뉴, 그래픽, 비디오, 애니메이션 및 진동 중 적어도 둘 하나 이상의 조합으로 이루어진 데이터를 출력할 수 있다. 아울러, DA 클라이언트 모듈(257)은 통신 서브시스템(280)을 이용하여 디지털 어시스턴트 서버(미도시)와 통신할 수 있다.
다양한 실시예에서, DA 클라이언트 모듈(257)은 사용자 입력과 연관된 상황(context)을 구성하기 위하여 다양한 센서, 서브시스템 및 주변 디바이스로부터 사용자 단말(200)의 주변 환경에 대한 추가 정보를 수집할 수 있다. 예를 들어, DA 클라이언트 모듈(257)은 사용자 입력과 함께 상황 정보를 디지털 어시스턴트 서버에 제공하여 사용자의 의도를 추론할 수 있다. 여기서, 사용자 입력에 동반될 수 있는 상황 정보는 센서 정보, 예를 들어, 광(lighting), 주변 소음, 주변 온도, 주변 환경의 이미지, 비디오 등을 포함할 수 있다. 다른 예를 들어, 상황 정보는 사용자 단말(200)의 물리적 상태(예. 디바이스 배향, 디바이스 위치, 디바이스 온도, 전력 레벨, 속도, 가속도, 모션 패턴, 셀룰러 신호 강도 등)을 포함할 수 있다. 또 다른 예를 들어, 상황 정보는 사용자 단말(200)의 소프트웨어 상태에 관련된 정보(예. 사용자 단말(200)에서 실행 중인 프로세스, 설치된 프로그램, 과거 및 현재 네트워크 활동성, 백그라운드 서비스, 오류 로그, 리소스 사용 등)를 포함할 수 있다.
다양한 실시예에서, 메모리(250)는 추가 또는 삭제된 명령어를 포함할 수 있다. 나아가, 사용자 단말(200)도 도 4에 도시된 구성 외에 추가 구성을 포함하거나, 일부 구성을 제외할 수도 있다.
프로세서(220)는 사용자 단말(200)의 전반적인 동작을 제어할 수 있으며, 메모리(250)에 저장된 어플리케이션 또는 프로그램을 구동하여 서비스 서버(100)가 제공하는 점 결함 검출 서비스를 이용하기 위한 다양한 명령들을 수행할 수 있다.
프로세서(220)는 CPU(Central Processing Unit)나 AP(Application Processor)와 같은 연산 장치에 해당할 수 있다. 또한, 프로세서(220)는 NPU(Neural Processing Unit)와 같이 기계 학습을 수행하는 다양한 연산 장치가 통합된 SoC(System on Chip)와 같은 통합 칩(Integrated Chip (IC))의 형태로 구현될 수 있다.
다양한 실시예에서, 프로세서(220)는 사용자 인터페이스 화면을 통해 플랫폼을 기반으로 사용자에 대한 각종 정보 및/또는 데이터 등이 제공될 수 있다.
주변 인터페이스(230)는 다양한 센서, 서브 시스템 및 주변 디바이스와 연결되어, 사용자 단말(200)가 다양한 기능을 수행할 수 있도록 데이터를 제공해 줄 수 있다. 여기서, 사용자 단말(200)가 어떠한 기능을 수행한다는 것은 프로세서(220)에 의해 수행되는 것으로 이해될 수 있다.
주변 인터페이스(230)는 모션 센서(260), 조명 센서(광 센서)(261) 및 근접 센서(262)로부터 데이터가 제공될 수 있으며, 이를 통해, 사용자 단말(200)은 배향, 광, 및 근접 감지 기능 등을 수행할 수 있다. 다른 예를 들어, 주변 인터페이스(230)는 기타 센서들(263)(포지셔닝 시스템-GPS 수신기, 온도 센서, 생체인식 센서)로부터 데이터가 제공될 수 있으며, 이를 통해 사용자 단말(200)가 기타 센서들(263)과 관련된 기능들을 수행할 수 있다.
다양한 실시예에서, 사용자 단말(200)은 주변 인터페이스(230)와 연결된 카메라 서브시스템(270) 및 이와 연결된 광학 센서(271)를 포함할 수 있으며, 이를 통해 사용자 단말(200)은 사진 촬영 및 비디오 클립 녹화 등의 다양한 촬영 기능을 수행할 수 있다. 이때, 카메라 서브시스템(270)은 적어도 하나의 촬영장치를 포함하는 하나의 촬영모듈로 구비될 수 있다. 여기서, 적어도 하나의 촬영장치는 2D 카메라, 3D 카메라, ToF(Time of Flight) 카메라, 라이트 필드 카메라(light field camera), 스테레오 카메라, 이벤트 카메라, 적외선 카메라, 라이다(lidar) 센서 또는 어레이 카메라(array camera) 중 적어도 하나를 포함하여 구성될 수 있다.
다양한 실시예에서, 사용자 단말(200)은 주변 인터페이스(230)와 연결된 통신 서브 시스템(280)을 포함할 수 있다. 통신 서브 시스템(280)은 하나 이상의 유/무선 네트워크로 구성되며, 다양한 통신 포트, 무선 주파수 송수신기, 광학 송수신기를 포함할 수 있다.
다양한 실시예에서, 사용자 단말(200)은 주변 인터페이스(230)와 연결된 오디오 서브 시스템(290)을 포함하며, 이러한 오디오 서브 시스템(290)은 하나 이상의 스피커(291) 및 하나 이상의 마이크(292)를 포함함으로써, 사용자 단말(200)은 음성 작동형 기능, 예컨대 음성 인식, 음성 복제, 디지털 녹음, 및 전화 기능 등을 수행할 수 있다.
다양한 실시예에서, 사용자 단말(200)은 주변 인터페이스(230)와 연결된 I/O 서브시스템(240)을 포함할 수 있다. 예를 들어, I/O 서브시스템(240)은 터치 스크린 제어기(241)를 통해 사용자 단말(200)에 포함된 터치 스크린(243)을 제어할 수 있다.
예를 들어, 터치 스크린 제어기(241)는 정전용량형, 저항형, 적외형, 표면 탄성파 기술, 근접 센서 어레이 등과 같은 복수의 터치 감지 기술 중 어느 하나의 기술을 사용하여 사용자의 접촉 및 움직임 또는 접촉 및 움직임의 중단을 검출할 수 있다. 다른 예를 들어, I/O 서브시스템(240)은 기타 입력 제어기(들)(242)를 통해 사용자 단말(200)에 포함된 기타 입력/제어 디바이스(244)를 제어할 수 있다. 일 예로서, 기타 입력 제어기(들)(242)는 하나 이상의 버튼, 로커 스위치(rocker switches), 썸 휠(thumb-wheel), 적외선 포트, USB 포트 및 스타일러스 등과 같은 포인터 디바이스를 제어할 수 있다.
도 5는 본 개시의 일 실시예에 따른 딥러닝 기반 저차원 재료의 점 결함 자동 검출 방법을 나타내는 도면이다.
도 5를 참조하면, 서비스 서버(100)는 저차원 재료에 대한 이미지를 획득하고(S110), 입력된 이미지를 단위 유닛 셀로 추출하여 두 채널을 기반으로 상기 단위 유닛 셀에 대한 분석을 수행하여 저차원 재료의 점 결함에 대한 분류 결과를 출력하도록 사전 학습된 딥러닝 모델에 상기 획득된 이미지를 입력한다(S120).
그 다음으로, 서비스 서버(100)는 딥러닝 모델로부터 상기 획득된 이미지 기반의 분류 결과가 출력되면, 그 분류 결과를 사용자에게 제공한다(S130).
한편, 앞서 설명한 바와 같이, 적어도 하나의 딥러닝 모델을 사전 학습하여 구비할 수 있다.
도 6은 본 개시의 일 실시예에 따라 딥러닝 모델을 사전 학습하는 구체적인 동작을 설명하기 위한 도면이다.
도 6을 참조하면, 서비스 서버(100)는 시뮬레이션을 통해 점 결함이 포함된 저차원 재료의 이미지(주사투과전자현미경 이미지)를 생성하여 학습데이터 셋을 구축한다(S210).
이때, 시뮬레이션을 통해 생성된 이미지는 노이즈(noise)를 입히는 등의 서브 샘플링(subsampling)도 부가하여 학습을 위한 학습데이터로서 생성된 것일 수 있다. 또한, 서비스 서버(100)는 데이터 증강(data augmentation)을 사용하여 학습에 사용할 이미지의 개수를 증가시킬 수도 있다.
도 7에 도시된 바와 같이, 예를 들어, 서비스 서버(100)는 제1 딥러닝 모델 및 제2 딥러닝 모델을 위해 랜덤 포아송/가우스 노이즈 변화를 사용하여 학습데이터 셋을 구성할 수 있다.
도 7의 (a)는 제1 딥러닝 모델을 학습하기 위해 랜덤 노이즈가 적용된 이미지이고, (b)는 제2 딥러닝 모델을 학습하기 위해 랜덤 노이즈가 적용된 이미지이다.
이때, 각 이미지에 대해 0≤λ≤20(μ=20)의 포아송(가우시안) 잡음 매개변수를 사용하여 잡음을 변조하였다. 그러나, 이는 하나의 예시일 뿐, 그 잡음 매개변수는 서비스 서버(100)의 관리자 또는 사용자에 의해 설정될 수 있는 것으로, 특정 수치로 한정하지는 않는다.
특히, 제2 딥러닝 모델을 위해서는, 도 7의 (b)에서와 같이 다양한 점 결함이 포함된 이미지가 생성될 수 있다. 여기서, Perfect는 완벽한 상태, VMo는 Mo 원자 1개가 비어있는 결함 상태, VTe1는 Te 원자 1개가 비어있는 결함 상태, VTe2는 2개의 Te 원자가 모두 비어있는 결함 상태를 나타내는 것으로, 하나의 이미지는 하나의 결함 상태를 포함할 수도 있고, 복수의 결함 상태를 포함할 수 있다. 아울러, 그 결함 상태(결함 유형)를 기반으로 각 이미지에 대한 레이블링을 수행할 수 있다. 도 7의 (b)는 총 6개의 결함 유형에 대한 예시를 도시하였으며, 이 경우 0에서 5까지의 레이블(0: 완벽, 1: VTe1, 2: VTe2, 3: VMo, 4: VTe1+VMo, 5: VTe2+VMo)이 지정될 수 있다.
그 다음으로, S210 단계에 의해 구축된 학습데이터 셋을 이용하여 제1 딥러닝 모델 및 제2 딥러닝 모델 각각에 대한 학습을 수행한다(S220). 이때, 제1 딥러닝 모델 및 제2 딥러닝 모델은 모두 CNN(Convolution Neural Network) 알고리즘에 기반한 것일 수 있다.
먼저, 도 8을 기반으로 제1 딥러닝 모델에 대한 학습을 수행하는 동작에 대해 살펴보도록 한다. 이때, 베이스 네트워크로서 MobileNetV2을 사용하였으나, 이는 하나의 예시일 뿐, 이를 한정하지 않는다.
도 8을 참조하면, 제1 딥러닝 모델은 이미지가 입력되면, 일련의 합성곱, 즉, 컨볼루션 블록(Convolution block), 역 잔여 블록(Inverted residual block) 및 피쳐맵(Feature map)을 통과한다. 이후, RPN(Region Proposal Network) 및 Fast RCNN을 결합하여 육각형 셀의 최종 위치를 예측한다. 여기서, 제1 딥러닝 모델은 육각형 셀의 크기 및 위치를 정확하게 예측하도록 학습된다(출력에서 'Predicted bbox'라 칭함).
또한, 도 9를 기반으로 제2 딥러닝 모델에 대한 학습을 수행하는 동작에 대해 살펴보도록 한다.
이때, 서비스 서버(100)는 레이블이 지정된 단위 유닛 셀을 무작위로 섞어 제2 딥러닝 모델에 입력한다. 제2 딥러닝 모델은 입력된 단위 유닛 셀에서 각 결함 유형의 확률을 예측한다. 이 제2 딥러닝 모델에 대한 반복 학습을 수행하여 각 레이블이 지정된 결함 유형의 확률이 100%가 될 확률을 예측하고 분류된 점 결함 유형은 다른 색상 코드로 구별할 수 있다. 결과적으로, 학습된 제2 딥러닝 모델은 제1 딥러닝 모델에서 추출한 각 단위 유닛 셀에서 결함 유형을 예측하고, 사후 처리하며 예측된 결함 유형에 해당하는 각 단위 유닛 셀의 위치에 색상으로 구분된 표식(사각형 등의 도형)을 사용하여 표시할 수 있다.
그러나, 적어도 하나의 딥러닝 모델의 개수나 각 딥러닝 모델에 적용되는 학습 방식을 한정하지는 않는다.
도 10은 본 개시의 일 실시예에 따른 딥러닝 모델의 점 결함 분류 성능에 대한 실험 결과의 일 예시를 나타내는 도면이다.
먼저, 이 실험은 총 11개의 이미지(3037개의 단위 유닛 셀 검사)에 대한 점 결함 분류 성능의 정확도를 나타낸 것으로, 각각 제1 채널(연한 파란색) 및 제2 채널(연한 분홍색)에 관련한 것이다. 제1 채널의 입력에 대한 Perfect, VTe1, VTe2 및 VMo의 정확도는 각각 100%, 52.48%, 35.71% 및 33.33%으로 나타났고, 제2 채널의 입력에 대한 Perfect, VTe1, VTe2 및 VMo의 정확도는 각각 100%, 97.87%, 100% 및 100%으로 나타났다.
특히, 제2 채널의 입력에 대한 점 결함 분류의 정확도가 제1 채널의 입력에 대한 점 결함 분류의 정확도에 비해 월등하게 향상된 것을 확인할 수 있었다.
결과적으로, 두 채널을 이용하여 분류를 수행하는 것이 점 결함을 정확하게 검출하기에 최적임을 시사하는 것이라 볼 수 있다.
상기에서 살펴본 바와 같이, 본 개시에 따르면, 사전 학습된 딥러닝 모델을 기반으로 저차원 재료의 이미지 내 점 결함을 작업자의 개입없이 자동으로 분류함으로써, 분류 작업에 대한 정확도는 물론, 효율성을 향상시킬 수 있다.
상기 전술한 프로그램은, 상기 컴퓨터가 프로그램을 읽어 들여 프로그램으로 구현된 상기 방법들을 실행시키기 위하여, 상기 컴퓨터의 프로세서(CPU)가 상기 컴퓨터의 장치 인터페이스를 통해 읽힐 수 있는 C, C++, JAVA, 기계어 등의 컴퓨터 언어로 코드화된 코드(Code)를 포함할 수 있다. 이러한 코드는 상기 방법들을 실행하는데에 필요한 기능들을 정의한 함수 등과 관련된 기능적인 코드(Functional Code)를 포함할 수 있고, 상기 기능들을 상기 컴퓨터의 프로세서가 소정의 절차대로 실행시키는데 필요한 실행 절차 관련 제어 코드를 포함할 수 있다. 또한, 이러한 코드는 상기 기능들을 상기 컴퓨터의 프로세서가 실행시키는데 필요한 추가 정보나 미디어가 상기 컴퓨터의 내부 또는 외부 메모리의 어느 위치(주소 번지)에서 참조되어야 하는지에 대한 메모리 참조관련 코드를 더 포함할 수 있다. 또한, 상기 컴퓨터의 프로세서가 상기 기능들을 실행시키기 위하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 통신이 필요한 경우, 코드는 상기 컴퓨터의 통신모듈을 이용하여 원격에 있는 어떠한 다른 컴퓨터나 서버 등과 어떻게 통신해야 하는지, 통신 시 어떠한 정보나 미디어를 송수신해야 하는지 등에 대한 통신 관련 코드를 더 포함할 수 있다.
상기 저장되는 매체는, 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상기 저장되는 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있지만, 이에 제한되지 않는다. 즉, 상기 프로그램은 상기 컴퓨터가 접속할 수 있는 다양한 서버 상의 다양한 기록매체 또는 사용자의 상기 컴퓨터상의 다양한 기록매체에 저장될 수 있다. 또한, 상기 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장될 수 있다.
본 개시의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 개시가 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.
이상, 첨부된 도면을 참조로 하여 본 개시의 실시예를 설명하였지만, 본 개시가 속하는 기술분야의 통상의 기술자는 본 개시가 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.
1000: 자동 검출 시스템
100: 서비스 서버
110: 통신모듈 120: 메모리
130: 프로세서 140: 데이터베이스
200: 사용자 단말
210: 메모리 인터페이스 220: 프로세서
230: 주변 인터페이스 240: I/O 서브 시스템
241: 터치 스크린 제어기 242: 기타 입력 제어기
243: 터치 스크린
244: 기타 입력 제어 디바이스
250: 메모리 251: 운영 체제
252: 통신모듈 253: GUI 모듈
254: 센서 처리 모듈 255: 전화 모듈
256: 애플리케이션들
256-1, 256-2: 애플리케이션
257: 디지털 어시스턴트 클라이언트 모듈
258: 사용자 데이터
260: 모션 센서 261: 조명 센서
262: 근접 센서 263: 기타 센서
270: 카메라 서브 시스템 271: 광학 센서
280: 통신 서브 시스템
290: 오디오 서브 시스템
291: 스피커 292: 마이크

Claims (21)

  1. 외부 장치와 통신을 수행하는 통신모듈;
    딥러닝 기반 저차원 재료의 점 결함 자동 검출 동작을 수행하기 위한 적어도 하나의 프로세스가 저장된 메모리; 및
    상기 프로세스에 따라 상기 점 결함 자동 검출 동작을 수행하는 프로세서를 포함하며,
    상기 프로세서는,
    저차원 재료에 대한 이미지를 획득하고, 입력된 이미지를 기반으로 사전 설정된 형상의 단위 유닛 셀을 추출하여 두 채널을 통해 상기 단위 유닛 셀에 대한 분석을 수행함으로써 저차원 재료의 점 결함에 대한 분류 결과를 출력하도록 사전 학습된 딥러닝 모델에 상기 획득된 이미지를 입력하고, 상기 딥러닝 모델로부터 상기 획득된 이미지 기반의 분류 결과가 출력되면, 상기 분류 결과를 제공하도록 구성된,
    딥러닝 기반 저차원 재료의 점 결함 자동 검출 장치.
  2. 제1항에 있어서,
    상기 딥러닝 모델은,
    상기 단위 유닛셀을 육각형 형태로 추출하는,
    딥러닝 기반 저차원 재료의 점 결함 자동 검출 장치.
  3. 제2항에 있어서,
    상기 딥러닝 모델은,
    사전 설정된 비율을 만족하도록 상기 단위 유닛을 추출하는,
    딥러닝 기반 저차원 재료의 점 결함 자동 검출 장치.
  4. 제1항에 있어서,
    상기 딥러닝 모델은,
    단위 셀에 대한 분석을 수행하기 위해, 상기 단위 유닛 셀의 Te2 영역 및 Mo 영역을 상기 두 채널에 각각 입력하고,
    상기 두 채널은,
    상기 Te2 영역에 기초하여 상기 점 결함을 분류하는 제1 채널 및 상기 Mo 영역에 기초하여 상기 점 결함을 분류를 수행하는 제2 채널을 포함하는,
    딥러닝 기반 저차원 재료의 점 결함 자동 검출 장치.
  5. 제4항에 있어서,
    상기 딥러닝 모델은,
    CNN(Convolution Neural Network) 알고리즘에 기반한 것으로,
    상기 입력된 이미지로부터 단위 유닛 셀을 추출하도록 사전 학습된 제1 딥러닝 모델 및 상기 추출된 단위 유닛 셀을 기초로 상기 두 채널 각각에서 상기 점 결함을 분류하도록 사전 학습된 제2 딥러닝 모델을 포함하는,
    딥러닝 기반 저차원 재료의 점 결함 자동 검출 장치.
  6. 제1항에 있어서,
    상기 이미지는,
    상기 점 결함이 포함된 상기 저차원 재료의 주사투과전자현미경 이미지로서, HAADF 이미지 또는 ABF 이미지 중 적어도 하나를 포함하는,
    딥러닝 기반 저차원 재료의 점 결함 자동 검출 장치.
  7. 제1항에 있어서,
    상기 저차원 재료는,
    원차층 두께의 물질을 이차원적으로 배열하고 있는 것인,
    딥러닝 기반 저차원 재료의 점 결함 자동 검출 장치.
  8. 제1항에 있어서,
    상기 저차원 재료는,
    모노레이어 또는 바이레이어로 이루어지는 것인,
    딥러닝 기반 저차원 재료의 점 결함 자동 검출 장치.
  9. 제1항에 있어서,
    상기 점 결함은,
    공공(vacancy), 치환형 결함(substitutional defect), 침입형 결함(interstitial defect) 또는 공공(vacancy)에서 원자의 화학 흡착(chemisorption) 중 적어도 하나를 포함하는,
    딥러닝 기반 저차원 재료의 점 결함 자동 검출 장치.
  10. 제1항에 있어서,
    상기 딥러닝 모델은,
    시뮬레이션을 통해 점 결함이 포함된 저차원 재료의 주사투과전자현미경 이미지를 생성하여 학습데이터 셋을 구축하고, 상기 구축된 학습데이터 셋을 이용하여 딥러닝 알고리즘을 기반으로 사전 학습되어 생성된 것인,
    딥러닝 기반 저차원 재료의 점 결함 자동 검출 장치.
  11. 장치에 의해 수행되는, 딥러닝 기반 저차원 재료의 점 결함 자동 검출 방법에 있어서,
    저차원 재료에 대한 이미지를 획득하는 단계;
    입력된 이미지를 기반으로 사전 설정된 형상의 단위 유닛 셀을 추출하여 두 채널을 통해 상기 단위 유닛 셀에 대한 분석을 수행함으로써 저차원 재료의 점 결함에 대한 분류 결과를 출력하도록 사전 학습된 딥러닝 모델에 상기 획득된 이미지를 입력하는 단계; 및
    상기 학습모델로부터 상기 획득된 이미지 기반의 분류 결과가 출력되면, 상기 분류 결과를 제공하는 단계를 포함하는,
    딥러닝 기반 저차원 재료의 점 결함 자동 검출 방법.
  12. 제11항에 있어서,
    상기 딥러닝 모델은,
    상기 단위 유닛셀을 육각형 형태로 추출하는,
    딥러닝 기반 저차원 재료의 점 결함 자동 검출 방법.
  13. 제12항에 있어서,
    상기 딥러닝 모델은,
    사전 설정된 비율을 만족하도록 상기 단위 유닛을 추출하는,
    딥러닝 기반 저차원 재료의 점 결함 자동 검출 방법.
  14. 제11항에 있어서,
    상기 딥러닝 모델은,
    단위 셀에 대한 분석을 수행하기 위해, 상기 단위 유닛 셀의 Te2 영역 및 Mo 영역을 상기 두 채널에 각각 입력하고,
    상기 두 채널은,
    상기 Te2 영역에 기초하여 상기 점 결함을 분류하는 제1 채널 및 상기 Mo 영역에 기초하여 상기 점 결함을 분류를 수행하는 제2 채널을 포함하는,
    딥러닝 기반 저차원 재료의 점 결함 자동 검출 방법.
  15. 제14항에 있어서,
    상기 딥러닝 모델은,
    CNN(Convolution Neural Network) 알고리즘에 기반한 것으로,
    상기 입력된 이미지로부터 단위 유닛 셀을 추출하도록 사전 학습된 제1 딥러닝 모델 및 상기 제1 딥러닝 모델로에 의해 상기 추출된 단위 유닛 셀을 기초로 상기 두 채널 각각에서 상기 점 결함을 분류하도록 사전 학습된 제2 딥러닝 모델을 포함하는,
    딥러닝 기반 저차원 재료의 점 결함 자동 검출 방법.
  16. 제11항에 있어서,
    상기 이미지는,
    상기 점 결함이 포함된 상기 저차원 재료의 주사투과전자현미경 이미지로서, HAADF 이미지 또는 ABF 이미지 중 적어도 하나를 포함하는,
    딥러닝 기반 저차원 재료의 점 결함 자동 검출 방법.
  17. 제11항에 있어서,
    상기 저차원 재료는,
    원차층 두께의 물질을 이차원적으로 배열하고 있는 것인,
    딥러닝 기반 저차원 재료의 점 결함 자동 검출 방법.
  18. 제11항에 있어서,
    상기 저차원 재료는,
    모노레이어 또는 바이레이어로 이루어지는 것인,
    딥러닝 기반 저차원 재료의 점 결함 자동 검출 방법.
  19. 제11항에 있어서,
    상기 점 결함은,
    공공(vacancy), 치환형 결함(substitutional defect), 침입형 결함(interstitial defect) 또는 공공(vacancy)에서 원자의 화학 흡착(chemisorption) 중 적어도 하나를 포함하는,
    딥러닝 기반 저차원 재료의 점 결함 자동 검출 방법.
  20. 제11항에 있어서,
    상기 딥러닝 모델은,
    시뮬레이션을 통해 점 결함이 포함된 저차원 재료의 주사투과전자현미경 이미지를 생성하여 학습데이터 셋을 구축하고, 상기 구축된 학습데이터 셋을 이용하여 딥러닝 알고리즘을 기반으로 사전 학습되어 생성된 것인,
    딥러닝 기반 저차원 재료의 점 결함 자동 검출 방법.
  21. 제11항 내지 제20항 중 어느 한 항의 딥러닝 기반 저차원 재료의 점 결함 자동 검출 방법을 실행시키기 위한 프로그램이 저장된 컴퓨터로 기록 가능한 기록 매체.
KR1020250041798A 2024-11-20 2025-03-31 딥러닝 기반 저차원 재료의 점 결함 자동 검출 장치 및 방법 Pending KR20260077401A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020240166084 2024-11-20
KR20240166084 2024-11-20

Publications (1)

Publication Number Publication Date
KR20260077401A true KR20260077401A (ko) 2026-05-28

Family

ID=99990123

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020250041798A Pending KR20260077401A (ko) 2024-11-20 2025-03-31 딥러닝 기반 저차원 재료의 점 결함 자동 검출 장치 및 방법

Country Status (1)

Country Link
KR (1) KR20260077401A (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230048110A (ko) 2020-08-05 2023-04-10 케이엘에이 코포레이션 딥 러닝 기반 결함 검출

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230048110A (ko) 2020-08-05 2023-04-10 케이엘에이 코포레이션 딥 러닝 기반 결함 검출

Legal Events

Date Code Title Description
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

PN2301 Change of applicant

St.27 status event code: A-3-3-R10-R13-asn-PN2301

St.27 status event code: A-3-3-R10-R11-asn-PN2301

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

PN2301 Change of applicant

St.27 status event code: A-3-3-R10-R13-asn-PN2301

St.27 status event code: A-3-3-R10-R11-asn-PN2301

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

Q12 Application published

Free format text: ST27 STATUS EVENT CODE: A-1-1-Q10-Q12-NAP-PG1501 (AS PROVIDED BY THE NATIONAL OFFICE)

D13 Search requested

Free format text: ST27 STATUS EVENT CODE: A-1-2-D10-D13-SRH-X000 (AS PROVIDED BY THE NATIONAL OFFICE)

D13-X000 Search requested

St.27 status event code: A-1-2-D10-D13-srh-X000