KR20200060697A - 선박 및 항만 모니터링 장치 및 방법 - Google Patents

선박 및 항만 모니터링 장치 및 방법 Download PDF

Info

Publication number
KR20200060697A
KR20200060697A KR1020200058550A KR20200058550A KR20200060697A KR 20200060697 A KR20200060697 A KR 20200060697A KR 1020200058550 A KR1020200058550 A KR 1020200058550A KR 20200058550 A KR20200058550 A KR 20200058550A KR 20200060697 A KR20200060697 A KR 20200060697A
Authority
KR
South Korea
Prior art keywords
image
port
segmentation
information
view
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020200058550A
Other languages
English (en)
Other versions
KR102231286B1 (ko
Inventor
박별터
김한근
김동훈
Original Assignee
씨드로닉스(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 씨드로닉스(주) filed Critical 씨드로닉스(주)
Publication of KR20200060697A publication Critical patent/KR20200060697A/ko
Priority to KR1020210034934A priority Critical patent/KR102566724B1/ko
Application granted granted Critical
Publication of KR102231286B1 publication Critical patent/KR102231286B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G3/00—Traffic control systems for marine craft
    • G08G3/02—Anti-collision systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G3/00—Traffic control systems for marine craft
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/13—Receivers
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/094—Adversarial learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/16—Image acquisition using multiple overlapping images; Image stitching
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/958—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
    • H04N5/2257—
    • H04N5/247—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B63—SHIPS OR OTHER WATERBORNE VESSELS; RELATED EQUIPMENT
    • B63B—SHIPS OR OTHER WATERBORNE VESSELS; EQUIPMENT FOR SHIPPING 
    • B63B43/00—Improving safety of vessels, e.g. damage control, not otherwise provided for
    • B63B43/18—Improving safety of vessels, e.g. damage control, not otherwise provided for preventing collision or grounding; reducing collision damage
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B63—SHIPS OR OTHER WATERBORNE VESSELS; RELATED EQUIPMENT
    • B63B—SHIPS OR OTHER WATERBORNE VESSELS; EQUIPMENT FOR SHIPPING 
    • B63B49/00—Arrangements of nautical instruments or navigational aids
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Ocean & Marine Engineering (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

본 발명은 컴퓨팅 수단에 의해 수행되는 항만 모니터링 방법에 관한 것으로, 본 발명의 일 양상에 따른 항만 모니터링 방법은, 서로 다른 방향을 향하도록 항만에 설치되어 이미지를 촬상하는 제1 카메라 및 제2 카메라를 이용하여 선박 및 바다 중 적어도 하나를 포함하는 제1 항만 이미지 및 상기 제1 항만 이미지와 모니터링 영역이 적어도 일부 다른 제2 항만 이미지를 획득하는 단계; 입력 이미지로부터 상기 입력 이미지에 포함된 오브젝트의 종류 및 거리에 대한 정보를 출력하도록 학습된 인공 신경망을 이용한 이미지 세그멘테이션을 수행하여 상기 제1 항만 이미지에 대응되는 제1 세그멘테이션 이미지 및 상기 제2 항만 이미지에 대응되는 제2 세그멘테이션 이미지를 생성하는 단계 - 상기 제1 세그멘테이션 이미지 및 상기 제2 세그멘테이션 이미지는 상기 선박에 대응되도록 라벨링되되 상기 선박의 거리에 대한 정보를 포함하는 제1 픽셀 및 상기 바다에 대응되도록 라벨링된 제2 픽셀 중 적어도 하나를 포함함 - ; 상기 제1 카메라 및 상기 제2 카메라의 설치 위치 및 자세 중 적어도 하나를 고려하여 산출된 제1 시점 변환 정보를 이용하여 상기 제1 항만 이미지 및 상기 제2 항만 이미지 각각에 대응되고 제1 뷰 속성을 가지는 제1 디스플레이 이미지 및 제2 디스플레이 이미지를 생성하는 단계; 상기 제1 카메라 및 상기 제2 카메라의 설치 위치 및 자세 중 적어도 하나를 고려하여 산출되되 상기 제1 시점 변환 정보와 상이한 제2 시점 변환 정보를 이용하여 상기 제1 세그멘테이션 이미지 및 상기 제2 세그멘테이션 이미지 각각에 대응되되 상기 제1 뷰와 상이한 제2 뷰 속성을 가지는 제1 변환 세그멘테이션 이미지 및 제2 변환 세그멘테이션 이미지를 생성하는 단계; 상기 제1 디스플레이 이미지 및 상기 제2 디스플레이 이미지를 정합하여 파노라마 이미지를 생성하는 단계; 상기 제1 변환 세그멘테이션 이미지 및 상기 제2 변환 세그멘테이션 이미지를 정합하여 정합 세그멘테이션 이미지를 생성하는 단계; 상기 정합 세그멘테이션 이미지에 기초하여 상기 선박의 접안 가이드 정보를 산출하는 단계 - 상기 접안 가이드 정보는 상기 선박의 안벽과의 거리 및 상기 안벽으로의 접근 속도 중 적어도 하나를 포함함 - ; 및 상기 접안 가이드 정보를 상기 파노라마 이미지와 함께 출력하는 단계;를 포함한다.

Description

선박 및 항만 모니터링 장치 및 방법{DEVICE AND METHOD FOR MONITORING SHIP AND PORT}
본 발명은 선박 및 항만 모니터링 장치 및 방법에 관한 것으로, 구체적으로 이미지에 기반하여 선박 및 항만을 모니터링하는 장치 및 방법에 관한 것이다.
선박의 운항 및 항만 내에서의 접안, 이안에 있어 많은 사고가 발생하고 있으며, 그 사고의 주요 원인은 사람의 운항 부주의로 알려져 있다. 여기서, 운항 부주의는 주로 선박 주변이나 항만 내의 상황을 육안을 통해서 정확하게 모니터링하지 못한다는 점에 의해 발생한다. 현재 다양한 종류의 장애물 센서 등을 이용해 이를 보완하고 있으나 아직까지는 한계점이 존재하는 상황이다. 예를 들어, ECDIS의 경우 GPS의 부정확성, AIS의 업데이트 주기 및 AIS 미등록 이동체 등으로 인한 한계가 존재하고, radar의 경우 비탐색영역의 존재 및 노이즈로 인한 한계가 존재한다. 그 결과 장애물의 정확한 감지를 위하여는 여전히 육안으로 확인하는 과정이 필요하다.
본 발명의 일 과제는, 선박 주변 및 항만을 모니터링하기 위한 모니터링 장치 및 방법을 제공하는 것에 있다.
본 발명의 다른 일 과제는, 선박의 접안 또는 이안 시 선박 주변 및 항만 상황을 파악하고 접안 또는 이안을 가이드하기 위한 모니터링 장치 및 방법을 제공하는 것에 있다.
본 발명이 해결하고자 하는 과제가 상술한 과제로 제한되는 것은 아니며, 언급되지 아니한 과제들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 양상에 따르면 컴퓨팅 수단에 의해 수행되는 항만 모니터링 방법에 있어서, 서로 다른 방향을 향하도록 항만에 설치되어 이미지를 촬상하는 제1 카메라 및 제2 카메라를 이용하여 선박 및 바다 중 적어도 하나를 포함하는 제1 항만 이미지 및 상기 제1 항만 이미지와 모니터링 영역이 적어도 일부 다른 제2 항만 이미지를 획득하는 단계; 입력 이미지로부터 상기 입력 이미지에 포함된 오브젝트의 종류 및 거리에 대한 정보를 출력하도록 학습된 인공 신경망을 이용한 이미지 세그멘테이션을 수행하여 상기 제1 항만 이미지에 대응되는 제1 세그멘테이션 이미지 및 상기 제2 항만 이미지에 대응되는 제2 세그멘테이션 이미지를 생성하는 단계 - 상기 제1 세그멘테이션 이미지 및 상기 제2 세그멘테이션 이미지는 상기 선박에 대응되도록 라벨링되되 상기 선박의 거리에 대한 정보를 포함하는 제1 픽셀 및 상기 바다에 대응되도록 라벨링된 제2 픽셀 중 적어도 하나를 포함함 - ; 상기 제1 카메라 및 상기 제2 카메라의 설치 위치 및 자세 중 적어도 하나를 고려하여 산출된 제1 시점 변환 정보를 이용하여 상기 제1 항만 이미지 및 상기 제2 항만 이미지 각각에 대응되고 제1 뷰 속성을 가지는 제1 디스플레이 이미지 및 제2 디스플레이 이미지를 생성하는 단계; 상기 제1 카메라 및 상기 제2 카메라의 설치 위치 및 자세 중 적어도 하나를 고려하여 산출되되 상기 제1 시점 변환 정보와 상이한 제2 시점 변환 정보를 이용하여 상기 제1 세그멘테이션 이미지 및 상기 제2 세그멘테이션 이미지 각각에 대응되되 상기 제1 뷰와 상이한 제2 뷰 속성을 가지는 제1 변환 세그멘테이션 이미지 및 제2 변환 세그멘테이션 이미지를 생성하는 단계; 상기 제1 디스플레이 이미지 및 상기 제2 디스플레이 이미지를 정합하여 파노라마 이미지를 생성하는 단계; 상기 제1 변환 세그멘테이션 이미지 및 상기 제2 변환 세그멘테이션 이미지를 정합하여 정합 세그멘테이션 이미지를 생성하는 단계; 상기 정합 세그멘테이션 이미지에 기초하여 상기 선박의 접안 가이드 정보를 산출하는 단계 - 상기 접안 가이드 정보는 상기 선박의 안벽과의 거리 및 상기 안벽으로의 접근 속도 중 적어도 하나를 포함함 - ; 및 상기 접안 가이드 정보를 상기 파노라마 이미지와 함께 출력하는 단계;를 포함하는 항만 모니터링 방법이 제공될 수 있다.
본 발명의 다른 양상에 따르면 컴퓨팅 수단에 의해 수행되는 항만 모니터링 방법에 있어서, 서로 다른 방향을 향하도록 항만에 설치되어 이미지를 촬상하는 제1 카메라 및 제2 카메라를 이용하여 선박 및 바다 중 적어도 하나를 포함하는 제1 항만 이미지 및 상기 제1 항만 이미지와 모니터링 영역이 적어도 일부 다른 제2 항만 이미지를 획득하는 단계; 입력 이미지로부터 상기 입력 이미지에 포함된 오브젝트의 종류 및 거리에 대한 정보를 출력하도록 학습된 인공 신경망을 이용한 이미지 세그멘테이션을 수행하여 상기 제1 항만 이미지에 대응되는 제1 세그멘테이션 이미지 및 상기 제2 항만 이미지에 대응되는 제2 세그멘테이션 이미지를 생성하는 단계 - 상기 제1 세그멘테이션 이미지 및 상기 제2 세그멘테이션 이미지는 상기 선박에 대응되도록 라벨링되되 상기 선박의 거리에 대한 정보를 포함하는 제1 픽셀 및 상기 바다에 대응되도록 라벨링된 제2 픽셀 중 적어도 하나를 포함함 - ; 상기 제1 카메라 및 상기 제2 카메라의 설치 위치 및 자세 중 적어도 하나를 고려하여 산출된 제1 시점 변환 정보를 이용하여 상기 제1 항만 이미지 및 상기 제2 항만 이미지 각각에 대응되고 제1 뷰 속성을 가지는 제1 디스플레이 이미지 및 제2 디스플레이 이미지를 생성하는 단계; 상기 제1 카메라 및 상기 제2 카메라의 설치 위치 및 자세 중 적어도 하나를 고려하여 산출되되 상기 제1 시점 변환 정보와 상이한 제2 시점 변환 정보를 이용하여 상기 제1 항만 이미지 및 상기 제2 항만 이미지 각각에 대응되고 상기 제1 뷰와 상이한 제2 뷰 속성을 가지는 제1 변환 이미지 및 제2 변환 이미지를 생성하는 단계; 상기 제2 시점 변환 정보를 이용하여 상기 제1 세그멘테이션 이미지 및 상기 제2 세그멘테이션 이미지 각각에 대응되고 상기 제2 뷰 속성을 가지는 제1 변환 세그멘테이션 이미지 및 제2 변환 세그멘테이션 이미지를 생성하는 단계; 상기 제1 디스플레이 이미지 및 상기 제2 디스플레이 이미지로부터 추출된 정합 정보에 기초하여 상기 제1 디스플레이 이미지 및 상기 제2 디스플레이 이미지를 정합하여 파노라마 이미지를 생성하는 단계; 상기 제1 변환 이미지 및 상기 제2 변환 이미지로부터 추출된 정합 정보에 기초하여 상기 제1 변환 세그멘테이션 이미지 및 상기 제2 변환 세그멘테이션 이미지를 정합하여 정합 세그멘테이션 이미지를 생성하는 단계; 상기 정합 세그멘테이션 이미지에 포함된 상기 선박이 상기 바다와 접하는 지점에 대응되는 픽셀에 기초하여 상기 선박의 안벽과의 거리를 산출하는 단계; 및 상기 선박의 안벽과의 거리에 기초하여 상기 안벽으로의 접근 속도를 산출하는 단계;를 포함하는 항만 모니터링 방법이 제공될 수 있다.
본 발명의 또 다른 양상에 따르면 컴퓨팅 수단에 의해 수행되는 선박 주변 모니터링 방법에 있어서, 서로 다른 방향을 향하도록 선박에 설치되어 이미지를 촬상하는 제1 카메라 및 제2 카메라를 이용하여 선박 주변의 장애물 및 바다 중 적어도 하나를 포함하는 제1 해상 이미지 및 상기 제1 해상 이미지와 모니터링 영역이 적어도 일부 다른 제2 해상 이미지를 획득하는 단계; 입력 이미지로부터 상기 입력 이미지에 포함된 오브젝트의 종류 및 거리에 대한 정보를 출력하도록 학습된 인공 신경망을 이용한 이미지 세그멘테이션을 수행하여 상기 제1 해상 이미지에 대응되는 제1 세그멘테이션 이미지 및 상기 제2 해상 이미지에 대응되는 제2 세그멘테이션 이미지를 생성하는 단계 - 상기 제1 세그멘테이션 이미지 및 상기 제2 세그멘테이션 이미지는 상기 장애물에 대응되도록 라벨링되되 상기 장애물의 거리에 대한 정보를 포함하는 제1 픽셀 및 상기 바다에 대응되도록 라벨링된 제2 픽셀 중 적어도 하나를 포함함 - ; 상기 제1 카메라 및 상기 제2 카메라의 설치 위치 및 자세 중 적어도 하나를 고려하여 산출된 제1 시점 변환 정보를 이용하여 상기 제1 해상 이미지 및 상기 제2 해상 이미지 각각에 대응되고 제1 뷰 속성을 가지는 제1 디스플레이 이미지 및 제2 디스플레이 이미지를 생성하는 단계; 상기 제1 카메라 및 상기 제2 카메라의 설치 위치 및 자세 중 적어도 하나를 고려하여 산출되되 상기 제1 시점 변환 정보와 상이한 제2 시점 변환 정보를 이용하여 상기 제1 세그멘테이션 이미지 및 상기 제2 세그멘테이션 이미지 각각에 대응되되 상기 제1 뷰와 상이한 제2 뷰 속성을 가지는 제1 변환 세그멘테이션 이미지 및 제2 변환 세그멘테이션 이미지를 생성하는 단계; 상기 제1 디스플레이 이미지 및 상기 제2 디스플레이 이미지를 정합하여 파노라마 이미지를 생성하는 단계; 상기 제1 변환 세그멘테이션 이미지 및 상기 제2 변환 세그멘테이션 이미지를 정합하여 정합 세그멘테이션 이미지를 생성하는 단계; 및 상기 정합 세그멘테이션 이미지에 기초하여 상기 선박의 운항 가이드 정보를 산출하는 단계 - 상기 운항 가이드 정보는 상기 선박의 상기 장애물과의 거리 및 상기 장애물로의 접근 속도 중 적어도 하나를 포함함 - ;를 포함하는 선박 주변 모니터링 방법이 제공될 수 있다.
본 발명의 또 다른 양상에 따르면 컴퓨팅 수단에 의해 수행되는 항만 모니터링 방법에 있어서, 제1 뷰를 가지고 안벽 및 상기 안벽으로 접안하는 선박을 포함하는 항만 이미지를 획득하는 단계; 상기 제1 뷰를 제2 뷰로 변환하는 제1 시점 변환 정보를 이용하여, 상기 제1 뷰를 가지는 항만 이미지로부터 상기 제2 뷰를 가지는 디스플레이 이미지를 생성하는 단계; 입력 이미지로부터 상기 입력 이미지에 포함된 오브젝트의 종류에 대한 정보를 출력하도록 학습된 인공 신경망을 이용하여, 상기 제1 뷰를 가지는 항만 이미지로부터 상기 항만 이미지 내의 각 픽셀 별로 오브젝트 클래스가 부여되고 상기 제1 뷰를 가지는 세그멘테이션 이미지를 생성하는 단계; 상기 제1 뷰를 상기 제2 뷰와 상이한 제3 뷰로 변환하는 제2 시점 변환 정보를 이용하여, 상기 제1 뷰를 가지는 세그멘테이션 이미지로부터 상기 제3 뷰를 가지는 변환 세그멘테이션 이미지를 생성하는 단계; 상기 변환 세그멘테이션 이미지에 기초하여 상기 선박의 상기 안벽과의 거리 및 상기 안벽으로의 접근 속도를 산출하는 단계; 및 상기 거리 및 상기 접근 속도를 상기 디스플레이 이미지와 함께 출력하는 단계;를 포함하는 항만 모니터링 방법이 제공될 수 있다.
본 발명의 과제의 해결 수단이 상술한 해결 수단들로 제한되는 것은 아니며, 언급되지 아니한 해결 수단들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명에 의하면, 모니터링 장치 및 방법을 이용하여 선박 주변 및 항만을 모니터링할 수 있다.
또 본 발명에 의하면, 모니터링 장치 및 방법을 이용하여 선박의 접안 또는 이안 시 선박 주변 및 항만 상황을 파악하고 접안 또는 이안을 가이드 할 수 있다.
본 발명의 효과가 상술한 효과로 제한되는 것은 아니며, 언급되지 아니한 효과들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확히 이해될 수 있을 것이다.
도 1은 일 실시예에 따른 이미지 기반 모니터링에 관한 도면이다.
도 2는 일 실시예에 따른 이미지 기반 모니터링 장치에 관한 도면이다.
도 3 및 도 4는 일 실시예에 따른 이미지 기반 모니터링 장치의 실시예에 관한 도면이다.
도 5는 일 실시예에 따른 시야각 및 피사계 심도에 관한 도면이다.
도 6 및 도 7은 일 실시예에 따른 센서 모듈의 설치 위치에 관한 도면이다.
도 8은 일 실시예에 따른 이미지 분석에 관한 도면이다.
도 9는 일 실시예에 따른 오브젝트 인식 단계에 관한 도면이다.
도 10은 일 실시예에 따른 인공 신경망의 학습 단계 및 추론 단계에 관한 도면이다.
도 11 및 도 12는 일 실시예에 따른 오브젝트의 위치/이동 정보 추정에 관한 도면이다.
도 13은 일 실시예에 따른 안개 제거에 관한 도면이다.
도 14는 일 실시예에 따른 전처리 단계에 관한 도면이다.
도 15는 일 실시예에 따른 모니터링 정보 출력 단계에 관한 도면이다.
도 16은 일 실시예에 따른 시점 변환에 관한 도면이다.
도 17은 일 실시예에 따른 시점 변환의 일 예에 관한 순서도이다.
도 18은 일 실시예에 따른 시점 변환의 다른 예에 관한 순서도이다.
도 19는 일 실시예에 따른 타겟 고정체를 이용한 위치 및/또는 자세에 대한 정보 획득에 관한 도면이다.
도 20은 일 실시예에 따른 복수의 이미지에 기초한 이미지 기반 모니터링에 관한 도면이다.
도 21은 일 실시예에 따른 모니터링 영역이 다른 복수의 이미지에 관한 도면이다.
도 22 및 도 23은 일 실시예에 따른 이미지 정합에 관한 도면이다.
도 24는 일 실시예에 따른 이미지 정합에 관한 도면이다.
도 25는 일 실시예에 따른 이미지 융합에 관한 도면이다.
도 26 및 도 27은 일 실시예에 따른 이미지 기반 모니터링의 실시예에 관한 도면이다.
본 명세서에 기재된 실시예는 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 본 발명의 사상을 명확히 설명하기 위한 것이므로, 본 발명이 본 명세서에 기재된 실시예에 의해 한정되는 것은 아니며, 본 발명의 범위는 본 발명의 사상을 벗어나지 아니하는 수정예 또는 변형예를 포함하는 것으로 해석되어야 한다.
본 명세서에서 사용되는 용어는 본 발명에서의 기능을 고려하여 가능한 현재 널리 사용되고 있는 일반적인 용어를 선택하였으나 이는 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자의 의도, 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 다만, 이와 달리 특정한 용어를 임의의 의미로 정의하여 사용하는 경우에는 그 용어의 의미에 관하여 별도로 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는 단순한 용어의 명칭이 아닌 그 용어가 가진 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 한다.
본 명세서에 첨부된 도면은 본 발명을 용이하게 설명하기 위한 것으로 도면에 도시된 형상은 본 발명의 이해를 돕기 위하여 필요에 따라 과장되어 표시된 것일 수 있으므로 본 발명이 도면에 의해 한정되는 것은 아니다.
본 명세서에서 본 발명에 관련된 공지의 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에 이에 관한 자세한 설명은 필요에 따라 생략하기로 한다.
본 발명의 일 양상에 따르면 컴퓨팅 수단에 의해 수행되는 항만 모니터링 방법에 있어서, 서로 다른 방향을 향하도록 항만에 설치되어 이미지를 촬상하는 제1 카메라 및 제2 카메라를 이용하여 선박 및 바다 중 적어도 하나를 포함하는 제1 항만 이미지 및 상기 제1 항만 이미지와 모니터링 영역이 적어도 일부 다른 제2 항만 이미지를 획득하는 단계; 입력 이미지로부터 상기 입력 이미지에 포함된 오브젝트의 종류 및 거리에 대한 정보를 출력하도록 학습된 인공 신경망을 이용한 이미지 세그멘테이션을 수행하여 상기 제1 항만 이미지에 대응되는 제1 세그멘테이션 이미지 및 상기 제2 항만 이미지에 대응되는 제2 세그멘테이션 이미지를 생성하는 단계 - 상기 제1 세그멘테이션 이미지 및 상기 제2 세그멘테이션 이미지는 상기 선박에 대응되도록 라벨링되되 상기 선박의 거리에 대한 정보를 포함하는 제1 픽셀 및 상기 바다에 대응되도록 라벨링된 제2 픽셀 중 적어도 하나를 포함함 - ; 상기 제1 카메라 및 상기 제2 카메라의 설치 위치 및 자세 중 적어도 하나를 고려하여 산출된 제1 시점 변환 정보를 이용하여 상기 제1 항만 이미지 및 상기 제2 항만 이미지 각각에 대응되고 제1 뷰 속성을 가지는 제1 디스플레이 이미지 및 제2 디스플레이 이미지를 생성하는 단계; 상기 제1 카메라 및 상기 제2 카메라의 설치 위치 및 자세 중 적어도 하나를 고려하여 산출되되 상기 제1 시점 변환 정보와 상이한 제2 시점 변환 정보를 이용하여 상기 제1 세그멘테이션 이미지 및 상기 제2 세그멘테이션 이미지 각각에 대응되되 상기 제1 뷰와 상이한 제2 뷰 속성을 가지는 제1 변환 세그멘테이션 이미지 및 제2 변환 세그멘테이션 이미지를 생성하는 단계; 상기 제1 디스플레이 이미지 및 상기 제2 디스플레이 이미지를 정합하여 파노라마 이미지를 생성하는 단계; 상기 제1 변환 세그멘테이션 이미지 및 상기 제2 변환 세그멘테이션 이미지를 정합하여 정합 세그멘테이션 이미지를 생성하는 단계; 상기 정합 세그멘테이션 이미지에 기초하여 상기 선박의 접안 가이드 정보를 산출하는 단계 - 상기 접안 가이드 정보는 상기 선박의 안벽과의 거리 및 상기 안벽으로의 접근 속도 중 적어도 하나를 포함함 - ; 및 상기 접안 가이드 정보를 상기 파노라마 이미지와 함께 출력하는 단계;를 포함하는 항만 모니터링 방법이 제공될 수 있다.
여기서, 상기 항만 모니터링 방법은, 상기 제2 시점 변환 정보를 이용하여 상기 제1 항만 이미지 및 상기 제2 항만 이미지 각각에 대응되고 상기 제2 뷰 속성을 가지는 제1 변환 이미지 및 제2 변환 이미지를 생성하는 단계;를 더 포함하고, 상기 파노라마 이미지를 생성하는 단계는, 상기 제1 디스플레이 이미지 및 상기 제2 디스플레이 이미지로부터 추출된 제1 정합 정보에 기초하여 상기 제1 디스플레이 이미지 및 상기 제2 디스플레이 이미지를 정합하여 파노라마 이미지를 생성하되, 상기 정합 세그멘테이션 이미지를 생성하는 단계는, 상기 제1 변환 이미지 및 상기 제2 변환 이미지로부터 추출된 제2 정합 정보에 기초하여 상기 제1 변환 세그멘테이션 이미지 및 상기 제2 변환 세그멘테이션 이미지를 정합하여 정합 세그멘테이션 이미지를 생성할 수 있다.
여기서, 상기 제1 정합 정보는, 상기 제1 디스플레이 이미지 및 상기 제2 디스플레이 이미지에 포함된 육지 영역으로부터 추출되고, 상기 제2 정합 정보는, 상기 제1 변환 이미지 및 상기 제2 변환 이미지에 포함된 육지 영역으로부터 추출될 수 있다.
여기서, 상기 접안 가이드 정보를 산출하는 단계는, 상기 정합 세그멘테이션 이미지에 기초하여 상기 선박의 안벽과의 거리를 산출하는 단계; 및 상기 선박의 안벽과의 거리에 기초하여 상기 안벽으로의 접근 속도를 산출하는 단계;를 포함할 수 있다.
여기서, 상기 안벽과의 거리를 산출하는 단계는, 상기 정합 세그멘테이션 이미지에 포함된 상기 선박이 상기 바다와 접하는 지점에 대응되는 픽셀에 기초하여 상기 안벽과의 거리를 산출할 수 있다.
여기서, 상기 선박은, 선석으로 접안하는 타겟 선박 및 상기 선석과 인접한 선석에 계류하는 정박선을 포함하고, 상기 접안 가이드 정보는, 상기 타겟 선박과 상기 정박선 사이의 간격 및 상기 타겟 선박의 상기 정박선과의 상대 속도 중 적어도 하나를 포함할 수 있다.
여기서, 상기 선박은, 선석으로 접안하는 타겟 선박 및 상기 타겟 선박의 접안을 보조하기 위한 예인선을 포함하고, 상기 제1 세그멘테이션 이미지 및 상기 제2 세그멘테이션 이미지 중 적어도 하나는, 상기 타겟 선박에 대응되도록 라벨링된 제3 픽셀 및 상기 예인선에 대응되도록 라벨링된 제4 픽셀을 포함하고, 상기 접안 가이드 정보를 산출하는 단계는, 상기 제3 픽셀에 기초하여 접안 가이드 정보를 산출할 수 있다.
여기서, 상기 제1 항만 이미지 및 상기 제2 항만 이미지는, 상기 제1 카메라 및 상기 제2 카메라가 촬상한 이미지에 포함된 노이즈를 제거하기 위한 전처리가 수행된 이미지일 수 있다.
여기서, 상기 출력하는 단계는, 원격 위치한 단말을 이용하여 상기 접안 가이드 정보를 상기 파노라마 이미지와 함께 디스플레이하기 위하여 상기 파노라마 이미지 및 상기 접안 가이드 정보를 상기 단말로 송신하는 단계; 또는 상기 접안 가이드 정보를 상기 파노라마 이미지와 함께 디스플레이하는 단계;인 것을 특징으로 할 수 있다.
여기서, 상기 제2 시점 변환 정보는, 해수면의 높이를 고려하여 산출된 것을 특징으로 할 수 있다.
여기서, 상기 인공 신경망은, 학습 이미지를 상기 인공 신경망에 입력하여 출력되는 출력 이미지 및 상기 학습 이미지에 포함된 오브젝트의 종류 및 거리에 대한 정보가 반영된 라벨링 이미지 사이의 차이를 고려하여 학습될 수 있다.
여기서, 상기 재2 뷰는, 해수면과 수직한 방향에서 해수면을 내려다 본 뷰인 것을 특징으로 할 수 있다.
여기서, 상기 항만 모니터링 방법은, 상기 제1 항만 이미지에 사람이 포함되었는지 여부 및 상기 제1 항만 이미지가 촬상된 시점에 기초하여 침입자 발생 여부를 감지하는 단계;를 더 포함할 수 있다.
여기서, 상기 항만 모니터링 방법은, 상기 접안 가이드 정보에 기초하여 충돌 위험 여부를 판단하는 단계; 및 상기 충돌 위험 여부에 기초하여 사용자에게 충돌 위험성을 출력하는 단계;를 더 포함할 수 있다.
본 발명의 다른 양상에 따르면 컴퓨팅 수단에 의해 수행되는 항만 모니터링 방법에 있어서, 서로 다른 방향을 향하도록 항만에 설치되어 이미지를 촬상하는 제1 카메라 및 제2 카메라를 이용하여 선박 및 바다 중 적어도 하나를 포함하는 제1 항만 이미지 및 상기 제1 항만 이미지와 모니터링 영역이 적어도 일부 다른 제2 항만 이미지를 획득하는 단계; 입력 이미지로부터 상기 입력 이미지에 포함된 오브젝트의 종류 및 거리에 대한 정보를 출력하도록 학습된 인공 신경망을 이용한 이미지 세그멘테이션을 수행하여 상기 제1 항만 이미지에 대응되는 제1 세그멘테이션 이미지 및 상기 제2 항만 이미지에 대응되는 제2 세그멘테이션 이미지를 생성하는 단계 - 상기 제1 세그멘테이션 이미지 및 상기 제2 세그멘테이션 이미지는 상기 선박에 대응되도록 라벨링되되 상기 선박의 거리에 대한 정보를 포함하는 제1 픽셀 및 상기 바다에 대응되도록 라벨링된 제2 픽셀 중 적어도 하나를 포함함 - ; 상기 제1 카메라 및 상기 제2 카메라의 설치 위치 및 자세 중 적어도 하나를 고려하여 산출된 제1 시점 변환 정보를 이용하여 상기 제1 항만 이미지 및 상기 제2 항만 이미지 각각에 대응되고 제1 뷰 속성을 가지는 제1 디스플레이 이미지 및 제2 디스플레이 이미지를 생성하는 단계; 상기 제1 카메라 및 상기 제2 카메라의 설치 위치 및 자세 중 적어도 하나를 고려하여 산출되되 상기 제1 시점 변환 정보와 상이한 제2 시점 변환 정보를 이용하여 상기 제1 항만 이미지 및 상기 제2 항만 이미지 각각에 대응되고 상기 제1 뷰와 상이한 제2 뷰 속성을 가지는 제1 변환 이미지 및 제2 변환 이미지를 생성하는 단계; 상기 제2 시점 변환 정보를 이용하여 상기 제1 세그멘테이션 이미지 및 상기 제2 세그멘테이션 이미지 각각에 대응되고 상기 제2 뷰 속성을 가지는 제1 변환 세그멘테이션 이미지 및 제2 변환 세그멘테이션 이미지를 생성하는 단계; 상기 제1 디스플레이 이미지 및 상기 제2 디스플레이 이미지로부터 추출된 정합 정보에 기초하여 상기 제1 디스플레이 이미지 및 상기 제2 디스플레이 이미지를 정합하여 파노라마 이미지를 생성하는 단계; 상기 제1 변환 이미지 및 상기 제2 변환 이미지로부터 추출된 정합 정보에 기초하여 상기 제1 변환 세그멘테이션 이미지 및 상기 제2 변환 세그멘테이션 이미지를 정합하여 정합 세그멘테이션 이미지를 생성하는 단계; 상기 정합 세그멘테이션 이미지에 포함된 상기 선박이 상기 바다와 접하는 지점에 대응되는 픽셀에 기초하여 상기 선박의 안벽과의 거리를 산출하는 단계; 및 상기 선박의 안벽과의 거리에 기초하여 상기 안벽으로의 접근 속도를 산출하는 단계;를 포함하는 항만 모니터링 방법이 제공될 수 있다.
본 발명의 또 다른 양상에 따르면 컴퓨팅 수단에 의해 수행되는 선박 주변 모니터링 방법에 있어서, 서로 다른 방향을 향하도록 선박에 설치되어 이미지를 촬상하는 제1 카메라 및 제2 카메라를 이용하여 선박 주변의 장애물 및 바다 중 적어도 하나를 포함하는 제1 해상 이미지 및 상기 제1 해상 이미지와 모니터링 영역이 적어도 일부 다른 제2 해상 이미지를 획득하는 단계; 입력 이미지로부터 상기 입력 이미지에 포함된 오브젝트의 종류 및 거리에 대한 정보를 출력하도록 학습된 인공 신경망을 이용한 이미지 세그멘테이션을 수행하여 상기 제1 해상 이미지에 대응되는 제1 세그멘테이션 이미지 및 상기 제2 해상 이미지에 대응되는 제2 세그멘테이션 이미지를 생성하는 단계 - 상기 제1 세그멘테이션 이미지 및 상기 제2 세그멘테이션 이미지는 상기 장애물에 대응되도록 라벨링되되 상기 장애물의 거리에 대한 정보를 포함하는 제1 픽셀 및 상기 바다에 대응되도록 라벨링된 제2 픽셀 중 적어도 하나를 포함함 - ; 상기 제1 카메라 및 상기 제2 카메라의 설치 위치 및 자세 중 적어도 하나를 고려하여 산출된 제1 시점 변환 정보를 이용하여 상기 제1 해상 이미지 및 상기 제2 해상 이미지 각각에 대응되고 제1 뷰 속성을 가지는 제1 디스플레이 이미지 및 제2 디스플레이 이미지를 생성하는 단계; 상기 제1 카메라 및 상기 제2 카메라의 설치 위치 및 자세 중 적어도 하나를 고려하여 산출되되 상기 제1 시점 변환 정보와 상이한 제2 시점 변환 정보를 이용하여 상기 제1 세그멘테이션 이미지 및 상기 제2 세그멘테이션 이미지 각각에 대응되되 상기 제1 뷰와 상이한 제2 뷰 속성을 가지는 제1 변환 세그멘테이션 이미지 및 제2 변환 세그멘테이션 이미지를 생성하는 단계; 상기 제1 디스플레이 이미지 및 상기 제2 디스플레이 이미지를 정합하여 파노라마 이미지를 생성하는 단계; 상기 제1 변환 세그멘테이션 이미지 및 상기 제2 변환 세그멘테이션 이미지를 정합하여 정합 세그멘테이션 이미지를 생성하는 단계; 및 상기 정합 세그멘테이션 이미지에 기초하여 상기 선박의 운항 가이드 정보를 산출하는 단계 - 상기 운항 가이드 정보는 상기 선박의 상기 장애물과의 거리 및 상기 장애물로의 접근 속도 중 적어도 하나를 포함함 - ;를 포함하는 선박 주변 모니터링 방법이 제공될 수 있다.
본 발명의 또 다른 양상에 따르면 컴퓨팅 수단에 의해 수행되는 항만 모니터링 방법에 있어서, 제1 뷰를 가지고 안벽 및 상기 안벽으로 접안하는 선박을 포함하는 항만 이미지를 획득하는 단계; 상기 제1 뷰를 제2 뷰로 변환하는 제1 시점 변환 정보를 이용하여, 상기 제1 뷰를 가지는 항만 이미지로부터 상기 제2 뷰를 가지는 디스플레이 이미지를 생성하는 단계; 입력 이미지로부터 상기 입력 이미지에 포함된 오브젝트의 종류에 대한 정보를 출력하도록 학습된 인공 신경망을 이용하여, 상기 제1 뷰를 가지는 항만 이미지로부터 상기 항만 이미지 내의 각 픽셀 별로 오브젝트 클래스가 부여되고 상기 제1 뷰를 가지는 세그멘테이션 이미지를 생성하는 단계; 상기 제1 뷰를 상기 제2 뷰와 상이한 제3 뷰로 변환하는 제2 시점 변환 정보를 이용하여, 상기 제1 뷰를 가지는 세그멘테이션 이미지로부터 상기 제3 뷰를 가지는 변환 세그멘테이션 이미지를 생성하는 단계; 상기 변환 세그멘테이션 이미지에 기초하여 상기 선박의 상기 안벽과의 거리 및 상기 안벽으로의 접근 속도를 산출하는 단계; 및 상기 거리 및 상기 접근 속도를 상기 디스플레이 이미지와 함께 출력하는 단계;를 포함하는 항만 모니터링 방법이 제공될 수 있다.
여기서, 상기 제2 뷰는 상기 디스플레이 이미지에 포함된 상기 안벽이 상기 디스플레이 이미지 상에서 수평 방향을 따라 위치하는 뷰이고, 상기 제3 뷰는 해수면과 수직한 방향에서 해수면을 내려다 본 뷰인 것을 특징으로 할 수 있다.
여기서, 상기 거리는, 상기 선박이 해수면과 접하는 양 단부에 대응되는 제1 지점 및 제2 지점 각각으로부터 상기 안벽과의 거리인 제1 거리 및 제2 거리를 포함할 수 있다.
여기서, 상기 출력하는 단계는, 원격 위치한 단말을 이용하여 상기 거리 및 상기 접근 속도를 상기 디스플레이 이미지와 함께 디스플레이하기 위하여 상기 거리, 상기 접근 속도 및 상기 디스플레이 이미지를 상기 단말로 송신하는 단계; 또는 상기 거리 및 상기 접근 속도를 상기 디스플레이 이미지와 함께 디스플레이하는 단계;인 것을 특징으로 할 수 있다.
여기서, 상기 항만 이미지는, 제1 항만 이미지 및 상기 제1 항만 이미지와 모니터링 영역이 적어도 일부 중첩되는 제2 항만 이미지를 포함하고, 상기 세그멘테이션 이미지는, 상기 제1 항만 이미지 및 상기 제2 항만 이미지 각각에 대응되는 제1 세그멘테이션 이미지 및 제2 세그멘테이션 이미지를 포함하고, 상기 디스플레이 이미지는, 상기 제1 항만 이미지 및 상기 제2 항만 이미지 각각에 대응되는 제1 디스플레이 이미지 및 제2 디스플레이 이미지로부터 추출된 제1 정합 정보를 이용하여 상기 제1 디스플레이 이미지 및 상기 제2 디스플레이 이미지를 정합하여 생성되고, 상기 변환 세그멘테이션 이미지는, 상기 제1 뷰를 가지는 제1 항만 이미지 및 제2 항만 이미지 각각으로부터 생성된 상기 제3 뷰를 가지는 제1 변환 이미지 및 제2 변환 이미지로부터 추출된 상기 제1 정합 정보와 상이한 제2 정합 정보를 이용하고 상기 제1 세그멘테이션 이미지에 대응되는 제1 변환 세그멘테이션 이미지 및 상기 제2 세그멘테이션 이미지에 대응되는 제2 변환 세그멘테이션 이미지를 정합하여 생성될 수 있다.
이하에서는 이미지 기반 선박 및 항만 모니터링 장치 및 방법에 관해 설명한다.
본 명세서에서 모니터링이란 일정 영역이나 특정 오브젝트 등 감지 대상을 각종 센서를 이용하여 감지하고 그 감지 결과를 사용자에게 제공하는 것뿐만 아니라 감지 결과를 바탕으로 연산 등을 통해 추가적인 정보를 제공하는 것 등을 포함하도록 넓게 해석되어야 한다.
이미지 기반 모니터링이란 이미지에 기초하여 주변 상황을 파악하거나 인식하는 것을 의미할 수 있다. 예를 들어, 선박의 운항 시 선박 주변 이미지를 획득하여 이로부터 다른 선박이나 장애물 등을 인식하거나, 선박의 접안 또는 이안 시 다른 선박이나 장애물 등의 인식, 항만 상황 파악, 선석에 접근 가능한지 여부, 안벽과의 거리 및 속도 산출, 운항 경로 상 장애물 존재 여부 파악 등 주변 환경에 대한 정보를 획득하는 것을 의미할 수 있다. 본 명세서에서는 주로 선박 및 항만에서의 이미지 기반 모니터링에 대해 설명하나, 이에 한정되는 것은 아니고 차량의 주행, 비행체의 운항 등의 경우에도 적용될 수 있을 것이다.
이미지 기반 모니터링 장치는 이미지 기반 모니터링을 수행하는 장치로써 구체적인 구성에 대해서는 후술하기로 한다.
도 1은 일 실시예에 따른 이미지 기반 모니터링에 관한 도면이다. 도 1을 참고하면, 이미지 기반 모니터링은 이미지 획득 단계(S10) 및 이미지 분석 단계(S20)를 포함할 수 있다.
이미지 획득 단계(S10)는 이미지 기반 모니터링 장치가 이미지를 획득하는 단계를 의미할 수 있다. 여기서, 이미지의 종류는 RGB 이미지, IR 이미지, depth 이미지, 라이다(lidar) 이미지, 레이더(radar) 이미지 등 다양할 수 있고 제한이 있는 것은 아니다. 또한, 2차원 이미지뿐만 아니라 3차원 이미지 등도 가능하다.
이미지 분석 단계(S20)는 이미지에 기초하여 분석 결과를 획득하는 단계를 의미할 수 있다. 일 예로, 이미지 분석 단계(S20)는 입력 받은 이미지에 기초하여 모니터링에 필요한 정보 등의 분석 결과를 획득하는 단계를 포함할 수 있다. 또는, 이미지 분석 단계(S20)는 이미지에 포함된 오브젝트의 특성을 분석하는 단계를 의미할 수 있다. 또는, 이미지 분석 단계(S20)는 이미지가 나타내는 상황을 판단하는 단계를 포함할 수 있다.
이미지 획득 단계(S10) 및 이미지 분석 단계(S20)의 구체적인 내용은 후술하기로 한다. 이하에서는 이미지 획득 단계(S10) 또는 이미지 분석 단계(S20)를 통해 획득한 정보를 모니터링 정보라 한다.
도 2는 일 실시예에 따른 이미지 기반 모니터링 장치에 관한 도면이다. 도 2를 참고하면, 이미지 기반 모니터링 장치(10)는 센서 모듈(100), 제어 모듈(200) 및 통신 모듈(300)을 포함할 수 있다.
센서 모듈(100)은 선박이나 선박 주변 및 항만에 대한 정보를 센싱할 수 있다. 센서 모듈(100)은 선박자동식별장치(automatic identification system, AIS), 이미지 생성 유닛, 위치 측정 유닛, 자세 측정 유닛, 케이싱 등을 포함할 수 있다.
이미지 생성 유닛은 이미지를 생성할 수 있다. 이미지 생성 유닛은 카메라, 라이다, 레이더, 초음파 탐지기 등을 포함할 수 있다. 카메라의 예로는 단안 카메라, 쌍안 카메라, 가시광선 카메라, IR 카메라, depth 카메라가 있지만 이에 한정되는 것은 아니다.
위치 측정 유닛은 센서 모듈이나 이미지 생성 유닛 등 센서 모듈에 포함된 구성의 위치를 측정할 수 있다. 일 예로, 위치 측정 유닛은 GPS(Global Positioning System)일 수 있다. 특히, 위치 측정의 정확도 향상을 위해 RTK-GPS(Real-Time Kinematic GPS)가 이용될 수도 있다.
위치 측정 유닛은 미리 정해진 시간 간격마다 위치 정보를 획득할 수 있다. 여기서, 상기 시간 간격은 센서 모듈의 설치 위치에 따라 달라질 수 있다. 예를 들어, 센서 모듈이 선박 등 이동체에 설치된 경우 위치 측정 유닛은 짧은 시간 간격마다 위치 정보를 획득할 수 있다. 반면, 센서 모듈이 항만 등 고정체에 설치된 경우 위치 측정 유닛은 긴 시간 간격마다 위치 정보를 획득할 수 있다. 위치 측정 유닛의 위치 정보 획득을 위한 시간 간격은 변경될 수 있다.
자세 측정 유닛은 센서 모듈이나 이미지 생성 유닛 등 센서 모듈에 포함된 구성의 자세를 측정할 수 있다. 일 예로, 자세 측정 유닛은 관성측정장비(Inertial Measurement Unit, IMU)일 수 있다.
자세 측정 유닛은 미리 정해진 시간 간격마다 자세 정보를 획득할 수 있다. 여기서, 상기 시간 간격은 센서 모듈의 설치 위치에 따라 달라질 수 있다. 예를 들어, 센서 모듈이 선박 등 이동체에 설치된 경우 자세 측정 유닛은 짧은 시간 간격마다 자세 정보를 획득할 수 있다. 반면, 센서 모듈이 항만 등 고정체에 설치된 경우 자세 측정 유닛은 긴 시간 간격마다 자세 정보를 획득할 수 있다. 자세 측정 유닛의 자세 정보 획득을 위한 시간 간격은 변경될 수 있다.
케이싱은 이미지 생성 유닛, 위치 측정 유닛, 자세 측정 유닛 등 센서 모듈을 보호할 수 있다.
케이싱의 내부에는 이미지 생성 유닛, 위치 측정 유닛, 자세 측정 유닛 중 적어도 하나가 존재할 수 있다. 케이싱은 내부에 존재하는 이미지 생성 유닛 등의 장비가 염수에 의해 부식되는 것을 방지할 수 있다. 또는, 케이싱은 내부에 존재하는 장비에 가해지는 충격을 방지하거나 완화시켜 이를 보호할 수 있다.
내부에 이미지 생성 유닛 등을 포함하기 위하여 케이싱의 내부에 공동이 형성될 수 있다. 예를 들어, 케이싱은 내부가 비어있는 직육면체 형상일 수 있지만, 이에 한정되는 것은 아니고 내부에 이미지 생성 유닛 등이 배치될 수 있는 다양한 형상으로 제공될 수 있다.
케이싱의 내부에 이미지 생성 유닛이 배치되는 경우, 이미지 생성 유닛의 시야 확보를 위해 케이싱의 일 영역에 개폐구가 형성되거나 케이싱의 일 영역을 유리 등 투명한 물질로 형성할 수 있다. 이미지 생성 유닛은 상기 개폐구 또는 투명한 영역을 통해 선박 주변 및 항만을 촬상할 수 있다.
케이싱은 이미지 생성 유닛 등을 외부 충격으로부터 보호하기 위해 강인한 소재로 제공될 수 있다. 또는, 케이싱은 염분으로 인한 부식을 방지하기 위하여 해수용 합금 등의 소재로 제공될 수 있다.
케이싱은 이미지 생성 유닛의 이물질을 제거하기 위한 장비를 포함할 수 있다. 일 예로, 케이싱에 포함된 와이퍼를 통해 이미지 생성 유닛의 표면에 달라붙은 이물질을 물리적으로 제거할 수 있다. 여기서, 상기 와이퍼는 이물질을 제거하려는 표면에 밀착할 수 있도록 상기 표면과 동일하거나 유사한 곡률을 갖는 선형 또는 판형으로 제공될 수 있다. 다른 예로, 케이싱에 포함된 액체 스프레이를 통해 물이나 워셔액을 도포하여 이물질을 제거하거나 도포 후 와이퍼를 이용하여 이물질을 물리적으로 제거할 수 있다.
이물질 제거 장비는 수동으로 가동될 수 있지만, 자동으로도 가동될 수 있다. 예를 들어, 미리 정해진 시간 간격으로 이물질 제거 장비가 동작할 수 있다. 또는, 이미지 생성 유닛에 이물질이 달라 붙었는지 여부를 감지하는 센서를 이용하여 이물질 제거 장비를 동작시킬 수 있다. 또는, 이미지 생성 유닛이 촬상한 이미지를 이용하여, 상기 이미지에 이물질이 촬상되었는지 여부를 판단한 후, 이물질이 존재한다고 판단되는 경우에 이물질 제거 장비를 동작시킬 수 있다. 여기서, 이미지에 이물질이 촬상되었는지 여부는 인공 신경망(artificial neural network)을 통하여 판단될 수도 있을 것이다.
하나의 센서 모듈(100)은 2개 이상의 동일한 카메라를 포함하는 등 복수의 동일한 장비를 포함할 수도 있다.
제어 모듈(200)은 이미지 분석을 수행할 수 있다. 또한, 센서 모듈(100)을 통해 각종 데이터를 수신하는 동작, 출력 장치를 통해 각종 출력을 출력하는 동작, 메모리에 각종 데이터를 저장하거나 메모리로부터 각종 데이터를 획득하는 동작 등이 제어 모듈(200)의 제어에 의해 수행될 수 있다. 이하에서는 본 명세서의 실시예로 개시되는 각종 동작이나 단계들은 별도의 언급이 없는 이상 제어 모듈(200)에 의해 수행되거나 제어 모듈(200)의 제어에 의해 수행되는 것으로 해석될 수 있다.
제어 모듈(200)의 예로는 중앙 처리 장치(Central Processing Unit, CPU), 그래픽 처리 장치(Graphics Processing Unit, GPU), 디지털 신호 처리 장치(Digital Signal Processor, DSP), 상태 기계(state machine), 주문형 반도체(Application Specific Integrated Circuit, ASIC), 무선 주파수 집적 회로(Radio-Frequency Integrated Circuit, RFIC) 및 이들의 조합 등이 있을 수 있다.
통신 모듈(300)은 장치(10)로부터 외부로 정보를 송신하거나 외부로부터 정보를 수신할 수 있다. 통신 모듈(300)은 유선 또는 무선 통신을 수행할 수 있다. 통신 모듈(300)은 양방향(bi-directional) 또는 단방향 통신을 수행할 수 있다. 예를 들어, 장치(10)는 통신 모듈(300)을 통해 외부 출력 장치로 정보를 전달하여 제어 모듈(200)이 수행한 제어 결과를 외부 출력 장치를 통해 출력할 수 있다.
센서 모듈(100), 제어 모듈(200) 및 통신 모듈(300)은 제어부를 포함할 수 있다. 제어부는 모듈 내에서 각종 정보의 처리와 연산을 수행하고, 모듈을 구성하는 다른 구성 요소를 제어할 수 있다. 제어부는 물리적으로는 전기 신호를 처리하는 전자 회로 형태로 제공될 수 있다. 모듈은 물리적으로 단일한 제어부만을 포함할 수도 있으나, 이와 달리 복수의 제어부를 포함할 수도 있다. 일 예로, 제어부는 하나의 컴퓨팅 수단에 탑재되는 하나 또는 복수의 프로세서(processor)일 수 있다. 다른 예로, 제어부는 물리적으로 이격된 서버(server)와 터미널(terminal)에 탑재되어 통신을 통해 협업하는 프로세서들로 제공될 수도 있다. 제어부의 예로는 중앙 처리 장치(Central Processing Unit, CPU), 그래픽 처리 장치(Graphics Processing Unit, GPU), 디지털 신호 처리 장치(Digital Signal Processor, DSP), 상태 기계(state machine), 주문형 반도체(Application Specific Integrated Circuit, ASIC), 무선 주파수 집적 회로(Radio-Frequency Integrated Circuit, RFIC) 및 이들의 조합 등이 있을 수 있다.
센서 모듈(100), 제어 모듈(200) 및 통신 모듈(300)은 통신부를 포함할 수 있다. 상기 모듈들은 통신부를 통해 정보를 송수신할 수 있다. 예를 들어, 센서 모듈(100)은 외부로부터 획득한 정보를 그 통신부를 통해 송신하고, 제어 모듈(200)은 그 통신부를 통해 센서 모듈(100)이 송신한 정보를 수신할 수 있다. 통신부는 유선 또는 무선 통신을 수행할 수 있다. 통신부는 양방향(bi-directional) 또는 단방향 통신을 수행할 수 있다.
센서 모듈(100), 제어 모듈(200) 및 통신 모듈(300)은 메모리를 포함할 수 있다. 메모리는 각종 프로세싱 프로그램, 프로그램의 프로세싱을 수행하기 위한 파라미터 또는 이러한 프로세싱 결과 데이터 등을 저장할 수 있다. 예를 들어, 메모리는 학습 및/또는 추론에 필요한 데이터, 학습이 진행중이거나 학습된 인공 신경망 등을 저장할 수 있다. 메모리는 비휘발성 반도체 메모리, 하드 디스크, 플래시 메모리, RAM(Random Access Memory), ROM(Read Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory) 또는 그 외에 유형의(tangible) 비휘발성의 기록 매체 등으로 구현될 수 있다.
이미지 기반 모니터링 장치는 2개 이상의 센서 모듈을 포함하는 등 복수의 동일한 모듈을 포함할 수도 있다. 예를 들어, 하나의 장치가 2개의 센서 모듈을 포함하고, 각 센서 모듈이 다시 2개의 카메라를 포함할 수도 있다.
도 3 및 도 4는 일 실시예에 따른 이미지 기반 모니터링 장치의 실시예에 관한 도면이다.
도 3을 참고하면, 이미지 기반 모니터링 장치는 센서 모듈(100) 및 제어 모듈(200)을 포함할 수 있다. 센서 모듈(100)은 카메라(130)를 통해 이미지를 생성하고, 통신부(110)를 통해 이미지를 제어 모듈(200)로 송신할 수 있다. 또한, 센서 모듈(100)의 제어부(120)는 후술할 시점 변환을 수행하여 이미지의 시점을 변환시킬 수 있다. 제어 모듈(200)은 통신부(210)를 통해 센서 모듈(100)로부터 이미지를 수신하고, 제어부(220)를 통해 후술할 위치/이동 정보 추정 및 이미지 정합 등 이미지 분석을 수행할 수 있다. 또한, 제어 모듈(200)은 통신부(210)를 통해 클라우드 서버로 위치/이동 정보 및 정합된 이미지 등 분석 결과를 송신할 수 있다. 클라우드 서버는 제어 모듈(200)로부터 수신한 분석 결과를 스마트폰, 태블릿, PC 등 사용자 단말로 전송하거나 사용자 단말로부터 인스트럭션을 수신할 수 있다.
도 4를 참고하면, 이미지 기반 모니터링 장치는 센서 모듈(100)을 포함할 수 있다. 센서 모듈(100)은 카메라(130)를 통해 이미지를 생성하고, 통신부(110)를 통해 클라우드 서버로 이미지를 전송할 수 있다. 또한, 센서 모듈(100)의 제어부(120)는 후술할 시점 변환을 수행하여 이미지의 시점을 변환시킬 수 있다. 클라우드 서버는 센서 모듈(100)로부터 이미지를 수신하고, 후술할 위치/이동 정보 추정 및 이미지 정합 등 이미지 분석을 수행할 수 있다. 또한, 클라우드 서버는 이미지 분석의 결과를 스마트폰, 태블릿, PC 등 사용자 단말로 전송하거나 사용자 단말로부터 인스트럭션을 수신할 수 있다.
도 2 내지 도 4에서 도시하는 장치는 예시에 불과하며 장치의 구성이 이에 한정되지는 않는다.
일 예로, 장치는 출력 모듈을 포함할 수 있다. 출력 모듈은 제어 모듈에 의해 수행된 연산의 결과 등을 출력할 수 있다. 예를 들어, 출력 모듈은 분석 결과를 출력할 수 있다. 출력 모듈은 예시적으로 디스플레이, 스피커, 신호 출력 회로 등일 수 있으나 이에 한정되는 것은 아니다. 이 경우 정보를 사용자 단말 등 외부 출력 장치로 전달하여 외부 출력 장치가 정보를 출력하는 것 외에 출력 모듈을 통해 정보를 출력할 수도 있을 것이다.
다른 예로, 장치는 센서 모듈을 포함하지 않을 수도 있다. 이 경우 제어 모듈은 외부 센서 장치로부터 정보를 전달받아 이미지 분석을 수행하는 등 이미지 기반 모니터링 동작을 수행할 수 있을 것이다. 예를 들어, 제어 모듈은 선박이나 항만에 이미 설치된 AIS, 카메라, 라이다, 레이다 등으로부터 정보를 전달받아 이미지 분석을 수행할 수 있다.
또한, 도 2 내지 도 4의 각 구성이 수행하는 단계는 반드시 해당 구성이 수행해야 하는 것은 아니고 다른 구성에 의해 수행될 수 있다. 예를 들어, 위의 도 3에서는 센서 모듈(100)의 제어부(120)가 시점 변환을 수행하는 것으로 기재하였으나, 제어 모듈(200)의 제어부(220) 또는 클라우드 서버가 시점 변환을 수행할 수도 있을 것이다.
이하에서는 이미지 기반 선박 및 항만 모니터링 장치 및 방법에 대해 보다 구체적으로 살펴본다.
이미지 기반 모니터링을 위한 이미지 획득은 센서 모듈을 통해 수행될 수 있다. 예를 들어, 센서 모듈에 포함된 이미지 생성 유닛을 통해 이미지를 획득할 수 있다. 또는, 전술한 바와 같이 외부 센서 장치로부터 이미지를 획득할 수도 있다. 선박 및 항만 모니터링을 위한 이미지는 바다, 선박, 부표, 장애물, 지형, 항만, 하늘, 건물 등을 포함하는 것이 일반적일 것이다. 이하에서는 주로 가시광선 카메라를 통해 획득한 이미지를 분석하여 모니터링하는 것에 대해 설명하나 이에 한정되는 것은 아니다.
이미지 생성 유닛에 따라 시야각(field of view) 및 피사계 심도(depth of field)가 달라질 수 있다. 도 5는 일 실시예에 따른 시야각 및 피사계 심도에 관한 도면이다. 도 5를 참고하면, 시야각(FOV)은 좌우 또는 상하로 어느 정도의 범위까지 이미지에 포함되는지를 의미할 수 있고, 일반적으로는 각도(angle, degree)로 표현된다. 시야각이 더 크다는 의미는 좌우로 더 큰 폭의 영역을 포함하는 이미지를 생성하거나, 상하로 더 큰 폭의 영역을 포함하는 이미지를 생성하는 것을 의미할 수 있다. 피사계 심도는 이미지의 초점이 맞은 것으로 인식되는 거리 범위를 의미할 수 있고, 피사계 심도가 깊다는 의미는 이미지의 초점이 맞은 것으로 인식되는 거리 범위가 넓다는 것을 의미할 수 있다. 도 5를 참고하면, 피사계 심도(DOF)에 따라 이미지는 초점이 맞은 것으로 인식되는 영역(A1) 및 그 외의 영역(A2)을 포함할 수 있다. 이하에서는 이미지가 포함하고 있는 영역을 촬상 영역(A1 + A2), 초점이 맞은 것으로 인식되는 영역을 유효 영역(A1)이라 하고, 이미지 분석 및 모니터링은 유효 영역에 기초하여 수행될 수 있지만 촬상 영역 전체에 기초하여 수행되거나 촬상 영역의 일부에 기초하여 수행될 수도 있으므로, 이미지 분석 및 모니터링을 수행하기 위해 이용되는 영역을 모니터링 영역이라고 한다.
시야각이 크고 피사계 심도가 얕은 카메라의 예로 광각 카메라가 있다. 시야각이 작고 피사계 심도가 깊은 카메라의 예로는 고배율 카메라, 줌 카메라가 있다.
센서 모듈은 항만 내의 조명탑, 크레인, 선박 등 그 위치나 자세에 제한이 없이 설치될 수 있고, 그 개수에도 제한이 없다. 다만, 센서 모듈의 종류 및 성능 등 특성에 따라 그 설치 위치나 개수가 달라질 수 있다. 예를 들어, 카메라의 경우 효율적인 모니터링을 위해 수면에서 15m 이상의 고도에 설치되거나, 서로 다른 촬상 영역을 갖도록 복수가 설치될 수 있다. 또한, 센서 모듈의 위치 및 자세는 설치 시 또는 설치 후에 수동 또는 자동으로 조절될 수도 있다.
도 6 및 도 7은 일 실시예에 따른 센서 모듈의 설치 위치에 관한 도면이다. 도 6 및 도 7을 참고하면, 센서 모듈(100)은 항만 또는 육지와 같이 고정된 위치에 설치되거나, 선박 등과 같이 이동하는 물체에 설치될 수 있다. 여기서, 센서 모듈(100)이 선박에 설치되는 경우, 도 7과 같이 모니터링의 대상이 되는 선박(이하 "타겟 선박"이라 함)에 설치될 수 있고, 도 6과 같이 타겟 선박의 접안 또는 이안을 보조하는 예인선 등 모니터링의 대상이 아닌 제3의 선박에 설치될 수도 있다. 이 외에도, 센서 모듈은 드론 등에 설치되어 타겟 선박을 모니터링할 수 있다.
모니터링 장치의 다른 구성 요소는 센서 모듈과 함께 또는 이와 별도의 장소에 설치될 수 있다.
전술한 바와 같이 이미지 기반 모니터링을 위한 이미지 분석은 오브젝트 특성을 획득하는 것을 포함할 수 있다. 오브젝트의 예로는 선박, 항만, 부표, 바다, 지형, 하늘, 건물, 사람, 동물, 불 등이 있을 수 있다. 오브젝트 특성의 예로는 오브젝트의 종류, 오브젝트의 위치, 오브젝트까지의 거리, 오브젝트의 절대적 및 상대적인 속력 및 속도 등이 있을 수 있다.
이미지 기반 모니터링을 위한 이미지 분석은 주변 상황을 인식/판단하는 것을 포함할 수 있다. 예를 들어, 이미지 분석은 항만에 불이 난 이미지로부터 화재 상황이 발생한 것을 판단하거나, 예정되지 않은 시간에 항만에 들어온 사람이 촬상된 이미지로부터 침입자가 들어온 것을 판단하는 것일 수 있다.
이미지 기반 모니터링을 위한 이미지 분석은 제어 모듈이나 각 모듈에 포함된 제어부를 통해 수행될 수 있다.
도 8은 일 실시예에 따른 이미지 분석에 관한 도면이다. 도 8을 참고하면, 이미지 분석은 오브젝트 인식 단계(S210) 및 위치/이동 정보 추정 단계(S220)를 포함할 수 있다.
이미지 분석은 오브젝트 인식 단계(S210)를 포함할 수 있다. 오브젝트 인식 단계(S210)는 이미지에 포함된 오브젝트를 인식하는 것을 포함할 수 있다. 예를 들어, 오브젝트 인식은 이미지에 선박, 예인선, 바다, 항만 등의 오브젝트가 포함되어 있는지 여부를 판단하는 것일 수 있다. 더 나아가, 오브젝트 인식은 이미지의 어떤 위치에 오브젝트가 존재하는지를 판단하는 것일 수 있다.
도 9는 일 실시예에 따른 오브젝트 인식 단계에 관한 도면이다. 도 9의 (a)는 카메라가 촬상한 이미지이고, 오브젝트 인식 단계를 통해 도 9의 (b) 또는 (c)와 같이 오브젝트를 인식할 수 있다.
구체적으로, 도 9의 (b)는 이미지의 각 픽셀 별로 해당 픽셀이 어떠한 오브젝트에 대응되는지를 나타낸 것으로, 세그멘테이션(segmentation)이라고도 한다. 이 경우 오브젝트 인식 단계는 세그멘테이션 단계를 의미할 수 있을 것이다. 세그멘테이션을 통해 이미지로부터 이미지상의 픽셀에 대응되는 특성을 할당하거나 산출할 수 있다. 이는 픽셀에 특성이 할당 또는 라벨링(labelling)되었다고 얘기할 수도 있을 것이다. 도 9의 (a) 및 (b)를 참고하면, 도 9의 (a)의 카메라로 촬상된 이미지에 기초한 세그멘테이션을 수행하여 도 9의 (b)와 같은 세그멘테이션 이미지를 획득할 수 있다. 도 9의 (b)에서, 제1 픽셀 영역(P1)은 선박에 대응되는 픽셀의 이미지상의 영역이고, 제2 픽셀 영역(P2)은 바다, 제3 픽셀 영역(P3)은 항만의 안벽, 제4 픽셀 영역(P4)은 지형, 제5 픽셀 영역(P5)은 하늘에 대응되는 픽셀의 이미지상의 영역이다.
도 9의 (b)에서는 세그멘테이션을 수행하여 이미지상의 각 픽셀에 대응되는 오브젝트의 종류에 대한 정보를 산출하는 것을 도시하였으나, 세그멘테이션을 통해 획득할 수 있는 정보가 이에 한정되는 것은 아니다. 예를 들어, 오브젝트의 위치, 좌표, 거리, 방향 등의 특성 또한 세그멘테이션을 통해 획득할 수 있을 것이다. 이 경우 서로 다른 특성은 독립적으로 표현될 수도 있고, 동시에 반영하여 표현될 수도 있다.
표 1은 일 실시예에 따른 오브젝트의 종류 및 거리에 대한 정보를 동시에 반영한 라벨링에 관한 표이다. 표 1을 참고하면, 오브젝트의 종류 및 거리에 대한 정보를 함께 고려하여 클래스를 설정하고, 각 클래스 별로 식별값을 할당할 수 있다. 예를 들어, 오브젝트의 종류에 대한 정보인 지형과 거리에 대한 정보인 근거리를 함께 고려하여 2번 식별값을 할당할 수 있다. 표 1은 종류에 대한 정보와 거리에 대한 정보를 함께 고려한 경우의 일 예이고, 이 외에 방향 정보, 장애물 이동 방향, 속도, 항로 표지 등 다른 정보 또한 함께 고려될 수 있다. 또한, 모든 식별값이 복수의 정보를 포함해야 하는 것은 아니고, 같은 종류의 정보를 포함해야 하는 것도 아니다. 예를 들어, 특정 식별값은 종류에 대한 정보만 포함하고(예를 들어, 식별값 1은 거리에 대한 정보를 포함하지 않음) 다른 식별값은 종류 및 거리에 대한 정보를 포함하는 등 경우에 따라 다양한 방식으로 표현될 수 있다.
식별값 클래스
0 하늘 및 기타
1 바다
2 지형 + 근거리
3 지형 + 중거리
4 지형 + 원거리
5 고정 장애물 + 근거리
6 고정 장애물 + 중거리
7 고정 장애물 + 원거리
8 동적 장애물 + 근거리
9 동적 장애물 + 중거리
10 동적 장애물 + 원거리
도 9의 (c)는 이미지의 어떤 위치에 오브젝트가 존재하는지를 바운딩 박스(bounding box)로 표시한 것으로, 디텍션(detection)이라고도 한다. 이 경우 오브젝트 인식 단계는 디텍션 단계를 의미할 수 있을 것이다. 세그멘테이션과 비교하면, 디텍션은 이미지의 각 픽셀 별로 특성을 산출하는 것이 아닌 오브젝트가 어느 위치에 포함되어 있는지를 박스 형태로 검출하는 것으로 볼 수 있다. 도 9의 (a) 및 (c)를 참고하면, 도 9의 (a)의 카메라로 촬상된 이미지에 기초한 디텍션을 수행하여 도 9의 (c)와 같은 디텍션 이미지를 획득할 수 있다. 도 9의 (c)에서, 이미지상에서 선박을 검출하고 선박의 위치를 사각형의 바운딩 박스(BB)로 표현한 것을 볼 수 있다. 도 9의 (c)에는 하나의 오브젝트만을 디텍션하는 것으로 도시하였으나, 하나의 이미지로부터 2 이상의 오브젝트를 디텍션할 수도 있다.
세그멘테이션 및 디텍션은 인공 신경망을 이용하여 수행될 수 있다. 하나의 인공 신경망을 통해 세그멘테이션/디텍션을 수행할 수도 있고, 복수의 인공 신경망을 이용하여 각각의 인공 신경망이 세그멘테이션/디텍션을 수행하고 이 결과를 조합하여 최종 결과를 산출할 수도 있다.
인공 신경망이란 인간의 신경망 구조를 본떠 만든 알고리즘의 일종으로, 하나 이상의 노드 또는 뉴런(neuron)을 포함하는 하나 이상의 레이어를 포함할 수 있고 각각의 노드는 시냅스(synapse)를 통해 연결될 수 있다. 인공 신경망에 입력된 데이터(입력 데이터)는 시냅스를 통해 노드를 거쳐 출력(출력 데이터)될 수 있고, 이를 통해 정보를 획득할 수 있다.
인공 신경망의 종류로는 필터를 이용해 특징을 추출하는 합성곱신경망(convolution neural network, CNN) 및 노드의 출력이 다시 입력으로 피드백 되는 구조를 갖는 순환인공신경망(recurrent neural network, RNN)이 있고, 제한된 볼츠만 머신(restricted Boltzmann machine, RBM), 심층신뢰신경망(deep belief network, DBN), 생성대립신경망(generative adversarial network, GAN), 관계형 네트워크(relation networks, RN) 등 다양한 구조가 적용될 수 있고 제한이 있는 것은 아니다.
인공 신경망을 이용하기 전에 학습시키는 단계가 필요하다. 또는, 인공 신경망을 이용하며 학습시킬 수 있다. 이하에서는 인공신경망을 학습시키는 단계를 학습 단계, 이용하는 단계를 추론 단계로 표현하기로 한다.
인공 신경망은 지도 학습(supervised learning), 비지도 학습(unsupervised learning), 강화 학습(reinforcement learning), 모방 학습(imitation learning) 등 다양한 방법을 통해 학습될 수 있다.
도 10은 일 실시예에 따른 인공 신경망의 학습 단계 및 추론 단계에 관한 도면이다.
도 10의 (a)는 인공 신경망의 학습 단계의 일 실시예로, 학습되지 않은 인공 신경망이 학습 데이터 또는 훈련 데이터(training data)를 입력 받아 출력 데이터를 출력하고, 출력 데이터와 라벨링 데이터(labelling data)를 비교하여 그 오차의 역전파를 통해 인공 신경망을 학습시킬 수 있다. 학습 데이터, 출력 데이터, 라벨링 데이터는 이미지일 수 있다. 라벨링 데이터는 실측 자료(ground truth)를 포함할 수 있다. 또는, 라벨링 데이터는 사용자 또는 프로그램을 통하여 생성된 자료일 수 있다.
도 10의 (b)는 인공 신경망의 추론 단계의 일 실시예로, 학습된 인공 신경망이 입력 데이터를 입력 받아 출력 데이터를 출력할 수 있다. 학습 단계에서의 학습 데이터의 정보에 따라 추론 단계에서 추론 가능한 정보가 달라질 수 있다. 또한, 인공 신경망의 학습 정도에 따라 출력 데이터의 정확성이 달라질 수 있다.
이미지 분석은 위치/이동 정보 추정 단계(S220)를 포함할 수 있다. 위치/이동 정보 추정 단계(S220)는 오브젝트 인식 단계(S210)에서 인식된 오브젝트 중 적어도 일부에 대하여 그 위치 및/또는 이동에 관한 정보를 추정하는 것을 포함할 수 있다. 여기서, 위치 정보는 오브젝트의 좌표와 같은 절대적 위치, 특정 기준으로부터의 상대적 위치, 거리(임의의 지점으로부터의 거리, 거리 범위 등), 방향 등을 포함할 있고, 이동 정보는 절대적 속도, 상대적 속도, 속력 등 오브젝트의 이동에 관한 정보를 포함할 수 있다.
오브젝트의 위치/이동 정보는 선박의 접안 또는 이안 시 이용될 수 있다. 예를 들어, 선박 접안 또는 이안 시 선석 또는 안벽과의 거리, 이들을 기준으로 한 접근 속도, 다른 선박과의 간격 및 상대 속도 등을 이용하여 선박의 안전한 접안 또는 이안을 보조하거나 가이드 할 수 있다.
오브젝트의 위치/이동 정보는 선박의 운항 시 이용될 수 있다. 예를 들어, 다른 선박이나 선박 주변의 장애물을 감지하거나, 이들까지의 거리, 이들의 이동 속도 등을 이용하여 충돌을 경고하거나 경로 추천/생성을 하는 등 선박의 안전한 운항을 보조하거나 가이드 할 수 있다. 또는 이러한 정보를 바탕으로 자율 운항을 수행할 수도 있을 것이다.
오브젝트의 위치/이동 정보는 이미지에 기초하여 산출될 수 있다. 예를 들어, 오브젝트로써 선박, 바다 및 육지를 포함하는 이미지에 기초하여 선박의 위치/이동 정보를 산출할 수 있다. 이하에서는 위치/이동 정보를 추정하는 오브젝트를 타겟 오브젝트라 한다. 예를 들어, 위의 예에서는 선박이 타겟 오브젝트일 수 있다. 또한, 타겟 오브젝트는 복수일 수 있다. 예를 들어, 이미지에 포함된 복수의 선박 각각에 대해 그 위치나 속력 등을 추정하는 경우 복수의 선박이 타겟 오브젝트일 수 있다.
오브젝트의 위치/이동 정보는 일정 범위를 갖는 복수의 카테고리로 표현될 수 있다. 예를 들어, 거리 정보는 근거리, 중거리 및 원거리 등으로 표현될 수 있고, 방향 정보는 좌측 방향, 정면 방향 및 우측 방향 등으로 표현될 수 있다. 이를 조합하여 좌측 근거리, 우측 원거리 등으로 표현하는 것도 가능할 것이다. 이동 정보는 고속, 저속 등으로 표현될 수 있다.
오브젝트의 위치/이동 정보는 실제 거리값, 방향값 및 속도값 등으로 표현될 수 있다. 예를 들어, 거리 정보는 미터(m) 단위로 표현될 수 있고, 방향 정보는 도(degree) 단위로 표현될 수 있고, 이동 정보는 cm/s 단위로 표현될 수 있다.
오브젝트의 위치/이동 정보는 영역이나 포인트를 기준으로 추정될 수 있다. 일 예로, 선박과 안벽 사이의 거리는 선박의 일 포인트와 안벽의 일 포인트 사이의 거리를 산출함으로써 추정되거나, 선박의 일 포인트와 안벽과의 최단 거리를 산출함으로써 추정될 수 있다. 다른 예로, 선박 사이의 간격은 제1 선박의 일 포인트와 제2 선박의 일 포인트 사이의 거리를 산출함으로써 추정될 수 있다. 선박의 일 포인트는 바다와 접하는 선박의 일 지점에 대응되거나 선박의 선수 또는 선미에 대응될 수 있지만, 이에 한정되는 것은 아니다.
오브젝트의 위치/이동 정보는 이미지 픽셀을 기반으로 추정될 수 있다. 전술한 바와 같이 포인트를 기준으로 위치/이동 정보를 추정하는 경우, 이미지 상에서 포인트는 픽셀에 대응될 수 있다. 따라서, 오브젝트의 위치/이동 정보는 이미지 픽셀 사이의 간격에 기초하여 산출될 수 있다.
포인트 사이의 거리 정보는 픽셀 사이의 간격에 기초하여 산출될 수 있다. 일 예로, 하나의 픽셀 간격마다 일정 거리를 할당하고 픽셀 사이의 간격에 비례하여 포인트 사이의 거리를 산출할 수 있다. 다른 예로, 픽셀의 이미지상에서의 좌표값을 바탕으로 픽셀 사이의 거리를 산출하고 이에 기초하여 포인트 사이의 거리를 산출할 수 있다.
포인트 사이의 이동 정보는 포인트 사이의 거리 정보의 변화에 기초하여 산출될 수 있다. 이 경우 복수의 이미지 또는 영상 프레임에 기초하여 이동 정보를 산출할 수 있다. 예를 들어, 이전 프레임에서의 포인트 사이의 거리와 현재 프레임에서의 포인트 사이의 거리 및 프레임 사이의 시간 간격에 기초하여 포인트 사이의 이동 정보를 산출할 수 있다.
도 11 및 도 12는 일 실시예에 따른 오브젝트의 위치/이동 정보 추정에 관한 도면이다.
도 11을 참고하면, 위치/이동 정보 추정 단계는 선박(OBJ1)의 접안 또는 이안 시 안벽(OBJ2)과의 위치/이동 정보(f1, f2) 또는 다른 선박(OBJ3, OBJ4)과의 위치/이동 정보(f3, f4)를 추정하는 것을 포함할 수 있다. 도 11에 도시된 바와 같이, 선박(OBJ1)과 안벽(OBJ2) 사이의 위치/이동 정보(f1, f2)는 선박(OBJ1)의 2 포인트에 대해 산출될 수 있다. 이 경우 상기 2 포인트는 선박(OBJ1)이 바다와 접하는 지점에 대응될 수 있다. 또한, 선박(OBJ1)과 안벽(OBJ2) 사이의 거리는 상기 2 포인트와 안벽(OBJ2) 사이의 최단 거리일 수 있다. 선박(OBJ1)과 다른 선박(OBJ3, OBJ4) 사이의 위치/이동 정보(f3, f4)는 선박들(OBJ1, OBJ3, OBJ4)의 선수 또는 선미에 대응되는 포인트 사이의 위치/이동 정보일 수 있다. 이와 같이 위치/이동 정보가 선박의 접안 또는 이안에 이용되어 이를 보조하거나 가이드 하는 경우 접안 가이드 정보 또는 이안 가이드 정보라 지칭할 수도 있을 것이다.
도 12를 참고하면, 위치/이동 정보 추정 단계는 선박(OBJ5)의 운항 시 다른 선박(OBJ6)이나 부표 등 장애물(OBJ7)과의 위치/이동 정보(f5, f6)를 추정하는 것을 포함할 수 있다.
위치/이동 정보 추정 단계에서 산출한 데이터에 기반하여 항만 운용이나 관리를 수행할 수 있다. 예를 들어, 선박이 방충제(fender)와 충돌하는 경우 선박의 속도 등 이동 정보로부터 충격량 등을 계산하여 방충제의 교체 시기를 예측할 수 있을 것이다.
이상에서는 오브젝트 인식 단계를 수행한 후 위치/이동 정보를 추정하는 방식의 이미지 분석의 실시예에 대해 살펴보았다. 이와 달리, 오브젝트 인식과 위치/이동 정보 추정이 하나의 단계로 수행될 수도 있다. 예를 들어, 세그멘테이션 또는 디텍션을 수행하여 오브젝트를 인식함과 동시에 오브젝트의 위치/이동 정보를 추정할 수 있다.
이미지 기반 모니터링은 전술한 단계 외의 다른 단계를 포함할 수 있다.
이미지 기반 모니터링은 전처리(pre-processing) 단계를 포함할 수 있다. 전처리는 이미지에 행하여지는 모든 종류의 가공을 의미하고, 이미지 정규화(normalization), 이미지 밝기 평준화(image equalization, histogram equalization), 이미지 리사이즈(resize), 이미지의 해상도/크기를 변경하는 업스케일링(upscaling) 및 다운스케일링(downscaling), 잘라내기(crop), 노이즈 제거 등을 포함할 수 있다. 여기서, 노이즈는 안개, 비, 물방울, 해무(sea clutter), 미세먼지, 직사광선, 염분 및 이들의 조합 등을 포함할 수 있고, 노이즈를 제거한다는 것은 이미지에 포함된 노이즈 성분을 없애거나 감소시키는 것을 포함할 수 있다.
전처리의 일 예로 정규화에 대해 살펴보면, 정규화는 RGB 이미지의 전체 픽셀의 RGB 값의 평균을 구하고 이를 RGB 이미지로부터 차감하는 것을 의미할 수 있다.
전처리의 다른 예로 안개 제거(defogging)에 대해 살펴보면, 안개 제거는 안개 낀 지역을 촬영한 이미지를 전처리를 통해 맑은 지역을 촬영한 이미지처럼 보이도록 변환하는 것을 의미할 수 있다. 도 13은 일 실시예에 따른 안개 제거에 관한 도면이다. 도 13을 참고하면, 안개 제거를 통해 도 13의 (a)와 같이 안개 낀 지역을 촬영한 이미지를 도 13의 (b)와 같은 안개가 제거된 이미지로 변환할 수 있다.
전처리의 또 다른 예로 물방울 제거에 대해 살펴보면, 물방울 제거는 카메라 전면에 맺힌 물방울이 촬영된 이미지에서 전처리를 통해 물방울이 제거된 것처럼 보이도록 변환하는 것을 의미할 수 있다.
도 14는 일 실시예에 따른 전처리 단계에 관한 도면이다. 도 14를 참고하면, 이미지 획득 단계(S10) 후 전처리 단계(S110)를 거쳐 이미지 분석 단계(S20)를 수행할 수 있다. 예를 들어, 이미지 생성 유닛을 이용하여 획득한 이미지에 전처리를 수행한 후 이미지 분석을 수행할 수 있다. 이미지 전처리를 통해 이미지 분석이 용이해지거나 정확도가 향상될 수 있다.
이미지 전처리는 인공 신경망을 통해 수행될 수 있다. 예를 들어, 안개 낀 지역을 촬영한 이미지를 인공 신경망에 입력하여 맑은 지역을 촬영한 이미지처럼 보이도록 변환할 수 있는 등 노이즈를 포함하는 이미지를 인공 신경망에 입력하여 노이즈가 제거된 이미지를 획득할 수 있다. 인공 신경망의 예로는 GAN 등이 있으나 이에 한정되는 것은 아니다.
또는, 이미지 전처리는 이미지 마스크를 이용하여 수행될 수 있다. 예를 들어, 안개 낀 지역을 촬영한 이미지에 이미지 마스크를 적용하여 맑은 지역을 촬영한 이미지처럼 보이도록 변환할 수 있다. 여기서, 이미지 마스크의 예로는 역 컨볼루션(deconvolution) 필터, 샤픈(sharpen) 필터 등이 있고, GAN 등의 인공 신경망을 통해 이미지 마스크를 생성할 수도 있지만 이에 한정되는 것은 아니다.
이상에서는 이미지를 전처리한 후에 이미지 분석을 수행하는 경우에 대해 살펴보았다. 이와 달리, 전처리 과정을 포함한 이미지 분석 수행이 가능할 수도 있다. 예를 들어, 이미지 분석 단계가 세그멘테이션 또는 디텍션을 포함하는 경우, 노이즈를 포함하는 이미지의 세그멘테이션 또는 디텍션 수행 결과가 노이즈를 포함하지 않는 이미지의 세그멘테이션 또는 디텍션 수행 결과와 동등하도록 구현할 수도 있을 것이다.
이미지 기반 모니터링은 모니터링 정보를 출력하는 단계를 포함할 수 있다. 모니터링 정보 출력 단계에서 출력되는 정보는 선박 주변이나 해양, 항만의 이미지, 이미지에 포함된 오브젝트의 종류 및 거리/속도 등 그 특성과 같이 이미지 기반 모니터링에 관련된 정보라면 제한이 없다.
모니터링 정보는 시각적으로 출력될 수 있다. 예를 들어, 모니터링 정보는 디스플레이 등의 출력 모듈을 통해 출력될 수 있다.
모니터링 정보 출력 단계는 이미지 획득 단계에서 이미지 생성 유닛을 이용하여 획득한 이미지를 디스플레이하는 것을 포함할 수 있다. 이 외에도 전처리 단계를 거친 이미지, 세그멘테이션 또는 디텍션 후의 이미지, 후술할 시점 변환 후의 이미지 등 이미지 기반 모니터링에 관련된 다양한 이미지를 디스플레이하는 것을 포함할 수 있다.
모니터링 정보 출력 단계는 이미지 분석 단계에서 추정한 위치/이동 정보를 디스플레이하는 것을 포함할 수 있다.
도 15는 일 실시예에 따른 모니터링 정보 출력 단계에 관한 도면이다. 도 15를 참고하면, 이미지와 위치/이동 정보를 함께 디스플레이 할 수 있다. 도 15에 도시된 바와 같이, 디스플레이되는 위치/이동 정보는 타겟 선박의 선수 및 선미와 안벽 사이의 거리 및 속도, 타겟 선박과 다른 선박 사이의 간격을 포함할 수 있다.
모니터링 정보 출력 단계는 시각적인 디스플레이 외에 소리나 진동을 출력하는 등 다른 방식으로 사용자에게 정보를 제공하는 것을 포함할 수 있다. 예를 들어, 타겟 선박이 안벽이나 다른 선박, 장애물 등과 충돌할 위험이 있거나 접안 시 안벽으로의 접근 속도가 기준 속도 이상인 경우, 선박이 경로를 이탈하여 운항하는 경우 등에 경고음을 출력할 수 있을 것이다.
이미지 기반 모니터링은 시점 변환 단계를 포함할 수 있다.
일반적으로 카메라 등 이미지 생성 유닛이 생성하는 이미지는 원근 시점(perspective view)로 나타날 수 있다. 이를 탑 뷰(top view, 평면 시점), 측면 시점(side view), 다른 원근 시점 등으로 변환하는 것을 시점 변환이라 할 수 있다. 물론, 탑 뷰나 측면 시점 이미지를 다른 시점으로 변환할 수도 있으며, 이미지 생성 유닛이 탑 뷰 이미지나 측면 시점 이미지 등을 생성할 수도 있고 이 경우 시점 변환이 수행될 필요가 없을 수도 있다.
도 16은 일 실시예에 따른 시점 변환에 관한 도면이다. 도 16의 (a)를 참고하면, 원근 시점 이미지의 시점 변환을 통해 다른 원근 시점 이미지를 획득할 수 있다. 여기서, 안벽(OBJ8)이 이미지 상에서 수평 방향(이미지 상에서 좌우 방향)을 따라 위치하도록 시점 변환을 수행할 수 있다. 도 16의 (b)를 참고하면, 원근 시점 이미지의 시점 변환을 통해 탑 뷰 이미지를 획득할 수 있다. 여기서, 탑 뷰 이미지는 해수면과 수직한 방향에서 해수면을 내려다 본 뷰일 수 있다. 또한, 도 16의 (a)와 마찬가지로 안벽(OBJ9)이 이미지 상에서 수평 방향을 따라 위치하도록 시점 변환을 수행할 수 있다.
이미지 획득 후 시점 변환을 수행한 뒤에 사용자에게 이미지를 디스플레이하는 등 모니터링 정보를 출력할 수 있다. 이 경우 시점 변환을 통해 사용자에게 주변 상황에 대한 정보를 보다 용이하게 제공할 수 있다. 도 17은 일 실시예에 따른 시점 변환의 일 예에 관한 순서도이다. 도 17을 참고하면, 이미지 획득 단계(S10)에서 획득한 이미지가 시점 변환 단계(S30)를 거쳐 그 시점이 변환된 뒤 모니터링 정보 출력 단계(S40)를 통해 사용자에게 디스플레이될 수 있다. 이 외에도, 이미지 획득 후 전처리가 수행된 이미지가 시점 변환 단계를 거쳐 사용자에게 디스플레이될 수도 있을 것이다.
이미지 획득 후 시점 변환을 수행한 뒤에 이미지 분석이 수행되거나 이미지 분석 단계의 중간에 시점 변환이 수행될 수 있다. 이 경우 시점 변환을 통해 이미지 분석 시 분석의 용이성, 편의성 및 정확성 향상을 도모할 수 있다. 예를 들어, 픽셀 기반 거리 산출의 경우 탑 뷰 이미지를 이용하면 픽셀 사이의 간격에 대응되는 거리가 이미지 전체 또는 적어도 일부 영역에 대해 동일해질 수 있다. 도 18은 일 실시예에 따른 시점 변환의 다른 예에 관한 순서도이다. 도 18의 (a)를 참고하면, 이미지 획득 단계(S10)에서 획득한 이미지가 시점 변환 단계(S30)를 거쳐 그 시점이 변환된 뒤 이미지 분석 단계(S20)가 수행될 수 있다. 도 18의 (b)를 참고하면, 오브젝트 인식 단계(S210) 후의 이미지가 시점 변환 단계(S230)를 거쳐 그 시점이 변환된 뒤 위치/이동 정보 추정 단계(S220)가 수행될 수 있다. 예를 들어, 오브젝트 인식 단계(S210)가 세그멘테이션인 경우, 세그멘테이션 이미지가 시점 변환 단계(S230)를 통해 그 시점이 변환된 뒤에 위치/이동 정보 추정 단계(S220)가 수행되어 오브젝트의 위치/이동 정보가 산출될 수 있다.
시점 변환 시 기준 평면의 선택에 따라 이미지 분석의 정확도가 달라질 수 있다. 예를 들어, 원근 시점 이미지를 탑 뷰 이미지로 변환하는 경우, 기준 평면의 높이에 따라 탑 뷰 이미지에 기초한 이미지 분석의 정확도가 달라질 수 있다. 해수면 상에서의 오브젝트 사이의 거리를 정확히 산출하기 위해서는 시점 변환 시 기준 평면이 해수면인 것이 바람직할 수 있다. 해수면의 높이는 시간에 따라 변화할 수 있으므로 해수면의 높이를 고려하여 시점 변환을 수행하는 것이 이미지 분석의 정확도 향상에 바람직할 수 있다.
시점 변환의 일 예로 역투영 변환(Inverse Projective Mapping, IPM)을 수행할 수 있다. 2차원 이미지는 3차원 공간 상의 피사체에서 반사된 빛이 카메라의 렌즈를 통해 이미지 센서에 입사되어 생성되고, 2차원과 3차원의 관계는 이미지 센서와 렌즈에 의존하며, 예를 들어 식 1과 같이 표현될 수 있다.
[식 1]
Figure pat00001
여기서, 좌변의 행렬은 2차원 이미지 좌표, 우변의 첫 번째 행렬은 내부 파라미터(intrinsic parameter), 두 번째 행렬은 외부 파라미터(extrinsic parameter), 세 번째 행렬은 3차원 좌표를 의미한다. 구체적으로, fx 및 fy는 초점 거리(focal length), cx 및 cy는 주점(principal point), r 및 t는 각각 회전 및 평행이동 변환 파라미터를 의미한다.
2차원 이미지를 역투영 변환을 통해 3차원 상의 임의의 평면에 투영시켜 그 시점을 변경시킬 수 있다. 예를 들어, 원근 시점 이미지를 역투영 변환을 통해 탑 뷰 이미지로 변환하거나, 다른 원근 시점 이미지로 변환할 수 있다.
시점 변환을 위해서 내부 파라미터가 필요할 수 있다. 내부 파라미터를 구하는 방법의 일 예로 Zhang 방법을 이용할 수 있다. Zhang 방법은 다항식 모델(polynomial model)의 일종으로 격자의 크기를 알고 있는 격자판을 다양한 각도와 거리에서 촬영하여 내부 파라미터를 획득하는 방법이다.
시점 변환을 위해서 이미지를 촬상한 이미지 생성 유닛/센서 모듈의 위치 및/또는 자세에 대한 정보가 필요할 수 있다. 이러한 정보는 위치 측정 유닛 및 자세 측정 유닛으로부터 획득될 수 있다.
또는, 이미지에 포함된 고정체의 위치에 기초하여 위치 및/또는 자세에 대한 정보를 획득할 수 있다. 예를 들어, 제1 시점에 이미지 생성 유닛은 제1 위치 및/또는 제1 자세로 배치되고, 지형이나 건물 등과 같이 고정된 객체인 타겟 고정체를 포함하는 제1 이미지를 생성할 수 있다. 이 후, 제2 시점에 이미지 생성 유닛은 상기 타겟 고정체를 포함하는 제2 이미지를 생성할 수 있다. 제1 이미지 상에서의 타겟 고정체의 위치 및 제2 이미지 상에서의 타겟 고정체의 위치를 비교하여 제2 시점에서의 이미지 생성 유닛의 위치 및/또는 자세인 제2 위치 및/또는 제2 자세를 산출할 수 있다.
도 19는 일 실시예에 따른 타겟 고정체를 이용한 위치 및/또는 자세에 대한 정보 획득에 관한 도면이다. 도 19의 (a) 및 (b)는 상하 각도 만을 조절한 카메라에 관한 도면으로, 도 19의 (a)는 카메라가 상향 배치된 경우이고, 도 19의 (b)는 카메라가 하향 배치된 경우이다. 도 19를 참고하면, 타겟 고정체인 섬의 이미지 상에서의 위치는 카메라의 각도에 따라 달라질 수 있다. 구체적으로, 섬이 이미지 상의 하부에 위치하는 경우 카메라는 상향 배치되었음을 알 수 있고, 섬이 이미지 상의 상부에 위치하는 경우 카메라는 하향 배치되었음을 알 수 있다. 도 19는 카메라의 상하 각도 만을 고려하여 도시되었으나 카메라의 좌우 각도를 고려하는 경우에도 마찬가지 방법이 적용될 수 있고, 카메라 외에 라이다나 레이더 등 다른 이미지 생성 유닛에도 적용 가능할 것이다.
시점 변환을 위한 위치 및/또는 자세에 대한 정보의 획득은 미리 정해진 시간 간격으로 수행될 수 있다. 여기서, 상기 시간 간격은 이미지 생성 유닛/센서 모듈의 설치 위치에 의존할 수 있다. 예를 들어, 이미지 생성 유닛/센서 모듈이 선박 등 이동체에 설치된 경우 짧은 시간 간격마다 위치 및/또는 자세에 대한 정보가 획득되어야 할 필요성이 존재할 수 있다. 반면, 이미지 생성 유닛/센서 모듈이 항만 등 고정체에 설치된 경우 상대적으로 긴 시간 간격으로 위치 및/또는 자세에 대한 정보를 획득하거나 초기에 한 번만 획득할 수도 있다. 크레인과 같이 이동과 고정이 반복되는 경우, 이동 후에만 위치 및/또는 자세에 대한 정보를 획득하는 방식으로 구현될 수도 있을 것이다. 또한, 이러한 위치 및/또는 자세에 대한 정보 획득을 위한 시간 간격은 변경될 수도 있다.
전술한 시점 변환 방법은 예시에 불과하고 이와 다른 방법으로 시점 변환을 수행할 수도 있으며, 시점 변환 정보는 전술한 식 1의 행렬, 파라미터, 좌표, 위치 및/또는 자세에 대한 정보 등 시점 변환을 위해 필요한 정보를 포함한다.
이미지 기반 모니터링은 서베일런스(surveillance) 단계를 포함할 수 있다. 여기서, 서베일런스 단계란 침입자를 감시하거나 등록되지 않은 선박의 항만 접근을 감시하는 등의 보안 관련 정보 및 화재 발생 등 긴급 상황 발생에 대한 정보를 사용자에게 제공하는 것을 의미할 수 있다.
침입자 감시는 이미지에 사람이 포함되었는지 여부 및 이미지가 촬상된 시점에 기초하여 수행될 수 있다. 예를 들어, 항만에서 작업이 진행되지 않는 시점에 촬상된 항만 이미지에 사람이 포함되는 경우 침입자가 존재하는 것으로 판단할 수 있다.
선박 감시는 이미지에 선박이 포함되었는지 여부에 기초하여 수행될 수 있다. 예를 들어, AIS에 등록되지 않은 선박이 감지되는 경우 이에 대한 정보를 사용자에게 제공할 수 있을 것이다.
서베일런스 단계는 세그멘테이션이나 디텍션을 통해 이미지에 기초하여 사람이나 선박을 감지함으로써 수행될 수 있을 것이다.
이상에서는 단일 이미지에 기초한 이미지 기반 모니터링에 대해 살펴보았다. 이 외에도 복수의 이미지에 기초하여 이미지 기반 모니터링을 수행할 수 있다. 복수에 이미지에 기초하여 이미지 분석을 수행하는 경우 이미지 기반 모니터링 장치의 총 모니터링 영역이 증가하거나 모니터링의 정확도가 향상될 수 있다.
도 20은 일 실시예에 따른 복수의 이미지에 기초한 이미지 기반 모니터링에 관한 도면이다. 도 20을 참고하면, 이미지 획득 단계는 제1 이미지 획득 단계(S11) 및 제2 이미지 획득 단계(S12)를 포함할 수 있고, 이미지 분석 단계(S20)는 제1 이미지 획득 단계(S11)에서 획득한 제1 이미지 및 제2 이미지 획득 단계(S12)에서 획득한 제2 이미지에 기초하여 이미지 분석을 수행할 수 있다.
복수의 이미지에 기초하여 하나의 이미지를 생성한 후 이미지 분석을 수행할 수 있다. 예를 들어, 제1 이미지 및 제2 이미지를 정합하거나 융합하여 정합 이미지 또는 융합 이미지를 생성하고, 생성된 정합 이미지 또는 융합 이미지에 기초하여 이미지 분석을 수행할 수 있다.
또는, 복수의 이미지 각각에 기초하여 이미지 분석을 수행한 결과를 바탕으로 최종 분석 결과를 산출할 수 있다. 예를 들어, 제1 이미지로부터 이미지 분석을 수행하여 제1 모니터링 정보를 획득하고 제2 이미지로부터 이미지 분석을 수행하여 제2 모니터링 정보를 획득한 후 제1 모니터링 정보와 제2 모니터링 정보에 기초하여 최종 모니터링 정보를 획득할 수 있다.
복수의 모니터링 정보로부터 최종 모니터링 정보를 획득하는 방법의 일 예로, 복수의 모니터링 정보를 가중치별로 고려하여 최종 모니터링 정보를 산출하는 방법이 있을 수 있다.
또는, 복수의 모니터링 정보가 서로 일치하지 않거나 그 차이가 특정 값과 같은 임계치(threshold) 이상인지 여부(이하 "에러 발생 여부"라 함)에 기초하여 최종 모니터링 정보를 산출할 수 있다. 예를 들어, 에러 발생 여부에 기초하여 복수의 모니터링 정보를 가중치별로 고려하여 최종 모니터링 정보를 산출하거나, 복수의 모니터링 정보 중 특정 모니터링 정보를 우선시하여 최종 모니터링 정보를 산출하거나, 특정 모니터링 정보를 다른 모니터링 정보로 보정하거나, 해당 모니터링 정보를 무시하는 방법 등이 있을 수 있지만, 이에 한정되는 것은 아니다.
복수의 이미지는 동일한 종류의 이미지일 수 있다. 예를 들어, 센서 모듈이 동일한 이미지 생성 유닛을 2개 포함하거나, 하나의 이미지 생성 유닛을 포함하는 동일한 센서 모듈이 2개 배치되어 이미지 기반 모니터링을 수행하는 경우 제1 이미지 및 제2 이미지는 동일한 종류일 수 있다.
복수의 이미지의 모니터링 영역은 서로 다를 수 있다. 예를 들어, 제1 이미지는 이미지 생성 유닛으로부터 근거리를 모니터링하고, 제2 이미지는 원거리를 모니터링할 수 있다. 또는, 제1 이미지는 이미지 생성 유닛으로부터 좌측을 모니터링하고, 제2 이미지는 우측을 모니터링할 수 있다.
도 21은 일 실시예에 따른 모니터링 영역이 다른 복수의 이미지에 관한 도면이다. 도 21의 (a)를 참고하면, 복수의 이미지 생성 유닛이 동일한 방향으로 배치되더라도 그 시야각 및 피사계 심도가 달라지는 등으로 인해 그 모니터링 영역이 달라질 수 있다. 구체적으로, 제1 이미지의 모니터링 영역(M1)은 제2 이미지의 모니터링 영역(M2)에 비해 좁고 넓은 범위일 수 있다. 도 21의 (b)를 참고하면, 동일한 시야각 및 피사계 심도를 갖는 이미지 생성 유닛이더라도 그 배치 방향이 달라짐에 따라 모니터링 영역이 달라질 수 있다. 구체적으로, 제1 이미지의 모니터링 영역(M3)은 좌측, 제2 이미지의 모니터링 영역(M4)은 우측일 수 있다. 또한, 시야각이 좁은 이미지 생성 유닛이라고 하더라도 이를 복수 이용하면 넓은 시야각을 모니터링할 수 있다.
이미지 정합을 통해 복수의 이미지로부터 하나의 이미지를 획득할 수 있다. 예를 들어, 제1 이미지와 제2 이미지를 정합하여 하나의 정합 이미지를 생성하고 이에 기초하여 이미지 분석이나 디스플레이 등 모니터링이 수행될 수 있다. 이미지 정합이 수행되는 이미지의 종류에는 제한이 없고, 이미지 생성 유닛이 촬상한 이미지, 전처리된 이미지, 세그멘테이션 이미지, 디텍션 이미지, 시점 변환된 이미지 등일 수 있다.
이미지 정합은 정합 정보에 기초하여 수행될 수 있다. 정합 정보란 이미지 정합을 위해 필요한 어떠한 정보를 포함할 수 있다. 도 22 및 도 23은 일 실시예에 따른 이미지 정합에 관한 도면이다.
제1 이미지 및 제2 이미지의 정합을 위해 제1 이미지 및 제2 이미지에 기초하여 정합 정보를 획득할 수 있다. 도 22를 참고하면, 제1 이미지와 제2 이미지로부터 각각 제1 정합 정보 및 제2 정합 정보를 획득한 후(S241, S242) 이에 기초하여 제1 이미지 및 제2 이미지의 이미지 정합(S240)을 수행해 정합 이미지를 생성할 수 있다.
제1 이미지 및 제2 이미지의 정합을 위해 제3 이미지 및 제4 이미지에 기초하여 정합 정보를 획득할 수 있다. 도 23을 참고하면, 제3 이미지와 제4 이미지로부터 각각 제1 정합 정보 및 제2 정합 정보를 획득한 후(S241, S242) 이에 기초하여 제1 이미지 및 제2 이미지의 이미지 정합(S240)을 수행해 정합 이미지를 생성할 수 있다. 이 경우 제3 이미지는 제1 이미지에 대응되고, 제4 이미지는 제2 이미지에 대응될 수 있다. 예를 들어, 제1 이미지 및 제2 이미지가 세그멘테이션 이미지인 경우 이로부터 정합 정보를 획득하는 것이 어려울 수 있고, 세그멘테이션이 수행되기 전의 이미지(예를 들어, RGB 이미지 등)인 제3 이미지 및 제4 이미지로부터 정합 정보를 획득한 후 이에 기초하여 제1 이미지 및 제2 이미지의 이미지 정합을 수행해 정합 이미지를 생성할 수 있다.
이미지 정합은 특징점 매칭을 통해 수행될 수 있다. 예를 들어, 제1 이미지와 제2 이미지의 특징점을 추출하고 이를 매칭하여 정합 이미지를 생성할 수 있다. 이 경우 정합 정보는 특징점 및 특징점 매칭을 위해 필요한 정보를 포함할 수 있다.
이미지 정합을 위해 호모그래피 행렬(homography matrix)이 필요할 수 있다. 이 경우 정합 정보는 호모그래피 행렬을 포함할 수 있다. 호모그래피는 동일한 평면 상에서의 임의의 두 이미지 사이의 매칭으로, 호모그래피 행렬은 식 2와 같이 표현될 수 있다.
[식 2]
Figure pat00002
여기서, 좌변 및 우변의 3x1 행렬은 이미지의 좌표를, 우변의 3x3 행렬은 호모그래피 행렬을 의미한다. 복수의 이미지 사이의 호모그래피 행렬을 계산한 후 이를 이용하여 이미지 정합을 수행해 정합 이미지를 생성할 수 있다.
도 24는 일 실시예에 따른 이미지 정합에 관한 도면이다. 도 24를 참고하면, 복수의 이미지의 회전 및 이동을 통해 이미지 정합을 수행하여 정합 이미지를 생성할 수 있다. 추가적으로, 이미지 크롭(crop)을 통해 미리 정해진 사이즈의 정합 이미지를 생성할 수 있다.
이미지 정합은 이미지 전체 영역으로부터 특징점 등과 같은 정합 정보를 추출하여 수행될 수 있다. 또는, 이미지 정합은 이미지의 일부 영역으로부터 정합 정보를 추출하여 수행될 수 있다. 이 경우 정합 정보가 추출되는 일부 영역은 다른 영역에 비해 정합 정보가 많은 영역일 수 있다. 예를 들어, 육지 영역과 해상 영역을 포함하는 이미지의 경우, 육지 영역으로부터 정합 정보를 추출하여 이미지 정합을 수행할 수 있다. 구체적으로, 육지 영역과 해상 영역을 포함하는 제1 이미지 및 제2 이미지에서, 정합 정보 추출의 대상이 되는 육지 영역을 제외한 나머지 영역의 RGB 정보를 제거하여(예를 들어, RGB값을 모두 0 또는 255로 변경) 제1 육지 이미지 및 제2 육지 이미지를 생성하고 이로부터 정합 정보를 추출하여 이를 바탕으로 제1 이미지 및 제2 이미지의 정합을 수행할 수 있다. 이 때 육지 영역과 해상 영역의 구분은 이미지 세그멘테이션을 통해 수행될 수도 있을 것이다.
이미지의 일부 영역만을 이용하여 정합 정보를 추출하는 경우 전 영역을 이용하는 경우보다 계산 속도가 증가할 수 있다.
이미지의 일부 영역만을 이용하여 정합 정보를 추출하는 경우 이미지 정합의 정확도가 향상될 수 있다. 예를 들어, 육지 영역은 해상 영역에 비해 오브젝트가 많을 수 있고, 이에 따라 육지 영역으로부터 추출한 정합 정보의 정확도가 해상 영역으로부터 추출한 정합 정보의 정확도보다 높을 수 있기 때문에, 해상 영역을 제외하고 육지 영역으로부터만 정합 정보를 추출하고 이를 바탕으로 이미지 정합을 수행하는 것이 해상 영역으로부터 추출된 정합 정보를 포함하여 이미지 정합을 수행하는 것보다 정확할 수 있다.
전술한 이미지 정합은 예시에 불과하고 이 외의 다른 방법으로 이미지 정합이 수행될 수도 있다.
제1 이미지 및 제2 이미지는 서로 다른 종류의 이미지일 수 있다. 예를 들어, 센서 모듈이 1개의 RGB 카메라와 1개의 라이다를 포함하는 경우, 제1 이미지 및 제2 이미지 중 하나는 RGB 이미지이고 다른 하나는 라이다 이미지일 수 있다. 제1 이미지와 제2 이미지를 융합하여 이미지 분석이 수행될 수 있다.
도 25는 일 실시예에 따른 이미지 융합에 관한 도면이다. 도 25를 참고하면, RGB 이미지(IMG1) 및 라이다 이미지(IMG2)를 융합하여 이미지 분석(S20)을 수행할 수 있다.
이미지를 융합하여 이미지 분석을 수행하는 경우, 전술한 바와 같이 제1 이미지 및 제2 이미지를 융합하여 하나의 융합 이미지를 생성한 후에 이미지 분석을 수행하여 모니터링 정보를 획득하거나(예를 들어, RGB 이미지(IMG1) 및 라이다 이미지(IMG2)를 융합하여 하나의 융합 이미지를 생성하고 이에 기반하여 이미지 분석(S20)을 수행), 제1 이미지로부터 이미지 분석을 수행하여 제1 모니터링 정보를 획득하고 제2 이미지로부터 이미지 분석을 수행하여 제2 모니터링 정보를 획득한 후 제1 모니터링 정보와 제2 모니터링 정보를 융합하여 최종 모니터링 정보를 획득(예를 들어, RGB 이미지(IMG1)에 기초한 이미지 분석을 통해 제1 모니터링 정보를 획득하고 라이다 이미지(IMG2)에 기초한 이미지 분석을 통해 제2 모니터링 정보를 획득한 후 이를 융합하여 최종 모니터링 정보 획득)할 수 있다.
도 26은 일 실시예에 따른 이미지 기반 모니터링의 제1 실시예에 관한 도면이다. 도 26을 참고하면, 이미지 기반 모니터링은 이미지 획득 단계(S1010), 세그멘테이션 단계(S1210), 제1 시점 변환 단계(S1231), 제2 시점 변환 단계(S1232) 및 위치/이동 정보 추정 단계(S1220)를 포함할 수 있다. 각 단계는 본 명세서에 기재된 바와 같이 구현될 수 있다.
이미지 획득 단계(S1010)를 통해 오브젝트를 포함하는 이미지를 획득할 수 있다. 이미지에 기초하여 세그멘테이션 단계(S1210)를 수행하여 세그멘테이션 이미지를 획득할 수 있다. 세그멘테이션 이미지는 제1 시점 변환 단계(S1231)를 통해 그 시점이 변환될 수 있고, 이미지는 제2 시점 변환 단계(S1232)를 통해 그 시점이 변환될 수 있다. 여기서, 세그멘테이션 이미지 및 이미지는 서로 다른 시점으로 변환될 수 있다. 예를 들어, 세그멘테이션 이미지는 탑 뷰로 변환되고 이미지는 원근 시점으로 변환될 수 있다. 시점 변환된 세그멘테이션 이미지에 기초하여 위치/이동 정보를 추정할 수 있다(S1220).
도 27은 일 실시예에 따른 이미지 기반 모니터링의 제2 실시예에 관한 도면이다. 도 27을 참고하면, 이미지 기반 모니터링은 제1 이미지 획득 단계(S2011) 및 제2 이미지 획득 단계(S2012), 제1 세그멘테이션 단계(S2211) 및 제2 세그멘테이션 단계(S2212), 제1 시점 변환 단계(S2231), 제2 시점 변환 단계(S2232), 제3 시점 변환 단계(S2233) 및 제4 시점 변환 단계(S2234), 제1 이미지 정합 단계(S2241) 및 제2 이미지 정합 단계(S2242), 위치/이동 정보 추정 단계(S2220)를 포함할 수 있다. 각 단계는 본 명세서에 기재된 바와 같이 구현될 수 있다.
제1 이미지 획득 단계(S2011) 및 제2 이미지 획득 단계(S2012)를 통해 오브젝트를 포함하는 이미지를 획득할 수 있다. 제1 이미지에 기초하여 제1 세그멘테이션 단계(S2211)를 수행하여 제1 세그멘테이션 이미지를 획득하고, 제2 이미지에 기초하여 제2 세그멘테이션 단계(S2212)를 수행하여 제2 세그멘테이션 이미지를 획득할 수 있다. 제1 세그멘테이션 이미지는 제1 시점 변환 단계(S2231)를 통해 그 시점이 변환될 수 있고, 제2 세그멘테이션 이미지는 제3 시점 변환 단계(S2233)를 통해 그 시점이 변환될 수 있다. 또한, 제1 이미지는 제2 시점 변환 단계(S2232)를 통해 그 시점이 변환될 수 있고, 제2 이미지는 제4 시점 변환 단계(S2234)를 통해 그 시점이 변환될 수 있다. 여기서, 제1 세그멘테이션 이미지 및 제2 세그멘테이션 이미지는 제1 이미지 및 제2 이미지와 다른 시점으로 변환될 수 있다. 예를 들어, 제1 세그멘테이션 이미지 및 제2 세그멘테이션 이미지는 탑 뷰로 변환되고 제1 이미지 및 제2 이미지는 원근 시점으로 변환될 수 있다. 시점 변환된 제1 세그멘테이션 이미지 및 제2 세그멘테이션 이미지는 제1 이미지 정합 단계(S2241)를 통해 정합될 수 있고, 시점 변환된 제1 이미지 및 제2 이미지는 제2 이미지 정합 단계(S2242)를 통해 정합될 수 있다. 정합된 세그멘테이션 이미지에 기초하여 위치/이동 정보를 추정할 수 있다(S2220).
도 26 및 도 27의 실시예는 예시에 불과하고 이와 다른 방법으로 이미지 기반 모니터링이 수행될 수 있다.
일 예로, 도 26 및 도 27의 실시예에서 일부 단계가 수행되지 않을 수 있다. 도 26을 참고하면, 제1 시점 변환 단계(S1231) 및 제2 시점 변환 단계(S1232) 중 적어도 하나의 단계가 수행되지 않을 수 있다. 도 27을 참고하면, 제1 시점 변환 단계(S2231), 제2 시점 변환 단계(S2232), 제3 시점 변환 단계(S2233) 및 제4 시점 변환 단계(S2234) 중 적어도 하나의 단계가 수행되지 않을 수 있다.
다른 예로, 추정된 위치/이동 정보를 출력하는 단계가 추가되거나 이미지에 전처리를 수행하는 단계가 추가되는 등 도 26 및 도 27의 실시예에서 다른 단계가 추가될 수 있다.
또 다른 예로, 세그멘테이션 단계가 디텍션 단계로 치환되는 등 도 26 및 도 27의 실시예에서 일부 단계가 다른 단계로 치환될 수 있다.
실시예에 따른 방법은 다양한 컴퓨팅 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
상기에서는 실시예를 기준으로 본 발명의 구성과 특징을 설명하였으나 본 발명은 이에 한정되지 않으며, 본 발명의 사상과 범위 내에서 다양하게 변경 또는 변형할 수 있음은 본 발명이 속하는 기술 분야의 당업자에게 명백한 것이며, 따라서 이와 같은 변경 또는 변형은 첨부된 특허청구범위에 속함을 밝혀둔다.
10: 모니터링 장치
100: 센서 모듈
110: 통신부
120: 제어부
130: 카메라
200: 제어 모듈
210: 통신부
220: 제어부
300: 통신 모듈

Claims (22)

  1. 컴퓨팅 수단에 의해 수행되는 항만 모니터링 방법에 있어서,
    서로 다른 방향을 향하도록 항만에 설치되어 이미지를 촬상하는 제1 카메라 및 제2 카메라를 이용하여 선박 및 바다 중 적어도 하나를 포함하는 제1 항만 이미지 및 상기 제1 항만 이미지와 모니터링 영역이 적어도 일부 다른 제2 항만 이미지를 획득하는 단계;
    입력 이미지로부터 상기 입력 이미지에 포함된 오브젝트의 종류 및 거리에 대한 정보를 출력하도록 학습된 인공 신경망을 이용한 이미지 세그멘테이션을 수행하여 상기 제1 항만 이미지에 대응되는 제1 세그멘테이션 이미지 및 상기 제2 항만 이미지에 대응되는 제2 세그멘테이션 이미지를 생성하는 단계 - 상기 제1 세그멘테이션 이미지 및 상기 제2 세그멘테이션 이미지는 상기 선박에 대응되도록 라벨링되되 상기 선박의 거리에 대한 정보를 포함하는 제1 픽셀 및 상기 바다에 대응되도록 라벨링된 제2 픽셀 중 적어도 하나를 포함함 - ;
    상기 제1 카메라 및 상기 제2 카메라의 설치 위치 및 자세 중 적어도 하나를 고려하여 산출된 제1 시점 변환 정보를 이용하여 상기 제1 항만 이미지 및 상기 제2 항만 이미지 각각에 대응되고 제1 뷰 속성을 가지는 제1 디스플레이 이미지 및 제2 디스플레이 이미지를 생성하는 단계;
    상기 제1 카메라 및 상기 제2 카메라의 설치 위치 및 자세 중 적어도 하나를 고려하여 산출되되 상기 제1 시점 변환 정보와 상이한 제2 시점 변환 정보를 이용하여 상기 제1 세그멘테이션 이미지 및 상기 제2 세그멘테이션 이미지 각각에 대응되되 상기 제1 뷰와 상이한 제2 뷰 속성을 가지는 제1 변환 세그멘테이션 이미지 및 제2 변환 세그멘테이션 이미지를 생성하는 단계;
    상기 제1 디스플레이 이미지 및 상기 제2 디스플레이 이미지를 정합하여 파노라마 이미지를 생성하는 단계;
    상기 제1 변환 세그멘테이션 이미지 및 상기 제2 변환 세그멘테이션 이미지를 정합하여 정합 세그멘테이션 이미지를 생성하는 단계;
    상기 정합 세그멘테이션 이미지에 기초하여 상기 선박의 접안 가이드 정보를 산출하는 단계 - 상기 접안 가이드 정보는 상기 선박의 안벽과의 거리 및 상기 안벽으로의 접근 속도 중 적어도 하나를 포함함 - ; 및
    상기 접안 가이드 정보를 상기 파노라마 이미지와 함께 출력하는 단계;를 포함하는
    항만 모니터링 방법.
  2. 제1 항에 있어서,
    상기 항만 모니터링 방법은,
    상기 제2 시점 변환 정보를 이용하여 상기 제1 항만 이미지 및 상기 제2 항만 이미지 각각에 대응되고 상기 제2 뷰 속성을 가지는 제1 변환 이미지 및 제2 변환 이미지를 생성하는 단계;를 더 포함하고,
    상기 파노라마 이미지를 생성하는 단계는, 상기 제1 디스플레이 이미지 및 상기 제2 디스플레이 이미지로부터 추출된 제1 정합 정보에 기초하여 상기 제1 디스플레이 이미지 및 상기 제2 디스플레이 이미지를 정합하여 파노라마 이미지를 생성하되,
    상기 정합 세그멘테이션 이미지를 생성하는 단계는, 상기 제1 변환 이미지 및 상기 제2 변환 이미지로부터 추출된 제2 정합 정보에 기초하여 상기 제1 변환 세그멘테이션 이미지 및 상기 제2 변환 세그멘테이션 이미지를 정합하여 정합 세그멘테이션 이미지를 생성하는
    항만 모니터링 방법.
  3. 제2 항에 있어서,
    상기 제1 정합 정보는, 상기 제1 디스플레이 이미지 및 상기 제2 디스플레이 이미지에 포함된 육지 영역으로부터 추출되고,
    상기 제2 정합 정보는, 상기 제1 변환 이미지 및 상기 제2 변환 이미지에 포함된 육지 영역으로부터 추출되는
    항만 모니터링 방법.
  4. 제1 항에 있어서,
    상기 접안 가이드 정보를 산출하는 단계는,
    상기 정합 세그멘테이션 이미지에 기초하여 상기 선박의 안벽과의 거리를 산출하는 단계; 및
    상기 선박의 안벽과의 거리에 기초하여 상기 안벽으로의 접근 속도를 산출하는 단계;를 포함하는
    항만 모니터링 방법.
  5. 제4 항에 있어서,
    상기 안벽과의 거리를 산출하는 단계는, 상기 정합 세그멘테이션 이미지에 포함된 상기 선박이 상기 바다와 접하는 지점에 대응되는 픽셀에 기초하여 상기 안벽과의 거리를 산출하는
    항만 모니터링 방법.
  6. 제1 항에 있어서,
    상기 선박은, 선석으로 접안하는 타겟 선박 및 상기 선석과 인접한 선석에 계류하는 정박선을 포함하고,
    상기 접안 가이드 정보는, 상기 타겟 선박과 상기 정박선 사이의 간격 및 상기 타겟 선박의 상기 정박선과의 상대 속도 중 적어도 하나를 포함하는
    항만 모니터링 방법.
  7. 제1 항에 있어서
    상기 선박은, 선석으로 접안하는 타겟 선박 및 상기 타겟 선박의 접안을 보조하기 위한 예인선을 포함하고,
    상기 제1 세그멘테이션 이미지 및 상기 제2 세그멘테이션 이미지 중 적어도 하나는, 상기 타겟 선박에 대응되도록 라벨링된 제3 픽셀 및 상기 예인선에 대응되도록 라벨링된 제4 픽셀을 포함하고,
    상기 접안 가이드 정보를 산출하는 단계는, 상기 제3 픽셀에 기초하여 접안 가이드 정보를 산출하는
    항만 모니터링 방법.
  8. 제1 항에 있어서,
    상기 제1 항만 이미지 및 상기 제2 항만 이미지는, 상기 제1 카메라 및 상기 제2 카메라가 촬상한 이미지에 포함된 노이즈를 제거하기 위한 전처리가 수행된 이미지인
    항만 모니터링 방법.
  9. 제1 항에 있어서,
    상기 출력하는 단계는,
    원격 위치한 단말을 이용하여 상기 접안 가이드 정보를 상기 파노라마 이미지와 함께 디스플레이하기 위하여 상기 파노라마 이미지 및 상기 접안 가이드 정보를 상기 단말로 송신하는 단계; 또는
    상기 접안 가이드 정보를 상기 파노라마 이미지와 함께 디스플레이하는 단계;인 것을 특징으로 하는
    항만 모니터링 방법.
  10. 제1 항에 있어서,
    상기 제2 시점 변환 정보는, 해수면의 높이를 고려하여 산출된 것을 특징으로 하는
    항만 모니터링 방법.
  11. 제1 항에 있어서,
    상기 인공 신경망은, 학습 이미지를 상기 인공 신경망에 입력하여 출력되는 출력 이미지 및 상기 학습 이미지에 포함된 오브젝트의 종류 및 거리에 대한 정보가 반영된 라벨링 이미지 사이의 차이를 고려하여 학습된
    항만 모니터링 방법.
  12. 제1 항에 있어서,
    상기 재2 뷰는, 해수면과 수직한 방향에서 해수면을 내려다 본 뷰인 것을 특징으로 하는
    항만 모니터링 방법.
  13. 제1 항에 있어서,
    상기 제1 항만 이미지에 사람이 포함되었는지 여부 및 상기 제1 항만 이미지가 촬상된 시점에 기초하여 침입자 발생 여부를 감지하는 단계;를 더 포함하는
    항만 모니터링 방법.
  14. 제1 항에 있어서,
    상기 접안 가이드 정보에 기초하여 충돌 위험 여부를 판단하는 단계; 및
    상기 충돌 위험 여부에 기초하여 사용자에게 충돌 위험성을 출력하는 단계;를 더 포함하는
    항만 모니터링 방법.
  15. 컴퓨팅 수단에 의해 수행되는 항만 모니터링 방법에 있어서,
    서로 다른 방향을 향하도록 항만에 설치되어 이미지를 촬상하는 제1 카메라 및 제2 카메라를 이용하여 선박 및 바다 중 적어도 하나를 포함하는 제1 항만 이미지 및 상기 제1 항만 이미지와 모니터링 영역이 적어도 일부 다른 제2 항만 이미지를 획득하는 단계;
    입력 이미지로부터 상기 입력 이미지에 포함된 오브젝트의 종류 및 거리에 대한 정보를 출력하도록 학습된 인공 신경망을 이용한 이미지 세그멘테이션을 수행하여 상기 제1 항만 이미지에 대응되는 제1 세그멘테이션 이미지 및 상기 제2 항만 이미지에 대응되는 제2 세그멘테이션 이미지를 생성하는 단계 - 상기 제1 세그멘테이션 이미지 및 상기 제2 세그멘테이션 이미지는 상기 선박에 대응되도록 라벨링되되 상기 선박의 거리에 대한 정보를 포함하는 제1 픽셀 및 상기 바다에 대응되도록 라벨링된 제2 픽셀 중 적어도 하나를 포함함 - ;
    상기 제1 카메라 및 상기 제2 카메라의 설치 위치 및 자세 중 적어도 하나를 고려하여 산출된 제1 시점 변환 정보를 이용하여 상기 제1 항만 이미지 및 상기 제2 항만 이미지 각각에 대응되고 제1 뷰 속성을 가지는 제1 디스플레이 이미지 및 제2 디스플레이 이미지를 생성하는 단계;
    상기 제1 카메라 및 상기 제2 카메라의 설치 위치 및 자세 중 적어도 하나를 고려하여 산출되되 상기 제1 시점 변환 정보와 상이한 제2 시점 변환 정보를 이용하여 상기 제1 항만 이미지 및 상기 제2 항만 이미지 각각에 대응되고 상기 제1 뷰와 상이한 제2 뷰 속성을 가지는 제1 변환 이미지 및 제2 변환 이미지를 생성하는 단계;
    상기 제2 시점 변환 정보를 이용하여 상기 제1 세그멘테이션 이미지 및 상기 제2 세그멘테이션 이미지 각각에 대응되고 상기 제2 뷰 속성을 가지는 제1 변환 세그멘테이션 이미지 및 제2 변환 세그멘테이션 이미지를 생성하는 단계;
    상기 제1 디스플레이 이미지 및 상기 제2 디스플레이 이미지로부터 추출된 정합 정보에 기초하여 상기 제1 디스플레이 이미지 및 상기 제2 디스플레이 이미지를 정합하여 파노라마 이미지를 생성하는 단계;
    상기 제1 변환 이미지 및 상기 제2 변환 이미지로부터 추출된 정합 정보에 기초하여 상기 제1 변환 세그멘테이션 이미지 및 상기 제2 변환 세그멘테이션 이미지를 정합하여 정합 세그멘테이션 이미지를 생성하는 단계;
    상기 정합 세그멘테이션 이미지에 포함된 상기 선박이 상기 바다와 접하는 지점에 대응되는 픽셀에 기초하여 상기 선박의 안벽과의 거리를 산출하는 단계; 및
    상기 선박의 안벽과의 거리에 기초하여 상기 안벽으로의 접근 속도를 산출하는 단계;를 포함하는
    항만 모니터링 방법.
  16. 컴퓨팅 수단에 의해 수행되는 선박 주변 모니터링 방법에 있어서,
    서로 다른 방향을 향하도록 선박에 설치되어 이미지를 촬상하는 제1 카메라 및 제2 카메라를 이용하여 선박 주변의 장애물 및 바다 중 적어도 하나를 포함하는 제1 해상 이미지 및 상기 제1 해상 이미지와 모니터링 영역이 적어도 일부 다른 제2 해상 이미지를 획득하는 단계;
    입력 이미지로부터 상기 입력 이미지에 포함된 오브젝트의 종류 및 거리에 대한 정보를 출력하도록 학습된 인공 신경망을 이용한 이미지 세그멘테이션을 수행하여 상기 제1 해상 이미지에 대응되는 제1 세그멘테이션 이미지 및 상기 제2 해상 이미지에 대응되는 제2 세그멘테이션 이미지를 생성하는 단계 - 상기 제1 세그멘테이션 이미지 및 상기 제2 세그멘테이션 이미지는 상기 장애물에 대응되도록 라벨링되되 상기 장애물의 거리에 대한 정보를 포함하는 제1 픽셀 및 상기 바다에 대응되도록 라벨링된 제2 픽셀 중 적어도 하나를 포함함 - ;
    상기 제1 카메라 및 상기 제2 카메라의 설치 위치 및 자세 중 적어도 하나를 고려하여 산출된 제1 시점 변환 정보를 이용하여 상기 제1 해상 이미지 및 상기 제2 해상 이미지 각각에 대응되고 제1 뷰 속성을 가지는 제1 디스플레이 이미지 및 제2 디스플레이 이미지를 생성하는 단계;
    상기 제1 카메라 및 상기 제2 카메라의 설치 위치 및 자세 중 적어도 하나를 고려하여 산출되되 상기 제1 시점 변환 정보와 상이한 제2 시점 변환 정보를 이용하여 상기 제1 세그멘테이션 이미지 및 상기 제2 세그멘테이션 이미지 각각에 대응되되 상기 제1 뷰와 상이한 제2 뷰 속성을 가지는 제1 변환 세그멘테이션 이미지 및 제2 변환 세그멘테이션 이미지를 생성하는 단계;
    상기 제1 디스플레이 이미지 및 상기 제2 디스플레이 이미지를 정합하여 파노라마 이미지를 생성하는 단계;
    상기 제1 변환 세그멘테이션 이미지 및 상기 제2 변환 세그멘테이션 이미지를 정합하여 정합 세그멘테이션 이미지를 생성하는 단계; 및
    상기 정합 세그멘테이션 이미지에 기초하여 상기 선박의 운항 가이드 정보를 산출하는 단계 - 상기 운항 가이드 정보는 상기 선박의 상기 장애물과의 거리 및 상기 장애물로의 접근 속도 중 적어도 하나를 포함함 - ;를 포함하는
    선박 주변 모니터링 방법.
  17. 컴퓨팅 수단에 의해 수행되는 항만 모니터링 방법에 있어서,
    제1 뷰를 가지고 안벽 및 상기 안벽으로 접안하는 선박을 포함하는 항만 이미지를 획득하는 단계;
    상기 제1 뷰를 제2 뷰로 변환하는 제1 시점 변환 정보를 이용하여, 상기 제1 뷰를 가지는 항만 이미지로부터 상기 제2 뷰를 가지는 디스플레이 이미지를 생성하는 단계;
    입력 이미지로부터 상기 입력 이미지에 포함된 오브젝트의 종류에 대한 정보를 출력하도록 학습된 인공 신경망을 이용하여, 상기 제1 뷰를 가지는 항만 이미지로부터 상기 항만 이미지 내의 각 픽셀 별로 오브젝트 클래스가 부여되고 상기 제1 뷰를 가지는 세그멘테이션 이미지를 생성하는 단계;
    상기 제1 뷰를 상기 제2 뷰와 상이한 제3 뷰로 변환하는 제2 시점 변환 정보를 이용하여, 상기 제1 뷰를 가지는 세그멘테이션 이미지로부터 상기 제3 뷰를 가지는 변환 세그멘테이션 이미지를 생성하는 단계;
    상기 변환 세그멘테이션 이미지에 기초하여 상기 선박의 상기 안벽과의 거리 및 상기 안벽으로의 접근 속도를 산출하는 단계; 및
    상기 거리 및 상기 접근 속도를 상기 디스플레이 이미지와 함께 출력하는 단계;를 포함하는
    항만 모니터링 방법.
  18. 제17 항에 있어서,
    상기 제2 뷰는 상기 디스플레이 이미지에 포함된 상기 안벽이 상기 디스플레이 이미지 상에서 수평 방향을 따라 위치하는 뷰이고, 상기 제3 뷰는 해수면과 수직한 방향에서 해수면을 내려다 본 뷰인 것을 특징으로 하는
    항만 모니터링 방법.
  19. 제17 항에 있어서,
    상기 거리는, 상기 선박이 해수면과 접하는 양 단부에 대응되는 제1 지점 및 제2 지점 각각으로부터 상기 안벽과의 거리인 제1 거리 및 제2 거리를 포함하는
    항만 모니터링 방법.
  20. 제17 항에 있어서,
    상기 출력하는 단계는,
    원격 위치한 단말을 이용하여 상기 거리 및 상기 접근 속도를 상기 디스플레이 이미지와 함께 디스플레이하기 위하여 상기 거리, 상기 접근 속도 및 상기 디스플레이 이미지를 상기 단말로 송신하는 단계; 또는
    상기 거리 및 상기 접근 속도를 상기 디스플레이 이미지와 함께 디스플레이하는 단계;인 것을 특징으로 하는
    항만 모니터링 방법.
  21. 제17 항에 있어서,
    상기 항만 이미지는, 제1 항만 이미지 및 상기 제1 항만 이미지와 모니터링 영역이 적어도 일부 중첩되는 제2 항만 이미지를 포함하고,
    상기 세그멘테이션 이미지는, 상기 제1 항만 이미지 및 상기 제2 항만 이미지 각각에 대응되는 제1 세그멘테이션 이미지 및 제2 세그멘테이션 이미지를 포함하고,
    상기 디스플레이 이미지는, 상기 제1 항만 이미지 및 상기 제2 항만 이미지 각각에 대응되는 제1 디스플레이 이미지 및 제2 디스플레이 이미지로부터 추출된 제1 정합 정보를 이용하여 상기 제1 디스플레이 이미지 및 상기 제2 디스플레이 이미지를 정합하여 생성되고,
    상기 변환 세그멘테이션 이미지는, 상기 제1 뷰를 가지는 제1 항만 이미지 및 제2 항만 이미지 각각으로부터 생성된 상기 제3 뷰를 가지는 제1 변환 이미지 및 제2 변환 이미지로부터 추출된 상기 제1 정합 정보와 상이한 제2 정합 정보를 이용하고 상기 제1 세그멘테이션 이미지에 대응되는 제1 변환 세그멘테이션 이미지 및 상기 제2 세그멘테이션 이미지에 대응되는 제2 변환 세그멘테이션 이미지를 정합하여 생성되는
    항만 모니터링 방법.
  22. 컴퓨터에 제1 항 내지 제21 항 중 어느 하나의 항에 따른 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020200058550A 2018-10-04 2020-05-15 선박 주변 모니터링 장치 및 선박 주변 모니터링 방법 Active KR102231286B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210034934A KR102566724B1 (ko) 2018-10-04 2021-03-17 항만 모니터링 장치 및 항만 모니터링 방법

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201862741394P 2018-10-04 2018-10-04
US62/741,394 2018-10-04
KR1020180165856 2018-12-20
KR1020180165856 2018-12-20

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020190122817A Division KR102113955B1 (ko) 2018-10-04 2019-10-04 선박 및 항만 모니터링 장치 및 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020210034934A Division KR102566724B1 (ko) 2018-10-04 2021-03-17 항만 모니터링 장치 및 항만 모니터링 방법

Publications (2)

Publication Number Publication Date
KR20200060697A true KR20200060697A (ko) 2020-06-01
KR102231286B1 KR102231286B1 (ko) 2021-03-24

Family

ID=70055291

Family Applications (6)

Application Number Title Priority Date Filing Date
KR1020190122816A Active KR102785021B1 (ko) 2018-10-04 2019-10-04 선박 및 항만 실시간 모니터링 장치 및 방법
KR1020190122817A Active KR102113955B1 (ko) 2018-10-04 2019-10-04 선박 및 항만 모니터링 장치 및 방법
KR1020200058550A Active KR102231286B1 (ko) 2018-10-04 2020-05-15 선박 주변 모니터링 장치 및 선박 주변 모니터링 방법
KR1020210034934A Active KR102566724B1 (ko) 2018-10-04 2021-03-17 항만 모니터링 장치 및 항만 모니터링 방법
KR1020230103932A Active KR102658233B1 (ko) 2018-10-04 2023-08-09 항만 모니터링 장치 및 항만 모니터링 방법
KR1020240049109A Active KR102688958B1 (ko) 2018-10-04 2024-04-12 항만 모니터링 장치 및 항만 모니터링 방법

Family Applications Before (2)

Application Number Title Priority Date Filing Date
KR1020190122816A Active KR102785021B1 (ko) 2018-10-04 2019-10-04 선박 및 항만 실시간 모니터링 장치 및 방법
KR1020190122817A Active KR102113955B1 (ko) 2018-10-04 2019-10-04 선박 및 항만 모니터링 장치 및 방법

Family Applications After (3)

Application Number Title Priority Date Filing Date
KR1020210034934A Active KR102566724B1 (ko) 2018-10-04 2021-03-17 항만 모니터링 장치 및 항만 모니터링 방법
KR1020230103932A Active KR102658233B1 (ko) 2018-10-04 2023-08-09 항만 모니터링 장치 및 항만 모니터링 방법
KR1020240049109A Active KR102688958B1 (ko) 2018-10-04 2024-04-12 항만 모니터링 장치 및 항만 모니터링 방법

Country Status (4)

Country Link
US (3) US12057018B2 (ko)
EP (2) EP4648403A3 (ko)
KR (6) KR102785021B1 (ko)
WO (1) WO2020071839A1 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102223363B1 (ko) * 2020-06-16 2021-03-05 이상창 선박 자동정박 시스템
KR102353336B1 (ko) * 2021-05-06 2022-01-20 (주)공간인소프트 인공 지능 모델을 이용하여 항만 구조물을 인식할 수 있는 전자 장치 및 전자 장치의 제어 방법
KR20220052846A (ko) * 2020-10-21 2022-04-28 모셔널 에이디 엘엘씨 Lidar를 사용한 대상체 식별
KR20220055556A (ko) * 2020-10-26 2022-05-04 씨드로닉스(주) 선박 및 항만 모니터링 장치 및 방법
KR20220055555A (ko) * 2020-10-26 2022-05-04 씨드로닉스(주) 항만 및 선박 모니터링 방법 및 장치
US12106573B2 (en) 2020-01-09 2024-10-01 Seadronix Corp. Method and device for monitoring port and ship in consideration of sea level

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3654233A1 (en) * 2018-11-15 2020-05-20 BSB Artificial Intelligence GmbH System and method for identifying an object in water
US12450763B2 (en) * 2019-12-13 2025-10-21 Nvidia Corporation Depth estimation using a neural network
US12367546B2 (en) 2019-12-24 2025-07-22 Nvidia Corporation Panorama generation using one or more neural networks
US11636602B1 (en) * 2020-02-12 2023-04-25 Scale AI, Inc. Prelabeling for semantic segmentation tasks
JP6935545B1 (ja) * 2020-06-18 2021-09-15 三菱電機ビルテクノサービス株式会社 人物追跡支援装置および人物追跡支援システム
CN111898699B (zh) * 2020-08-11 2024-05-10 海之韵(苏州)科技有限公司 一种船体目标自动检测识别方法
US11783510B2 (en) 2020-08-25 2023-10-10 Nvidia Corporation View generation using one or more neural networks
KR20220045762A (ko) 2020-10-06 2022-04-13 주식회사 스카이시스 인공지능 영상 처리를 이용한 선박 자동 인식 및 모니터링 시스템 및 그 제공 방법
KR102240127B1 (ko) * 2020-10-13 2021-04-14 한국해양과학기술원 딥러닝 기반 저시정 상황 극복 기술을 적용한 주변 상황 모니터링 장치
KR102238629B1 (ko) * 2020-10-13 2021-04-09 한국해양과학기술원 딥러닝 기반 저시정 상황 극복 시스템 및 방법
TWI792108B (zh) * 2020-12-02 2023-02-11 財團法人船舶暨海洋產業研發中心 船舶內河航運光達辨識系統及其運作方法
KR102558165B1 (ko) * 2021-05-26 2023-07-21 주식회사 이에스피 안벽 호선 환경 변화에 따른 공정 스케줄 최적화 시스템
KR102451797B1 (ko) * 2021-06-01 2022-10-12 씨드로닉스(주) 타겟 객체를 모델링하는 모델링 방법, 모델링 장치 및 모델링 시스템
KR20230048650A (ko) 2021-10-05 2023-04-12 삼성중공업 주식회사 해양구조물의 안벽 계류 리소스 제약 기반 최적 계류 위치 결정 방법 및 시스템
KR102391811B1 (ko) 2021-12-14 2022-04-28 한국해양과학기술원 카메라 정보를 활용한 라이다 기반 연안해역 상황인식 장치 및 방법
WO2023175713A1 (ja) * 2022-03-15 2023-09-21 パイオニア株式会社 情報処理装置、制御方法、プログラム及び記憶媒体
US20250231029A1 (en) * 2022-03-15 2025-07-17 Pioneer Corporation Information processing device, control method, program and storage medium
IL291595A (en) * 2022-03-22 2023-10-01 Orca Ai Ltd Estimation of distance to a marine object by a neural network using a camera
KR20240026702A (ko) 2022-08-22 2024-02-29 한화오션 주식회사 선박의 소리기반 운항안전 보조시스템
CN115188221B (zh) * 2022-09-09 2022-11-25 苏州智能交通信息科技股份有限公司 河道航运监测管理方法、装置、终端及存储介质
TWI837969B (zh) * 2022-11-26 2024-04-01 財團法人船舶暨海洋產業研發中心 港區海際多船監控系統及其運作方法
EP4383215A1 (en) * 2022-12-09 2024-06-12 Abb Schweiz Ag Method and system for determining a region of water clearance of a water surface
CN116380468B (zh) * 2023-02-15 2026-03-24 华能南京金陵发电有限公司 一种智慧码头用故障检测系统及搭建方法
GB2627437B (en) * 2023-02-17 2025-09-17 Wartsila Guidance Marine Ltd Vessel Situational Awareness
CN116242334B (zh) * 2023-03-02 2025-10-17 上海友道智途科技有限公司 一种面向港口锁站的车辆定位方法及系统
CN116482677B (zh) * 2023-06-25 2023-08-29 成都远望科技有限责任公司 一种基于海雾观测的多雷达协同控制扫描调度方法
KR102677983B1 (ko) * 2023-09-05 2024-06-25 (주)오토노머스에이투지 자율주행차량에 설치된 프로젝터의 고장을 판단하는 방법 및 이를 이용한 프로젝터 고장 진단 장치
KR102676639B1 (ko) * 2023-10-26 2024-06-19 주식회사 더블오 수면 부유 객체 데이터 수집 장치
KR102857001B1 (ko) 2023-11-29 2025-09-08 국립창원대학교 산학협력단 선박용 하역기 자동 제어 시스템 및 방법
US12555370B2 (en) 2024-02-06 2026-02-17 SeaSatellites, Inc. Range estimation in autonomous maritime vehicles
US12466525B2 (en) * 2024-03-22 2025-11-11 Orestis Skoutellas Chain anchor real-time computing and hydro-mechanics integrated drag identifier
US12477084B2 (en) 2024-04-26 2025-11-18 ShipIn Systems Inc. System and method for automatic detection of maritime blackout events
CN119205528B (zh) * 2024-11-21 2025-03-21 海卫通网络科技有限公司 一种船舶靠泊用全景摄像图像融合方法及系统
KR102790206B1 (ko) * 2024-12-20 2025-04-02 재단법인 포항산업과학연구원 하역기의 충돌 분석 시스템 및 그 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140126998A (ko) * 2013-04-24 2014-11-03 주식회사 씨큐로 갑문 충돌방지 시스템
KR20180065411A (ko) * 2016-12-07 2018-06-18 한국해양과학기술원 해상객체의 자동추적 시스템 및 방법

Family Cites Families (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7202776B2 (en) 1997-10-22 2007-04-10 Intelligent Technologies International, Inc. Method and system for detecting objects external to a vehicle
JP4214219B2 (ja) * 2002-11-26 2009-01-28 独立行政法人海上技術安全研究所 離接岸用操船支援装置
JP2004178258A (ja) 2002-11-27 2004-06-24 Mitsubishi Heavy Ind Ltd 港湾セキュリティシステム
DE102006035878A1 (de) 2006-08-01 2008-02-14 Atlas Elektronik Gmbh Verfahren zur Bestimmung eines Fahrwegs für ein Unterwasserfahrzeug
GB2441802A (en) 2006-09-13 2008-03-19 Marine & Remote Sensing Soluti Safety system for a vehicle
JP5090869B2 (ja) 2007-11-19 2012-12-05 日本無線株式会社 レーダシステム
CN101214851B (zh) * 2008-01-10 2010-12-01 黄席樾 船舶行驶智能型全天候主动安全预警系统及其预警方法
JP2010041530A (ja) * 2008-08-07 2010-02-18 Sanyo Electric Co Ltd 操縦支援装置
IL196276A (en) 2008-12-30 2013-04-30 Elbit Systems Ltd Autonomous navigation system and method for a maneuverable platform
US8396870B2 (en) 2009-06-25 2013-03-12 University Of Tennessee Research Foundation Method and apparatus for predicting object properties and events using similarity-based information retrieval and modeling
KR101096157B1 (ko) 2009-10-22 2011-12-19 (주)태종씨앤아이 듀얼 카메라를 이용한 실시간 감시장치
KR20110059206A (ko) 2009-11-27 2011-06-02 김영복 터그보트를 이용한 접안선박 유도시스템
WO2011159832A2 (en) 2010-06-15 2011-12-22 California Institute Of Technology Systems and methods for sea state prediction and automated vessel navigation
US9142010B2 (en) * 2012-01-04 2015-09-22 Audience, Inc. Image enhancement based on combining images from multiple cameras
KR101283759B1 (ko) 2012-04-30 2013-07-08 인하대학교 산학협력단 스마트 ｔｖ 환경의 개인화된 대화형 비디오에서 움직이는 이동 객체의 의미적 어노테이션의 표현 및 그 증강 방법
KR101379636B1 (ko) * 2012-12-20 2014-04-02 한국해양과학기술원 단안카메라 영상을 이용한 선박 자동 인식 시스템 및 방법
KR20140096595A (ko) 2013-01-28 2014-08-06 경북대학교 산학협력단 이미지 분류 방법
KR101452994B1 (ko) 2013-05-06 2014-10-22 한국생산기술연구원 선박의 안전접안 시스템
KR101480220B1 (ko) 2013-05-10 2015-01-08 인하대학교 산학협력단 객체 인식 장치 및 그 방법
KR101589814B1 (ko) 2014-04-30 2016-01-29 인하대학교 산학협력단 연안에서의 객체 인식 장치 및 그 방법
KR101607904B1 (ko) * 2014-06-27 2016-03-31 (주)안세기술 3차원 레이저 스캐너를 이용한 선박 접안 시스템
KR101683274B1 (ko) 2014-11-24 2016-12-06 (주)세이프텍리서치 무인항공기를 이용한 선박 접안 지원 시스템 및 그 방법
CN104539934A (zh) * 2015-01-05 2015-04-22 京东方科技集团股份有限公司 图像采集装置和图像处理方法、系统
KR101693981B1 (ko) 2015-04-29 2017-01-10 현대중공업 주식회사 선박의 충돌 회피 방법 및 장치
KR101541808B1 (ko) 2015-04-30 2015-08-04 한국해양과학기술원 딥러닝 알고리즘을 이용한 해상교통관제 전문가 시스템 및 그 제어 방법
JP6496323B2 (ja) 2015-09-11 2019-04-03 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 可動物体を検出し、追跡するシステム及び方法
KR20170031829A (ko) 2015-09-11 2017-03-22 금호마린테크 (주) 선박 레이더를 이용한 물표의 획득 방법 및 이를 이용한 물표의 획득 시스템
KR101772178B1 (ko) 2015-12-04 2017-08-25 엘지전자 주식회사 차량용 랜드마크 검출 장치 및 방법
US10372976B2 (en) 2016-05-05 2019-08-06 Brunswick Corporation Person detection in a marine environment
KR101812994B1 (ko) * 2016-05-25 2017-12-28 (주)주인정보시스템 카메라 영상을 이용한 선박의 안전접안 시스템 및 그 방법
KR101900851B1 (ko) 2016-07-22 2018-11-08 목포해양대학교 산학협력단 선박 항해 감시장치 및 방법
KR101772916B1 (ko) 2016-12-30 2017-08-31 한양대학교 에리카산학협력단 촬영영상과 인공지능 알고리즘 기반의 균열검출 자동화 프로그램을 이용한 터널 라이닝 표면의 균열 검출 방법 및 시스템
KR20180081979A (ko) 2017-01-09 2018-07-18 재단법인한국조선해양기자재연구원 자율 운항선 충돌방지 시스템
KR101771146B1 (ko) 2017-03-22 2017-08-24 광운대학교 산학협력단 스테레오 카메라를 이용한 컨볼루션 신경망 기반의 보행자 및 차량 검출 방법 및 장치
KR101805564B1 (ko) 2017-06-12 2018-01-18 (주)지인테크 선박 충돌 방지용 경보 시스템 및 방법
EP3639104B1 (en) * 2017-06-16 2022-10-12 Flir Belgium BVBA Perimeter ranging sensor systems and methods
KR101894674B1 (ko) 2017-10-11 2018-10-24 (주)코마린 해양 내비게이션 장치 및 항로 제공 방법
US11100350B2 (en) 2018-02-19 2021-08-24 Avigilon Corporation Method and system for object classification using visible and invisible light images
US10782691B2 (en) 2018-08-10 2020-09-22 Buffalo Automation Group Inc. Deep learning and intelligent sensing system integration
US10936907B2 (en) 2018-08-10 2021-03-02 Buffalo Automation Group Inc. Training a deep learning system for maritime applications
KR102005560B1 (ko) 2018-09-04 2019-08-07 씨드로닉스(주) 객체 정보 획득 방법 및 이를 수행하는 장치
WO2020050498A1 (ko) 2018-09-04 2020-03-12 씨드로닉스㈜ 이미지 세그멘테이션을 이용한 주변 환경 감지 방법 및 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140126998A (ko) * 2013-04-24 2014-11-03 주식회사 씨큐로 갑문 충돌방지 시스템
KR20180065411A (ko) * 2016-12-07 2018-06-18 한국해양과학기술원 해상객체의 자동추적 시스템 및 방법

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12106573B2 (en) 2020-01-09 2024-10-01 Seadronix Corp. Method and device for monitoring port and ship in consideration of sea level
US12525020B2 (en) 2020-01-09 2026-01-13 Seadronix Corp. Method and device for monitoring port and ship in consideration of sea level
KR102223363B1 (ko) * 2020-06-16 2021-03-05 이상창 선박 자동정박 시스템
KR20220052846A (ko) * 2020-10-21 2022-04-28 모셔널 에이디 엘엘씨 Lidar를 사용한 대상체 식별
US12367684B2 (en) 2020-10-21 2025-07-22 Motional Ad Llc Identifying objects using LiDAR
KR20220055556A (ko) * 2020-10-26 2022-05-04 씨드로닉스(주) 선박 및 항만 모니터링 장치 및 방법
KR20220055555A (ko) * 2020-10-26 2022-05-04 씨드로닉스(주) 항만 및 선박 모니터링 방법 및 장치
KR20230074438A (ko) * 2020-10-26 2023-05-30 씨드로닉스(주) 선박 및 항만 모니터링 장치 및 방법
KR20240036529A (ko) * 2020-10-26 2024-03-20 씨드로닉스(주) 선박 및 항만 모니터링 장치 및 방법
KR102353336B1 (ko) * 2021-05-06 2022-01-20 (주)공간인소프트 인공 지능 모델을 이용하여 항만 구조물을 인식할 수 있는 전자 장치 및 전자 장치의 제어 방법

Also Published As

Publication number Publication date
US20210357655A1 (en) 2021-11-18
KR102566724B1 (ko) 2023-08-16
KR20230121978A (ko) 2023-08-22
KR102231286B1 (ko) 2021-03-24
KR102688958B1 (ko) 2024-07-29
KR20210036886A (ko) 2021-04-05
KR102658233B1 (ko) 2024-04-19
US12424106B2 (en) 2025-09-23
EP4648403A2 (en) 2025-11-12
EP3862997A4 (en) 2022-08-10
EP3862997A1 (en) 2021-08-11
KR102113955B1 (ko) 2020-05-22
US20240339037A1 (en) 2024-10-10
KR20200039589A (ko) 2020-04-16
EP4648403A3 (en) 2026-01-28
US20250391277A1 (en) 2025-12-25
KR102785021B1 (ko) 2025-03-27
KR20200039588A (ko) 2020-04-16
KR20240057388A (ko) 2024-05-02
EP3862997B1 (en) 2025-11-19
EP3862997C0 (en) 2025-11-19
WO2020071839A1 (ko) 2020-04-09
US12057018B2 (en) 2024-08-06

Similar Documents

Publication Publication Date Title
KR102113955B1 (ko) 선박 및 항만 모니터링 장치 및 방법
KR102661363B1 (ko) 접안 모니터링 장치 및 방법
EP4089660B1 (en) Method and device for monitoring port and ship in consideration of sea level
KR102645492B1 (ko) 선박 및 항만 모니터링 장치 및 방법
US12198418B2 (en) System and method for measuring the distance to an object in water
KR102265980B1 (ko) 선박 및 항만 모니터링 장치 및 방법
KR102530847B1 (ko) 항만 및 선박 모니터링 방법 및 장치
KR102520844B1 (ko) 해수면을 고려한 항만 및 선박 모니터링 방법 및 장치

Legal Events

Date Code Title Description
A107 Divisional application of patent
PA0107 Divisional application

St.27 status event code: A-0-1-A10-A18-div-PA0107

St.27 status event code: A-0-1-A10-A16-div-PA0107

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

A201 Request for examination
P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

A107 Divisional application of patent
GRNT Written decision to grant
PA0107 Divisional application

St.27 status event code: A-0-1-A10-A18-div-PA0107

St.27 status event code: A-0-1-A10-A16-div-PA0107

PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R13-asn-PN2301

St.27 status event code: A-5-5-R10-R11-asn-PN2301

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

P14-X000 Amendment of ip right document requested

St.27 status event code: A-5-5-P10-P14-nap-X000

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 5

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 6

U11 Full renewal or maintenance fee paid

Free format text: ST27 STATUS EVENT CODE: A-4-4-U10-U11-OTH-PR1001 (AS PROVIDED BY THE NATIONAL OFFICE)

Year of fee payment: 6