KR20220163731A - 사용자 단말 및 그 제어 방법 - Google Patents

사용자 단말 및 그 제어 방법 Download PDF

Info

Publication number
KR20220163731A
KR20220163731A KR1020210072247A KR20210072247A KR20220163731A KR 20220163731 A KR20220163731 A KR 20220163731A KR 1020210072247 A KR1020210072247 A KR 1020210072247A KR 20210072247 A KR20210072247 A KR 20210072247A KR 20220163731 A KR20220163731 A KR 20220163731A
Authority
KR
South Korea
Prior art keywords
information
user terminal
display
user
vps
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
KR1020210072247A
Other languages
English (en)
Inventor
안로운
우재열
우승현
김수빈
Original Assignee
현대자동차주식회사
기아 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사, 기아 주식회사 filed Critical 현대자동차주식회사
Priority to KR1020210072247A priority Critical patent/KR20220163731A/ko
Priority to US17/675,472 priority patent/US20220390250A1/en
Publication of KR20220163731A publication Critical patent/KR20220163731A/ko
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q50/28—
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3635—Guidance using 3D or perspective road maps
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3807—Creation or updating of map data characterised by the type of data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3833—Creation or updating of map data characterised by the source of data
    • G01C21/3837—Data obtained from a single source
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0207—Discounts or incentives, e.g. coupons or rebates
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—Two-dimensional [2D] image generation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—Three-dimensional [3D] image rendering
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating three-dimensional [3D] models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/02—Networking aspects
    • G09G2370/022—Centralised management of display operation, e.g. in a server instead of locally

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Business, Economics & Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Development Economics (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Computer Hardware Design (AREA)
  • Accounting & Taxation (AREA)
  • Software Systems (AREA)
  • Finance (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Human Computer Interaction (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Game Theory and Decision Science (AREA)
  • Operations Research (AREA)
  • Human Resources & Organizations (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • Navigation (AREA)
  • Instructional Devices (AREA)

Abstract

일 실시예에 따른 사용자 단말은, 주변 영상을 촬영하는 카메라, 디스플레이, 서버와 통신하는 통신부, 증강현실 기반의 VPS(Visual Positioning System) 지도 정보 및 2D(2 Dimension) 지도 정보를 저장하는 데이터베이스 및 상기 서버로부터 수신된 배달 정보 및 상기 2D 지도 정보를 기초로 2D 경로 정보 정보를 생성하고, 상기 배달 정보 및 상기 VPS 지도 정보를 기초로 증강현실 기반 3D 경로 정보를 생성하고, 상기 배달 정보에 포함된 목적지와 사용자간의 거리에 기초하여 상기 2D경로 경로 정보 또는 3D 경로 정보를 표시하도록 상기 디스플레이를 제어하는 제어부를 포함하는 것일 수 있다.

Description

사용자 단말 및 그 제어 방법{USER EQUIPMENT AND CONTROL METHOD FOR THE SAME}
본 발명은 증강 현실(Augmented Reality; AR)을 제공하는 사용자 단말(User Equipment; UE) 및 그 제어 방법에 관한 것이다.
최근 증강 현실(Augmented Reality; AR)을 이용한 서비스가 증가하고 있다. 사용자는 사용자 단말(User Equipment; UE)을 이용하여 증강 현실 서비스를 제공받을 수 있으며, 기존의 서비스에 비하여 보다 생동감있는 서비스를 제공받을 수 있다.
예를 들어, 증강 현실을 이용한 지도 및 네비게이션 서비스는, 음식점, 카페, 식료품점 등 다양한 업종의 관심 지역(Point Of Interest; POI)의 증강 현실 영상을 해당 관심 지역의 위치에 표시할 수 있다. 즉, 사용자가 사용자 단말을 이용하여 관심 지역을 촬영하는 경우 촬영된 영상에 관심 지역의 증강 현실 영상이 관심 지역이 위치하는 영역에서 중첩되어 표시될 수 있다.
다만, 종래의 증강 현실을 이용한 지도 및 네비게이션 서비스는, 상점 밀집지역이거나 건물 밀집지역인 경우에 목적지를 탐색하는 것에 유용하게 적용이 가능할 수 있으나, 지형 지물, 환경 변화 등으로 지속적인 VPS(Visual Positioning System) 지도 업데이트가 필수적이며, 이것은 사업자에게 TCO(Total Cost Of Ownership) 부담으로 사업화의 한계가 존재한다.
실내외(환경 속성) 유무 및 GPS(Global Positioning System) 유무에 관계없이 목적지 탐색의 사용성을 높이고, 사용자 참여를 통해 운영 및 유지보수 비용(TCO)을 절감할 수 있는 사용자 단말 및 그 제어 방법을 제공한다.
일 실시예에 따른 사용자 단말(User Equipment; UE)은, 주변 영상을 촬영하는 카메라, 디스플레이, 서버와 통신하는 통신부, 증강현실 기반의 VPS(Visual Positioning System) 지도 정보 및 2D(2 Dimension) 지도 정보를 저장하는 데이터베이스 및 상기 서버로부터 수신된 배달 정보 및 상기 2D 지도 정보를 기초로 2D 경로 정보 정보를 생성하고, 상기 배달 정보 및 상기 VPS 지도 정보를 기초로 증강현실 기반 3D 경로 정보를 생성하고, 상기 배달 정보에 포함된 목적지와 사용자간의 거리에 기초하여 상기 2D경로 경로 정보 또는 3D 경로 정보를 표시하도록 상기 디스플레이를 제어하는 제어부를 포함할 수 있다.
상기 제어부는, 상기 목적지와 사용자간의 거리가 정해진 거리보다 작은 경우, 3D 경로 정보를 표시하도록 상기 디스플레이를 제어하는 것일 수 있다.
상기 제어부는, 시간, 이동거리 및 혼잡도 중 적어도 하나가 최소가 되도록 경로 정보를 생성하는 것일 수 있다.
상기 제어부는, 상기 VPS 지도 정보 및 상기 주변 영상을 기초로 상기 사용자의 위치 정보를 식별하는 것일 수 있다.
상기 제어부는, 상기 사용자의 위치 정보 및 상기 배달 정보를 기초로 실시간 경로 정보를 생성하는 것일 수 있다.
상기 제어부는, 상기 주변 영상에 증강 현실 3D 객체로 표현된 목적지를 합성하고, 상기 합성된 영상을 표시하도록 상기 디스플레이를 제어하는 것일 수 있다.
상기 데이터베이스는, 상기 주변 영상을 기초로 상기 VPS 지도 정보를 업데이트하는 것일 수 있다.
상기 제어부는, 상기 주변 영상의 특성에 기초하여 상기 주변 영상에 가중치를 부여하고, 상기 가중치가 정해진 기준보다 높은 경우에 보상 점수를 제공하는 것일 수 있다.
상기 보상 점수는, 상기 주변 영상의 해상도, 용량 및 길이 중 적어도 한가지에 기초하여 가중치가 부여되고, 상기 각 가중치의 합의 크기에 따라서 달라지는 것일 수 있다.
개시된 발명의 일 측면에 따른 사용자 단말 제어 방법은 증강현실 기반의 VPS(Visual Positioning System) 지도 정보 및 2D(2 Dimension) 지도 정보를 저장하고, 서버로부터 배달 정보를 수신하고, 상기 배달 정보 및 상기 2D 지도 정보를 기초로 2D 경로 정보를 생성하고, 상기 배달 정보 및 상기 VPS 지도 정보를 기초로 3D 경로 정보를 생성하고, 상기 배달 정보에 포함된 목적지와 사용자간의 거리에 기초하여 2D 경로 정보 또는 3D 경로 정보를 표시하도록 상기 디스플레이를 제어하는 것을 포함할 수 있다.
일 측면에 따른 사용자 단말 및 그 제어 방법에 따르면, 실내외(환경 속성) 유무 및GPS 유무에 관계없이 목적지 탐색의 사용성을 높이고, 사용자 참여를 통해 운영 및 유지보수 비용(TCO)을 절감할 수 있다.
도 1은 일 실시예에 따른 증강현실(AR) 모빌리티 시스템을 도시한다.
도 2는 일 실시예에 따른 사용자 단말의 구성을 나타낸 블록도이다.
도 3은 일 실시예에 따른 사용자 단말이 목적지를 촬영하는 경우를 설명하기 위한 도면이다.
도 4는 일 실시예에 따른 사용자 단말이 목적지까지의 경로 정보를 표시하는 경우를 설명하기 위한 도면이다.
도 5는 일 실시예에 따른 사용자 단말이 목적지에 근접하였을 경우를 설명하기 위한 도면이다.
도 6은 일 실시예에 따른 사용자 단말이 영상을 촬영하여 VPS지도를 업데이트하는 것을 설명하기 위한 도면이다.
도7은 일 실시예에 따른 사용자 단말 제어 방법 중 목적지까지의 경로 정보를 안내하는 실시예를 설명하기 위한 순서도이다.
도 8는 일 실시예에 따른 사용자 단말 제어 방법 중 촬영한 주변 영상을 기반으로 사용자 참여 VPS지도를 업데이트하는 실시예를 설명하기 위한 순서도이다.
명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다. 본 명세서가 실시예들의 모든 요소들을 설명하는 것은 아니며, 본 발명이 속하는 기술분야에서 일반적인 내용 또는 실시예들 간에 중복되는 내용은 생략한다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐 아니라, 간접적으로 연결되어 있는 경우를 포함하고, 간접적인 연결은 무선 통신망을 통해 연결되는 것을 포함한다.
또한, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
단수의 표현은 문맥상 명백하게 예외가 있지 않는 한, 복수의 표현을 포함한다.
또한, "~부", "~기", "~블록", "~부재", "~모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미할 수 있다. 예를 들어, 상기 용어들은 FPGA(Field-Programmable Gate Array) / ASIC(Application Specific Integrated Circuit) 등 적어도 하나의 하드웨어, 메모리에 저장된 적어도 하나의 소프트웨어 또는 프로세서에 의하여 처리되는 적어도 하나의 프로세스를 의미할 수 있다.
각 단계들에 붙여지는 부호는 각 단계들을 식별하기 위해 사용되는 것으로 이들 부호는 각 단계들 상호 간의 순서를 나타내는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 실시될 수 있다.
이하에서는 첨부된 도면을 참조하여 일 측면에 따른 사용자 단말 및 그 제어 방법에 관한 실시예를 상세하게 설명하도록 한다.
도 1은 일 실시예에 따른 증강현실(AR) 모빌리티 시스템(1000)을 도시한다.
일 실시예에 따른 증강현실(AR) 모빌리티 시스템(1000)은 증강현실(AR)의 핵심기술인 VPS(Visual Positioning System) 기반의 지도를 기초로 물품 등을 배달하는 인력이 실내외 AR 네비게이션으로 목적지(Point Of Interest)의 위치 등에 관한 정보를 쉽게 탐색하고, 해당 인력이 직접 참여하여 VPS 지도를 지속적으로 업데이트 하는 것을 목적으로 하는 것일 수 있다.
다시 말하면, 증강현실(AR) 모빌리티 시스템(1000)은 주문중개업체, E-commerve 업체, 백화점 식품관, 편의점, 택배업체, Cosmetic 유통 업체, 컨벤션 등을 포함하는 행사 운영 업체, 라스트마일 모빌리티 서비스 업체, 공항공사 등 특정 상품, 서비스 등을 운반하거나 배달이 필요한 서비스나 업체에 적용될 수 있다.
도 1을 참조하면, 증강현실(AR) 모빌리티 시스템(1000)은, 사용자에게 목적지까지의 경로 또는 목적지에 인접한 장소에 도달하거나 사용자의 선택에 따라서 목적지의 증강 현실 영상을 표시하는 사용자 단말(100)과 VPS 지도 정보, 2D 지도 정보, 배달 정보를 관리하는 서버(200)와, 사용자 단말(100) 및 서버(200) 사이의 통신을 제공하는 네트워크(1)를 포함한다.
배달 정보는 예를 들어, 목적지의 위치 정보 등을 포함할 수 있다. 보다 구체적으로, 배달 정보는 예를 들어, 배달할 물품에 관한 정보, 배달 출발지에 관한 정보, 배달 도착지에 관한 정보, 배달자의 현재 위치 정보, 배달자 및/또는 배달요청자의 전화 번호를 포함하는 전화 번호 정보 등을 포함할 수 있으며, 이에 한정되는 것은 아니다. 또한, 예를 들어, 배달 출발지에 관한 정보 및 배달 도착지에 관한 정보는 위치에 관한 정보뿐만 아니라, 해당 위치의 촬영한 주변 영상, 사진 등 위치와 관련된 정보를 모두 포함할 수 있다.
네트워크(1)의 일 예에는 3GPP(3rd Generation Partnership Project) 네트워크, LTE(Long Term Evolution) 네트워크, 5G 네트워크, WIMAX(World Interoperability for Microwave Access) 네트워크, 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), 블루투스(Bluetooth) 네트워크, 위성 방송 네트워크, 아날로그 방송 네트워크, DMB(Digital Multimedia Broadcasting) 네트워크 등이 포함되나 이에 한정되지는 않는다.
사용자 단말(100)의 일 예에는 PCS(Personal Communication System), GSM(Global System for Mobile communication), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(WCode Division Multiple Access), Wibro(Wireless Broadband Internet) 단말, 스마트폰(Smartphone), 스마트패드(SmartPad), 태블릿 PC, 노트북, 웨어러블 디바이스, 디지털 사이니지(Digital Signage) 등과 같은 모든 종류의 입출력 가능한 유무선 통신 장치를 포함할 수 있으며, 이에 한정되는 것은 아니다.
또한, 사용자 단말(100)은 배달을 대행하는 배달자의 단말, 배달을 요청하는 배달 요청자의 단말, 관리자의 단말 등을 포함할 수 있으나, 이하에서는 설명의 편의상 사용자 단말(100)은 배달을 대행하는 배달자의 단말로 통일하여 설명하도록 한다.
사용자 단말(100)은 예를 들어, 사용자 단말(100)을 통해 촬영한 주변 영상을 기초로 사용자 단말(100)의 위치 정보를 산출할 수 있으며, 상기 위치 정보를 기초로 목적지까지의 경로를 생성할 수 있다. 또한, 사용자 단말(100)은 촬영한 주변 영상을 기초로 증강현실 기반의 3D 객체로 표현된 경로를 합성하여 사용자에게 제공할 수 있다. 또한, 사용자 단말(100)은 촬영한 주변 영상을 기초로 지도를 업데이트하여 지도의 신뢰도를 보장할 수 있다.
일 실시예에 따른 사용자 단말(100)은 사용자가 사용자 단말(100)을 통해 촬영한 주변 영상을 서버(200)로 송신하는 경우 상기 영상에 가중치를 부여하고, 상기 가중치를 기초로 보상 점수를 사용자에게 제공할 수 있다. 예를 들어, 보상 점수는 기타 상품들을 구매하는 포인트 또는 마일리지 형태일 수 있으며, 현금과 같이 사용할 수 있는 형태의 적립금일 수 있다. 다만, 이에 한정되는 것은 아니다.
또한, 사용자 단말(100)은 사용자의 위치 및 목적지와의 위치에 따라서 표시되는 영상을 제어할 수 있다. 즉, 사용자 단말(100)은 사용자의 위치와 목적지 간의 위치의 거리, 실내/외 여부 등과 같은 기준에 기초하여 2D 지도 정보에 기초하여 2D 경로 정보를 출력하거나 증강현실 기반의 VPS 지도 정보에 기초하여 3D 경로 정보를 출력하는 것일 수 있다.
서버(200)는 사용자 단말(100)로부터 증강현실(AR) 기반의 VPS 지도 정보 및 2D 지도 정보의 정보 요청을 수신할 수 있다. 예를 들어, 서버(200)는 사용자 단말(100)로부터 촬영한 주변 영상, 경로, 배달자의 현재 위치 등을 포함하는 정보를 수집하는 서버 또는 장치일 수 있으며, 사용자 단말(100)과 동일한 서버 또는 장치일 수 있으나 이에 한정되는 것은 아니다.
도 2는 일 실시예에 따른 사용자 단말(100)의 구성을 나타낸 블록도이다.
도 2를 참조하면, 일 실시예에 따른 사용자 단말(100)은 카메라(110), 통신부(120), 디스플레이(130), 데이터베이스(140), 제어부(150) 및 센서부(160)를 포함할 수 있다.
카메라(110)는 예를 들어, 사용자 단말(100)의 전면 및/또는 후면에 마련되어 사용자 단말(100)의 전방 및/또는 후방의 영상을 획득할 수 있다. 즉, 카메라(110)는 사용자 단말(100)의 주변 영상을 촬영하여 획득할 수 있다. 카메라(110)는 종래에 공지된 유형의 카메라가 적용될 수 있으며, 다양한 형태의 이미지 센서 등이 적용되는 등 형태와 유형에 한정되지 않는다.
한편, 카메라(110)가 촬영한 주변 영상은 예를 들어, 사용자 단말(100)의 전방 및/또는 후방에 대한 영상 정보뿐만 아니라, 이미지 정보를 포함하는 것일 수 있다.
통신부(120)는 네트워크(1)를 통해 서버(200)와 통신을 수행할 수 있으며, 서버(200)로부터 VPS 지도 정보, 2D 지도 정보, 배달 정보 등을 수신하거나 카메라(110)가 촬영한 주변 영상을 서버(200)로 송신할 수 있다. 통신부(120)는 기 공지된 유형의 무선 통신 모듈로 구성될 수 있다.
디스플레이(130)는 사용자 단말(100)의 전면 및/또는 후면에 마련되어, 카메라(110)가 촬영한 주변 영상을 표시할 수 있으며, 카메라(110)가 촬영한 주변 영상에 증강 현실 3D 객체 또는 영상을 중첩하여 표시할 수 있다. 이를 위해 디스플레이(130)는 기 공지된 유형의 디스플레이 모듈로 마련될 수 있다. 또한, 디스플레이(130)는 예를 들어, 사용자의 입력을 수신할 수 있는 입력 장치와 일체로 마련되어 사용자의 조작을 입력하는 입력 장치로도 사용될 수 있다.
즉, 디스플레이(130)는 사용자의 입력(예를 들면 조작)에 기초하여 제어부(150)로 사용자 입력을 전달하는 장치일 수 있으며, 이에 한정되는 것은 아니다.
한편, 일 실시예에 다른 디스플레이(130)는 CRT(Cathode Ray tube), FPD(Flat Panel Display), LCD(Liquid Crystal Display), PDP(Plasma Display Panel), LED(Light emitting diode) 및 OLED(Organic Light Emitting Diode)방식을 포함할 수 있으며, 이에 한정되는 것은 아니다. 따라서, 종래에 알려져 있거나 향후 개발될 디스플레이 형태 또는 유형이 적용될 수 있다.
데이터베이스(140)는 카메라(110)가 촬영한 주변 영상 정보, 배달 정보, 2D 지도 정보 및 증강현실 기반의 VPS 지도 정보를 저장할 수 있다. 예를 들어, 데이터베이스(140)는 통신부(120)가 서버(200)로부터 배달 정보, 2D 지도 정보 및 증강현실 기반의 VPS 지도 정보 등을 포함하는 수신한 정보를 저장하는 것일 수 있다. 보다 구체적으로, 데이터베이스(140)는 서버(200)로부터 수신된 정보를 기초로 데이터베이스(140)에 기저장된 정보를 갱신하거나 업데이트하는 것일 수 있다.
다른 실시예로, 데이터베이스(140)는 서버(200)와 동일한 장치 또는 서버일 수 있으나 이에 한정되는 것은 아니다.
증강현실 기반의 VPS 지도 정보는 예를 들어, 광범위한 실내외 공간에 대한 3차원 공간 지도에 대한 정보를 포함할 수 있다. 보다 구체적으로, VPS 지도 정보는 파노라마 지오메트리 기반으로 생성된 3D 공간 지도이거나, 인공지능 학습 모델을 통하여 영상 데이터를 입력으로 공간 지도 생성 모델을 학습한 후 촬영한 주변 영상을 입력으로 3D 공간 지도를 생성하는 등 종래에 공지된 기술로 기 생성된 3D 지도 정보일 수 있으나 이에 한정되는 것은 아니다. VPS 지도 정보는 향후 개발될 공간 지도 생성 방식을 통해서 생성된 정보일 수 있다.
제어부(150)는 통신부(120)가 서버(200)로부터 수신한 배달 정보 및 데이터베이스(140)에 저장된 2D 지도 정보를 기초로 2D 경로 정보를 생성할 수 있다. 상기 2D 경로 정보는 예를 들어, 사용자의 위치로부터 배달 정보에 포함된 목적지에 관한 정보까지의 2D 경로에 관한 정보 및 해당 경로 주변의 지도 정보를 포함하는 것일 수 있다. 다만, 이에 한정되는 것은 아니다.
목적지는 예를 들어, 배달자가 배달하는 물품을 픽업해야 하는 장소뿐만 아니라, 배달 최종 장조를 포함할 수 있으며, 이에 한정되는 것은 아니다.
또한, 제어부(150)는 통신부(120)가 서버(200)로부터 수신한 배달 정보 및 데이터베이스(140)에 저장된 VPS 지도 정보를 기초로 3D 경로 정보를 생성할 수 있다. 상기 3D 경로 정보는 예를 들어, 사용자의 위치로부터 배달 정보에 포함된 목적지에 관한 정보까지의 증강현실 3D 객체로 표현된 3D 경로에 관한 정보 및 해당 경로 주변의 VPS 지도 정보를 포함하는 것일 수 있다.
보다 구체적으로, 사용자가 배달 상품을 픽업하기 위한 배달 출발지와 배달 완료하기 위한 배달 도착지는 예를 들어, 실외보다는 실내인 경우가 많다. 실내 공간 즉, 건물 내부 등과 같은 장소는 예를 들어, 건물 밀집 구역이거나 상점 밀집 구역인 경우에 2D 지도 상의 목적지 표시는 오차 등으로 인해 사용자로 하여금 목적지를 탐색하는데 어려움이 존재한다. 제어부(150)는 이러한 문제점을 해결하기 위한 구성으로서, VPS 지도 정보 및 배달 정보를 기초로 증강현실 기반의 3D 객체로 표현된 3D 경로 정보를 생성하고, 상기 3D 경로 정보를 표시하도록 디스플레이(130)를 제어할 수 있다.
즉, 제어부(150)는 3D 경로 정보를 VPS 지도 정보 상에 표시하도록 디스플레이(130)를 제어함으로써, 사용자가 보다 정확한 목적지를 탐색하도록 도움을 제공할 수 있다.
한편, 본원의 일 실시예에 따른 제어부(150)는 VPS 지도 정보 및 카메라(110)로부터 촬영한 주변 영상을 기초로 사용자의 위치 정보를 식별할 수 있다. 즉, 기존에 데이터베이스(140)에 저장된 VPS 지도 정보에 카메라(110)로부터 촬영한 주변 영상과 유사한 영상 또는 이미지 정보를 대조함으로써, 상기 VPS 지도 정보에 저장된 이미지와 연관된 위치 정보를 산출함으로써, 사용자 단말(100)의 위치 정보를 식별하는 것일 수 있다. 다만, 이에 한정되는 것은 아니다
다른 실시예로, 데이터베이스(140)는 예를 들어, 영상 또는 이미지와, 상기 영상 또는 이미지와 연관된 위치 정보를 포함하는 메타데이터를 기초로 생성된 데이터세트를 입력으로 학습된 VPS 위치 파악 모델을 저장할 수 있다. 이에 제어부(150)는 상기 VPS 위치 파악 모델에 카메라(110)로부터 촬영한 주변 영상을 입력으로, 상기 카메라(110)로부터 촬영한 주변 영상과 연관된 위치를 출력할 수 있다.
한편, 다른 실시예로, 사용자 단말(100)은 학습처리부를 더 포함할 수 있다. 학습처리부는 VPS 위치 파악 모델을 학습시키기 위한 딥러닝(Deep-Learning) 알고리즘을 저장할 수 있다. 다만, 이에 한정되는 것은 아니고 비지도 학습, 강화 학습 및 지도학습을 포함하여 종래에 공지된 머신러닝 알고리즘 도는 향후 개발되는 머신러닝 알고리즘이 적용될 수 있다.
학습처리부는 예를 들어, 카메라(110)가 촬영한 주변 영상 및 사용자 단말(100)의 위치 정보를 연관시키는 메타 데이터를 생성할 수 있으며, 상기 메타 데이터를 기초로 VPS 위치 파악 모델을 학습시킬 수 있다. 여기에서 사용자 단말(100)의 위치 정보는 예를 들어, 센서부(160)에 포함된 GPS 센서를 기초로 생성된 사용자 단말(100)의 위치 정보 또는 제어부(150)가 VPS 지도 정보 및 카메라(110)가 촬영한 주변 영상을 기초로 생성된 사용자 단말(100)의 위치 정보일 수 있으나, 이에 한정되는 것은 아니다.
이에 따라, 사용자 단말(100)은 예를 들어, 카메라(110)로부터 촬영한 주변 영상 및 사용자 단말(100)의 위치 정보를 기초로 대량의 메타데이터를 생성하고, 상기 메타데이터를 인공지능 알고리즘에 입력하여VPS 위치 파악 모델을 학습시킴으로써, VPS 위치 파악 모델의 신뢰도 및 안정도를 향상시키는 것일 수 있다.
한편, 학습처리부는, 상술한 방식으로 학습된 VPS 위치 파악 모델을 검증하기 위하여, 장소에 관한 영상 또는 이미지 데이터를 상기 학습된 VPS 위치 파악 모델에 입력하고, 상기 영상 또는 이미지 데이터에 해당하는 위치 정보를 출력하여 디스플레이(130)에 표시할 수 있다. 이 경우 사용자가 디스플레이(130)에 출력된 영상 또는 이미지 데이터와 이와 연관된 위치 정보가 맞는지 틀린지를 판단해줌으로써, 학습처리부는 신뢰도 및 안정도가 보다 향상된 메타 데이터를 생성하는 것일 수 있다. 또한, 신뢰도 및 안정도가 높은 향상된 메타 데이터를 입력하여 VPS 위치 파악 모델의 신뢰도 및 안정도를 향상시킬 수 있다. 다만, 이에 한정되는 것은 아니다.
한편, 일 실시예에 따른 제어부(150)는 배달 정보 및 2D 지도 정보를 기초로 사용자가 목적지까지 걸리는 시간, 이동거리 및 혼잡도 중 적어도 하나가 최소가 되도록 경로 정보를 생성하는 것일 수 있다. 보다 구체적으로, 제어부(150)는 사용자가 사용자 단말(100)의 디스플레이(130)를 통해 각 항목(시간, 이동거리, 혼잡도 등)에 대한 가중치를 설정하는 경우, 각 항목의 가중치에 기초하여 경로 정보를 생성하는 것일 수 있다.
예를 들어, 제어부(150)는 사용자가 디스플레이(130)를 통해 시간에 대한 가중치를 최대로 하는 경우에 있어서, 이동거리가 늘어나더라도 도착 예상 시간이 최소가 되는 경로 정보를 생성할 수 있다. 다만, 이에 한정되는 것은 아니다.
한편, 일 실시예에 따른 제어부(150)는 VPS 지도 정보 및 카메라가 촬영한 주변 영상을 기초로 식별한 사용자의 위치 정보(예를 들어, VPS 위치 파악 모델을 기초로 생성된 위치 정보일 수 있음) 및 배달 정보를 기초로 실시간으로 경로 정보를 생성할 수 있다. 이는 사용자가 이동 중에 있는 경우 카메라(110)가 촬영한 주변 영상 및 VPS 지도 정보를 기초로 이동 중인 사용자 단말(100)의 위치를 파악함으로써, 사용자가 실내외에 상관없이 목적지까지의 경로 정보를 갱신하기 위한 것일 수 있다. 다만, 이에 한정되는 것은 아니다.
한편, 제어부(150)는 예를 들어, 사용자의 위치와 목적지(예를 들어, 배달 출발지 또는 도착지 등)간의 거리가 정해진 거리에 따라서, 경로 정보를 다르게 표시하도록 디스플레이(130)를 제어할 수 있다.
보다 구체적으로, 제어부(150)는 사용자의 위치와 목적지간의 거리가 정해진 거리보다 작은 경우, 카메라(110)가 촬영한 주변 영상에 증강 현실 기반 3D 경로 정보를 표시하도록 디스플레이(130)를 제어할 수 있다.
또한, 제어부(150)는 사용자의 위치와 목적지간의 거리가 정해진 거리보다 큰 경우, 2D 지도 정보에 2D 경로 정보를 표시하도록 디스플레이(130)를 제어할 수 있다.
제어부(150)가 사용자의 위치와 목적지간의 거리에 따라서 2D 경로 정보를 표시하거나 3D경로 정보를 표시하도록 디스플레이(130)를 제어하는 것은 예를 들어, 목적지(예를 들어, 배달 출발지 또는 도착지)는 실외 보다는 실내인 경우가 많으므로, 실내의 경우 사용자의 위치 오차 및 2D 지도의 속성상 목적지를 탐색하는데 어려움이 존재하므로, 이를 해결하기 위한 것일 수 있다.
다시 말하면, 제어부(150)는 사용자의 위치와 목적지간의 거리가 정해진 거리보다 작은 경우 사용자가 목적지를 찾아야 하는 것이 임박한 경우이므로, 목적지를 탐색하기에 보다 용이하도록 카메라(110)로부터 촬영한 주변 영상에 증강현실 기반의 3D 객체로 표현된 3D 경로 정보 및 목적지를 합성하여 디스플레이(130)에 표시되도록 제어할 수 있다.
이와 반대로, 제어부(150)는 사용자의 위치와 목적지간의 거리가 정해진 거리보다 높은 경우, 올바른 경로를 찾는 것이 임박한 경우이므로, 경로를 탐색하기에 보다 용이하도록 2D 지도 정보에 2D 경로를 합성한 2D 경로 정보를 디스플레이(130)에 표시되도록 제어할 수 있다.
한편, 이 경우 정해진 거리는 예를 들어, 사용자가 디스플레이(130)를 통해 입력한 실제 거리(예를 들어, 10m, 20m 등)일 수 있으나 이에 한정되는 것은 아니다.
다른 실시예로, 정해진 거리는 예를 들어, 건물의 경계를, 길의 폭, 혼잡도, 사용자의 속도 등을 기초로 한 다른 기준으로 변경될 수 있다. 다시 말하면, 사용자의 위치가 건물의 경계를 들어가거나, 좁은 상권가를 지나는 경우에 있어서, 제어부(150)는 3D 경로를 카메라(110)가 촬영한 주변 영상에 합성하여 표시하도록 디스플레이(130)를 제어할 수 있다. 다만, 이에 한정되는 것은 아니다. 또 다른 실시예로, 사용자의 설정에 따라서, 제어부(150)는 상술한 정해진 거리 또는 다른 기준에 따라서, 2D경로 정보를 병렬적으로 표시하도록 디스플레이(130)를 제어할 수 있다.
다른 실시예로, 제어부(150)은, 사용자의 위치에 기초하여, 사용자 위치에 해당하는VPS 지도 정보가 없어 3D 경로 정보를 지원하지 못하는 경우 2D 지도 정보에 2D 경로를 표시하도록 디스플레이(130)를 제어할 수 있다. 다만, 이에 한정되는 것은 아니고, 제어부(150)는 네트워크의 이상 등을 포함하는 3D 경로 정보를 제공할 수 없는 상황에 따라서, 2D 경로 정보를 표시하도록 디스플레이(130)를 제어할 수 있다.
한편, 일 실시예에 따른 제어부(150)는 센서부(160)로부터 생성된 사용자 위치 정보를 기초로, 사용자의 위치 정보를 보다 빠르고 정확하게 보정할 수 있다.
보다 구체적으로, 제어부(150)는, 카메라(110)로부터 촬영한 주변 영상 및 VPS 지도 정보를 기초로 사용자의 위치 정보를 생성하게 되는데, 이 경우, 카메라(110)로부터 촬영한 주변 영상과 VPS 지도 정보를 기초로 사용자의 위치 정보를 생성하는 경우, 데이터의 처리 양이 보다 많아 질 수 있다. 이에 따라서, 제어부(150)는 센서부(160)로부터 측정된 사용자의 위치 정보를 기초로, 카메라(110)로부터 촬영한 주변 영상과 대조할 VPS 지도 정보 후보군을 추출할 수 있다. 이 경우, 제어부(150)는 카메라(110)로부터 촬영한 주변 영상과 VPS 지도 정보 후보군을 대조함으로써 보다 빠르고 정확하게 사용자의 위치 정보를 생성하는 것일 수 있다. 다만, 이에 한정되는 것은 아니다.
데이터베이스(140)는 카메라(110)가 촬영한 주변 영상을 기초로 VPS 지도 정보를 업데이트할 수 있다. 즉, 데이터베이스(140)는 카메라(110)가 촬영한 주변 영상을 기초로 기저장된 VPS 지도 정보를 업데이트함으로써, 변경된 3D 공간 지도에 대한 업데이트를 통해 지형의 변경이 빈번한 골목, 실내 등에 대한 정보를 갱신하는 것일 수 있다. 다만, 이에 한정되는 것은 아니다.
다른 실시예로, 사용자 단말(100)은 카메라(110)가 촬영한 주변 영상을 통신부(120)를 통해 서버(200)로 송신할 수 있으며, 서버(200)는 수신한 카메라(110)가 촬영한 주변 영상을 기초로 VPS 지도를 업데이트하는 것일 수 있다. 또한 다른 실시예로, 서버(200)의 관리자는 수신한 영상을 기초로 VPS 지도를 업데이트 하는 것에 대한 검수를 진행한 후에 VPS 지도 정보를 업데이트하는 것일 수 있다.
한편, 제어부(150)는 예를 들어, 보상 점수를 제공하기 위하여 카메라(110)가 촬영한 주변 영상을 기초로 상기 영상에 가중치를 부여할 수 있다. 상기 가중치는 예를 들어, 사용자가 제공하는 영상의 질을 평가하는 기준 값일 수 있으나 이에 한정되는 것은 아니다.
보다 구체적으로, 제어부(150)는 영상의 질이 좋지 않은 영상 또는 사진 데이터를 기초로 VPS 맵을 업데이트하는 것을 방지하기 위하여, 카메라(110)가 촬영한 주변 영상을 기초로 상기 영상의 해상도, 용량 및 길이 중 적어도 한가지에 기초하여 가중치를 부여할 수 있다. 예를 들어, 제어부(150)는 해상도, 용량 및 길이가 크거나 길수록 가중치를 높게 부여할 수 있다.
이 경우 제어부(150)는 항목(예를 들어, 해상도, 용량, 길이 등) 마다의 가중치의 합산한 값을 기초로 정해진 기준보다 높은 경우에 보상 점수를 제공할 수 있다.
다시 말하면, 제어부(150)는 영상 평가 항목(예를 들어, 해상도, 용량, 길이 등)에 기초하여 카메라(110)가 촬영한 주변 영상에 각 항목 마다의 가중치를 부여할 수 있으며, 부여된 가중치의 합이 정해진 기준보다 높은 경우에 보상 점수를 제공할 수 있다.
또한, 제어부(150)는 부여된 가중치의 합이 정해진 기준보다 높아질수록 보상 점수를 높게 제공할 수 있다. 다만, 이에 한정되는 것은 아니다.
한편, 정해진 기준은 예를 들어, VPS 맵을 업데이트하기에 충분한 질을 갖춘 영상 또는 이미지 데이터에 설정되는 가중치일 수 있다.
센서부(160)는 예를 들어, GPS 등을 포함하는 위치 감지 센서를 포함할 수 있다. 즉, 센서부(160)는 사용자 단말(100)의 위치 정보를 생성할 수 있으며, 사용자 단말(100)의 방향, 기울기 등을 감지할 수 있는 기울기 센서, 관성 센서 등을 더 포함할 수 있다. 이에 센서부(160)은 사용자 단말(100)의 카메라(110)가 촬영하는 방향 및 기울기를 감지하고 촬영 방향 및 기울기 정보를 생성할 수 있다.
한편, 일 실시예에 따른 학습처리부는, 센서부(160)에 포함된 센서들을 기초로, 사용자 단말(100)의 카메라(110)의 촬영 방향을 기초하여 영상 또는 이미지 데이터에 연관된 위치 정보를 포함하는 메타 데이터를 생성하고, 해당 메타 데이터를 인공지능 알고리즘에 입력함으로써, VPS 위치 파악 모델을 학습시켜 신뢰도 및 안정도를 향상시키는 것일 수 있다.
보다 구체적으로, 바닥을 향하여 촬영된 영상 또는 이미지 데이터는 예를 들어, 영상 또는 이미지만으로는 VPS 지도 정보를 기초로 위치를 파악하는 것에 한계가 있을 수 있다. 이에 따라서, 학습처리부는 예를 들어, 센서부(160)로부터 생성된 카메라(110)의 촬영 방향 정보 및 영상 또는 이미지 데이터를 기초로 사용자 단말(100)의 위치 파악에 어려운 바닥 등을 포함하는 영상 또는 이미지 데이터를 제외하고 VPS 위치 파악 모델을 학습시키는 것일 수 있다. 다만, 이에 한정되는 것은 아니다.
도 3은 일 실시예에 따른 사용자 단말(100)이 목적지를 촬영하는 경우를 설명하기 위한 도면이다.
도 3에 나타낸 바와 같이, 일 실시예에 따른 사용자 단말(100)의 디스플레이(130)는 상태 표시 영역(31), 배달 정보 영역(32), 제1경로 정보 출력 영역(33) 및 제2경로 정보 출력 영역(35)를 포함할 수 있다.
상태 표시 영역(31)에는 예를 들어, 시간, 무선 신호의 강도(세기), 베터리 잔량 정보를 포함할 수 있으며, 이에 한정되는 것은 아니다.
또한, 배달 정보 영역(32)는 예를 들어, 배달의 종류(픽업, 배달 등), 배달의 종류가 픽업인 경우 배달 물품의 준비 여부, 위치 정보 등을 제공하고, 배달 출발지의 전화 연결, VPS 맵 업데이트를 위하여 촬영을 연결하는 인터페이스 등을 제공할 수 있다.
제1경로 정보 출력 영역(33)은 예를 들어, 제어부(150)가 출력하는 2D 경로 정보 또는 3D 경로 정보가 출력되도록 디스플레이(130)를 제어 수 있으며, 목적지까지 남은 거리를 포함할 수 있다.
또한, 제1경로 정보 출력 영역(33)은 예를 들어, 제어부(150)가 3D 경로 정보를 출력하도록 디스플레이(130)를 제어하는 경우, 증강현실로 구현된 3D 가상 객체로써, 3D 경로 정보(36)를 표시하도록 할 수 있다. 이 경우, 제2경로 정보 출력 영역(35)은 제어부(150)가 2D 경로 정보를 출력하도록 디스플레이(130)를 제어할 수 있다.
여기서 3D 경로 정보(36)은 예를 들어, 제어부(150)가 생성한 카메라(110)가 촬영한 주변 영상 및 VPS 지도 정보를 기초로 생성한 것일 수 있으며, 이에 한정되는 것은 아니다.
한편, 제1경로 정보 출력 영역(33)은 제어부(150)가 예를 들어, 카메라(110)로부터 촬영한 주변 영상, VPS 지도 정보 및 배달 정보를 기초로, 상기 카메라(110)로부터 촬영한 주변 영상에 목적지의 위치를 표현한 3D 가상 객체(34)를 표시하도록 디스플레이(130)를 제어할 수 있다.
3D 가상 객체(34)는 예를 들어, 배달 정보에 포함된 정보일 수 있다. 다시 말하면, 배달 출발지의 관리자(또는 사용자)는 배달 출발지의 장소에 대한 영상 또는 이미지 정보를 기초로, 픽업 위치를 표시하고 서버(200)로 송신함으로써, 제어부(150)는 서버(200)로부터 수신한 배달 정보를 기초로 제1경로 정보 출력 영역(33)에 3D 가상 객체(34)를 표시하도록 디스플레이를 제어할 수 있다.
도 4는 일 실시예에 따른 사용자 단말(100)이 목적지까지의 경로 정보를 표시하는 경우를 설명하기 위한 도면이다.
도 4에 나타난 바와 같이, 일 실시예에 따른 사용자 단말(100)의 디스플레이(130)는 상태 표시 영역(41), 목적지 가이드 영역(42), 경로 정보 출력 영역(43)를 포함할 수 있다.
목적지 가이드 영역(42)는 예를 들어, 제어부(150)가 사용자 단말(100)의 경로의 속성(TBT모드), 남은 거리, 목적지까지 걸리는 예상 시간 등을 표시하도록 디스플레이(130)를 제어하는 것일 수 있다.
여기서 2D 경로 정보(44)는 예를 들어, 제어부(150)가 데이터베이스(140)에 저장된 2D 지도 정보 및 배달 정보를 기초로 생성한 것일 수 있으며, 이에 한정되는 것은 아니다.
도 5은 일 실시예에 따른 사용자 단말(100)이 목적지를 촬영하는 경우를 설명하기 위한 도면이다.
도 5에 나타낸 바와 같이, 일 실시예에 따른 사용자 단말(100)의 디스플레이(130)는 상태 표시 영역(51), 배달 정보 영역(52), 제1경로 정보 출력 영역(53) 및 제2경로 정보 출력 영역(55)를 포함할 수 있다.
상태 표시 영역(51)에는 예를 들어, 시간, 무선 신호의 강도(세기), 베터리 잔량 정보를 포함할 수 있으며, 이에 한정되는 것은 아니다.
또한, 배달 정보 영역(52)는 예를 들어, 배달의 종류(픽업, 배달 등), 배달의 종류가 픽업인 경우 배달 물품의 준비 여부, 위치 정보를 제공하고, 배달 도착지의 전화 연결, VPS 맵 업데이트를 위하여 촬영을 연결하는 인터페이스 등을 제공할 수 있다.
제1경로 정보 출력 영역(53)은 예를 들어, 제어부(150)가 출력하는 2D 경로 정보 또는 3D 경로 정보가 출력되도록 디스플레이(130)를 제어 수 있으며, 목적지까지 남은 거리를 포함할 수 있다.
또한, 제1경로 정보 출력 영역(53)은 예를 들어, 제어부(150)가 3D 경로 정보를 출력하도록 디스플레이(130)를 제어하는 경우, 증강현실로 구현된 3D 가상 객체로써, 3D 경로 정보를 표시하도록 할 수 있다. 이 경우, 제2경로 정보 출력 영역(55)은 제어부(150)가 2D 경로 정보를 출력하도록 디스플레이(130)를 제어할 수 있다.
여기서 3D 경로 정보는 예를 들어, 제어부(150)가 생성한 카메라(110)가 촬영한 주변 영상 및 VPS 지도 정보를 기초로 생성한 것일 수 있으며, 이에 한정되는 것은 아니다.
한편, 제1경로 정보 출력 영역(53)은 제어부(150)가 예를 들어, 카메라(110)로부터 촬영한 주변 영상, VPS 지도 정보 및 배달 정보를 기초로, 상기 카메라(110)로부터 촬영한 주변 영상에 목적지의 위치를 표현한 3D 가상 객체(54)를 표시하도록 디스플레이(130)를 제어할 수 있다.
3D 가상 객체(54)는 예를 들어, 배달 정보에 포함된 정보일 수 있다. 다시 말하면, 배달 도착지의 관리자(또는 배달 요청자)는 배달 도착지의 장소에 대한 영상 또는 이미지 정보를 기초로, 배달 위치를 표시하고 서버(200)로 송신함으로써, 제어부(150)는 서버(200)로부터 수신한 배달 정보를 기초로 제1경로 정보 출력 영역(33)에 3D 가상 객체(34)를 표시하도록 디스플레이를 제어할 수 있다.
도 6은 일 실시예에 따른 사용자 단말(100)이 영상을 촬영하여 VPS 지도를 업데이트하는 것을 설명하기 위한 도면이다.
도 6에 도시된 바와 같이, 일 실시예에 따른 사용자 단말(100)의 디스플레이(130)는 위치 표시 영역(61), 영상 표시 영역(62)를 포함할 수 있다.
위치 표시 영역(61)은 예를 들어, 센서부(160)가 센싱한 사용자 위치 정보일 수 있으며, 다른 실시예로 제어부(150)가 VPS 지도 정보 및 카메라(110)가 촬영한 주변 영상을 기초로 생성한 사용자 위치 정보일 수 있다. 다만, 이에 한정되는 것은 아니다.
즉, 제어부(150)는 사용자는 위치 표시 영역(61)에 표시되는 위치와 연관된 영상 또는 이미지 정보를 영상 표시 영역(62)에 표시되도록 디스플레이(130)를 제어할 수 있다. 이 경우 영상 표시 영역(62)에 표시되는 영상 또는 이미지는 예를 들어, 카메라(110)가 촬영한 주변 영상일 수 있다.
사용자는 도 6에 도시된 바와 같이 사용자의 위치 및 상기 사용자의 위치와 연관된 영상 또는 이미지 데이터를 통해 VPS맵을 업데이트하는 것일 수 있으며, 이에 따라 사용자는 상술한 바와 같이 VPS 위치 판별 모델을 학습시키기 위한 메타 데이터를 생성하거나, 보상 점수를 제공받을 수 있다. 다만, 이에 한정되는 것은 아니다.
이하에서는 상기에 자세히 설명된 내용을 기반으로, 본원의 동작 흐름을 간단히 살펴보기로 한다.
도 7은 일 실시예에 따른 사용자 단말 제어 방법 중 목적지까지의 경로를 안내하는 실시예를 설명하기 위한 순서도이고, 도 8은 일 실시예에 따른 사용자 단말 제어 방법 중 촬영한 주변 영상을 기반으로 사용자 참여 VPS 지도를 업데이트하는 실시예를 설명하기 위한 순서도이다.
도 7 및 도 8에 도시된 사용자 단말 제어 방법은 앞서 설명된 사용자 단말(100)에 의하여 수행될 수 있다. 따라서, 이하 생략된 내용이라고 하더라도 사용자 단말(100)에 대하여 설명된 내용은 사용자 단말 제어 방법에 대한 설명에도 동일하게 적용될 수 있다.
도 7을 참조하면, 사용자 단말(100)은 VPS 지도 정보 및 2D 지도 정보를 저장할 수 있다(310).
사용자 단말(100)은 서버(200)로부터 배달 정보를 수신할 수 있다(320).
사용자 단말(100)은 센서부(160)로부터 GPS 정보, VPS 지도 정보 및 카메라(110)로부터 촬영된 영상을 기초로 사용자의 위치를 식별할 수 있다(330).
사용자 단말(100)은 사용자 위치와 목적지간의 거리를 판단할 수 있다(340).
사용자 위치와 목적지간의 거리가 정해진 거리보다 낮은 경우, 사용자 단말(100)은 카메라(110)로부터 촬영한 주변 영상에 증강현실 기반의 3D 객체로 표현된 3D 경로 정보를 표시하도록 디스플레이할 수 있다(350).
사용자 위치와 목적지간의 거리가 정해진 거리보다 높은 경우, 사용자 단말(100)은 2D 지도 정보에 경로를 표시하도록 디스플레이할 수 있다(360).
도 8을 참조하면, 사용자 단말(100)은 카메라(110)로 영상을 촬영할 수 있다(410).
사용자 단말(100)은 상기 영상에 가중치를 부여할 수 있다(420).
사용자 단말(100)은 가중치에 기초하여 보상 점수를 제공할 수 있다(430).
사용자 단말(100)은 상기 영상을 기초로 VPS 맵을 업데이트할 수 있다(440).
한편, 개시된 실시예들은 컴퓨터에 의해 실행 가능한 명령어를 저장하는 기록매체의 형태로 구현될 수 있다. 명령어는 프로그램 코드의 형태로 저장될 수 있으며, 프로세서에 의해 실행되었을 때, 프로그램 모듈을 생성하여 개시된 실시예들의 동작을 수행할 수 있다. 기록매체는 컴퓨터로 읽을 수 있는 기록매체로 구현될 수 있다.
컴퓨터가 읽을 수 있는 기록매체로는 컴퓨터에 의하여 해독될 수 있는 명령어가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(read only memory), RAM(random access memory), 자기 테이프, 자기 디스크, 플래쉬 메모리, 광 데이터 저장장치 등이 있을 수 있다.
이상에서와 같이 첨부된 도면을 참조하여 개시된 실시예들을 설명하였다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고도, 개시된 실시예들과 다른 형태로 본 발명이 실시될 수 있음을 이해할 것이다. 개시된 실시예들은 예시적인 것이며, 한정적으로 해석되어서는 안 된다.
100: 사용자 단말
110: 카메라 120: 통신부
130: 디스플레이 140: 데이터베이스
150: 제어부 160: 센서부
200: 서버
1000: 증강현실(AR) 모빌리티 시스템

Claims (19)

  1. 주변 영상을 촬영하는 카메라;
    디스플레이;
    서버와 통신하는 통신부;
    증강현실 기반의 VPS(Visual Positioning System) 지도 정보 및 2D(2 Dimension) 지도 정보를 저장하는 데이터베이스; 및
    상기 서버로부터 수신된 배달 정보 및 상기 2D 지도 정보를 기초로 2D 경로 정보를 생성하고, 상기 배달 정보 및 상기 VPS 지도 정보를 기초로 증강현실 기반 3D 경로 정보를 생성하고,
    상기 배달 정보에 포함된 목적지와 사용자간의 거리에 기초하여 상기 2D 경로 정보 또는 3D 경로 정보를 표시하도록 상기 디스플레이를 제어하는 제어부;를 포함하는 사용자 단말.
  2. 제1항에 있어서,
    상기 제어부는,
    상기 목적지와 사용자간의 거리가 정해진 거리보다 작은 경우, 3D 경로 정보를 표시하도록 상기 디스플레이를 제어하는 사용자 단말.
  3. 제2항에 있어서,
    상기 제어부는,
    상기 VPS 지도 정보 및 상기 주변 영상을 기초로 상기 사용자의 위치 정보를 식별하는 사용자 단말.
  4. 제3항에 있어서,
    상기 제어부는,
    상기 주변 영상에 증강 현실 3D 객체로 표현된 목적지를 합성하고, 상기 합성된 영상을 표시하도록 상기 디스플레이를 제어하는 사용자 단말.
  5. 제3항에 있어서,
    상기 데이터베이스는,
    상기 주변 영상을 기초로 상기 VPS 지도 정보를 업데이트하는 사용자 단말.
  6. 제5항에 있어서,
    상기 제어부는,
    상기 주변 영상의 특성에 기초하여 상기 주변 영상에 가중치를 부여하고, 상기 가중치가 정해진 기준보다 높은 경우에 보상 점수를 제공하는 사용자 단말.
  7. 제6항에 있어서,
    상기 보상 점수는,
    상기 주변 영상의 해상도, 용량 및 길이 중 적어도 한가지에 기초하여 가중치가 부여되고, 상기 각 가중치의 합의 크기에 따라서 달라지는 사용자 단말.
  8. 제1항에 있어서,
    상기 제어부는,
    시간, 이동거리 및 혼잡도 중 적어도 하나가 최소가 되도록 경로 정보를 생성하는 사용자 단말.
  9. 제8항에 있어서,
    상기 제어부는,
    상기 사용자의 위치 정보 및 상기 배달 정보를 기초로 실시간 경로 정보를 생성하는 사용자 단말.
  10. 증강현실 기반의 VPS(Visual Positioning System) 지도 정보 및 2D(2 Dimension) 지도 정보를 저장하고;
    서버로부터 배달 정보를 수신하고;
    상기 배달 정보 및 상기 2D 지도 정보를 기초로 2D 경로 정보를 생성하고;
    상기 배달 정보 및 상기 VPS 지도 정보를 기초로 3D 경로 정보를 생성하고;
    상기 배달 정보에 포함된 목적지와 사용자간의 거리에 기초하여 2D 경로 정보 또는 3D 경로 정보를 표시하도록 디스플레이를 제어하는 것을 포함하는 사용자 단말 제어 방법
  11. 제10항에 있어서,
    상기 디스플레이를 제어하는 것은,
    상기 목적지와 사용자간의 거리가 정해진 거리보다 작은 경우, 3D 경로 정보를 표시하도록 상기 디스플레이를 제어하는 것인 사용자 단말 제어 방법.
  12. 제11항에 있어서,
    상기 사용자 단말 제어 방법은,
    카메라에 의해 주변 영상을 촬영하는 것; 및
    상기 VPS 지도 정보 및 상기 주변 영상을 기초로 상기 사용자의 위치 정보를 식별하는 것;을 더 포함하는 사용자 단말 제어 방법.
  13. 제12항에 있어서,
    상기 디스플레이를 제어하는 것은,
    상기 주변 영상에 증강 현실 3D 객체로 표현된 목적지를 합성하고, 상기 합성된 영상을 표시하도록 상기 디스플레이를 제어하는 사용자 단말 제어 방법.
  14. 제12항에 있어서,
    상기 지도 정보를 저장하는 것은,
    상기 주변 영상을 기초로 상기 VPS 지도 정보를 업데이트하는 사용자 단말 제어 방법.
  15. 제14항에 있어서,
    상기 사용자 단말 제어 방법은,
    상기 주변 영상의 특성에 기초하여 상기 주변 영상에 가중치를 부여하고, 상기 가중치가 정해진 기준보다 높은 경우에 보상 점수를 제공하는 것;을 더 포함하는 사용자 단말 제어 방법.
  16. 제15항에 있어서,
    상기 보상 점수는,
    상기 주변 영상의 해상도, 용량 및 길이 중 적어도 한가지에 기초하여 가중치가 부여되고, 상기 각 가중치의 합의 크기에 따라서 달라지는 사용자 단말 제어 방법.
  17. 제10항에 있어서,
    상기 경로 정보를 생성하는 것은,
    시간, 이동거리 및 혼잡도 중 적어도 하나가 최소가 되도록 경로 정보를 생성하는 것인 사용자 단말 제어 방법.
  18. 제17항에 있어서,
    상기 경로 정보를 생성하는 것은,
    상기 사용자의 위치 정보 및 상기 배달 정보를 기초로 실시간 경로 정보를 생성하는 것인 사용자 단말 제어 방법.
  19. 제10항의 사용자 단말 제어 방법을 실행시킬 수 있는 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록매체.
KR1020210072247A 2021-06-03 2021-06-03 사용자 단말 및 그 제어 방법 Pending KR20220163731A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020210072247A KR20220163731A (ko) 2021-06-03 2021-06-03 사용자 단말 및 그 제어 방법
US17/675,472 US20220390250A1 (en) 2021-06-03 2022-02-18 User Equipment and Control Method Thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210072247A KR20220163731A (ko) 2021-06-03 2021-06-03 사용자 단말 및 그 제어 방법

Publications (1)

Publication Number Publication Date
KR20220163731A true KR20220163731A (ko) 2022-12-12

Family

ID=84285900

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210072247A Pending KR20220163731A (ko) 2021-06-03 2021-06-03 사용자 단말 및 그 제어 방법

Country Status (2)

Country Link
US (1) US20220390250A1 (ko)
KR (1) KR20220163731A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240170743A (ko) * 2023-05-23 2024-12-04 주식회사 나비프라 Vps 통합 모바일 로봇 유니트, 모바일 로봇 시스템 및 vps 통합 모바일 로봇 유니트 제어 방법

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7830045B2 (ja) * 2021-07-30 2026-03-16 キヤノン株式会社 情報処理装置、移動体、情報処理装置の制御方法およびプログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012216152A (ja) * 2011-04-01 2012-11-08 Nikon Corp 撮影仲介装置および撮影仲介装置の制御プログラム
US9269011B1 (en) * 2013-02-11 2016-02-23 Amazon Technologies, Inc. Graphical refinement for points of interest
US10458801B2 (en) * 2014-05-06 2019-10-29 Uber Technologies, Inc. Systems and methods for travel planning that calls for at least one transportation vehicle unit
US10373377B1 (en) * 2016-10-26 2019-08-06 Amazon Technologies, Inc. Augmented reality assisted deliveries
CN115599879A (zh) * 2017-09-30 2023-01-13 北京嘀嘀无限科技发展有限公司（Cn） 用于站点显示的系统以及方法
KR102014261B1 (ko) * 2017-12-12 2019-08-26 엘지전자 주식회사 차량에 구비된 차량 제어 장치 및 차량의 제어방법
KR102627612B1 (ko) * 2019-02-19 2024-01-22 삼성전자주식회사 증강현실을 이용한 주변 정보 표시 방법 및 그 전자 장치
US10871377B1 (en) * 2019-08-08 2020-12-22 Phiar Technologies, Inc. Computer-vision based positioning for augmented reality navigation

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240170743A (ko) * 2023-05-23 2024-12-04 주식회사 나비프라 Vps 통합 모바일 로봇 유니트, 모바일 로봇 시스템 및 vps 통합 모바일 로봇 유니트 제어 방법

Also Published As

Publication number Publication date
US20220390250A1 (en) 2022-12-08

Similar Documents

Publication Publication Date Title
US12067784B2 (en) Surveillance information generation apparatus, imaging direction estimation apparatus, surveillance information generation method, imaging direction estimation method, and program
KR102321325B1 (ko) 증강 현실 디스플레이를 위한 방법, 포즈 정보를 결정하기 위한 방법, 및 장치
US11830249B2 (en) Augmented reality, computer vision, and digital ticketing systems
US10297084B2 (en) Identification of relative distance of objects in images
US9342927B2 (en) Augmented reality system for position identification
KR102540594B1 (ko) 단일 이미지로부터의 횡단 가능 공간 판정
US20150046299A1 (en) Inventory Assessment with Mobile Devices
US20090319178A1 (en) Overlay of information associated with points of interest of direction based data services
US20140300775A1 (en) Method and apparatus for determining camera location information and/or camera pose information according to a global coordinate system
US12249037B2 (en) Rendering depth-based three-dimensional model with integrated image frames
Anagnostopoulos et al. Gaze-Informed location-based services
US9788166B2 (en) Method, apparatus, and system for screening augmented reality content
EP4050305B1 (en) Visual positioning method and device
KR20160027735A (ko) 클라우드 포인트를 이용한 실내 지도 구축 장치 및 방법
TW201013158A (en) Mobile imaging device as navigator
US20220390250A1 (en) User Equipment and Control Method Thereof
US20260000976A1 (en) Estimating Pose for a Client Device Using a Pose Prior Model
US9188444B2 (en) 3D object positioning in street view
KR20200127107A (ko) 증강현실을 이용한 지역 상권 데이터 가시화 시스템
US20250067563A1 (en) Methods and Apparatus to Select and Present Level-Change Way Points for Indoor Navigation Systems
Ahn et al. An Indoor Location-Based AR Framework for Large-Scale Museum Exhibitions
Kasapakis et al. Determining Field of View in Outdoors Augmented Reality Applications

Legal Events

Date Code Title Description
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

P22-X000 Classification modified

St.27 status event code: A-2-2-P10-P22-nap-X000

A201 Request for examination
PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

R17-X000 Change to representative recorded

St.27 status event code: A-3-3-R10-R17-oth-X000

D13-X000 Search requested

St.27 status event code: A-1-2-D10-D13-srh-X000

D21 Rejection of application intended

Free format text: ST27 STATUS EVENT CODE: A-1-2-D10-D21-EXM-PE0902 (AS PROVIDED BY THE NATIONAL OFFICE)

PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

E13 Pre-grant limitation requested

Free format text: ST27 STATUS EVENT CODE: A-2-3-E10-E13-LIM-X000 (AS PROVIDED BY THE NATIONAL OFFICE)

E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11 Amendment of application requested

Free format text: ST27 STATUS EVENT CODE: A-2-2-P10-P11-NAP-X000 (AS PROVIDED BY THE NATIONAL OFFICE)

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000