KR20220132863A - 모바일 장치 및 차량 - Google Patents

모바일 장치 및 차량 Download PDF

Info

Publication number
KR20220132863A
KR20220132863A KR1020210037937A KR20210037937A KR20220132863A KR 20220132863 A KR20220132863 A KR 20220132863A KR 1020210037937 A KR1020210037937 A KR 1020210037937A KR 20210037937 A KR20210037937 A KR 20210037937A KR 20220132863 A KR20220132863 A KR 20220132863A
Authority
KR
South Korea
Prior art keywords
information
image
display
building
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
KR1020210037937A
Other languages
English (en)
Inventor
우승현
우재열
안로운
김수빈
Original Assignee
현대자동차주식회사
기아 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사, 기아 주식회사 filed Critical 현대자동차주식회사
Priority to KR1020210037937A priority Critical patent/KR20220132863A/ko
Priority to US17/548,869 priority patent/US11941162B2/en
Publication of KR20220132863A publication Critical patent/KR20220132863A/ko
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508—Management of client data or end-user data
    • H04N21/4524—Management of client data or end-user data involving the geographical location of the client
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/50—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating three-dimensional [3D] models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G09G5/377—Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25808—Management of client data
    • H04N21/25841—Management of client data involving the geographical location of the client
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41422—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance located in transportation means, e.g. personal vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Tourism & Hospitality (AREA)
  • Mechanical Engineering (AREA)
  • Software Systems (AREA)
  • Human Resources & Organizations (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Primary Health Care (AREA)
  • Marketing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Navigation (AREA)

Abstract

본 발명은 증강 현실 기능을 수행하는 모바일 장치 및 차량에 관한 것이다.
본 발명의 모바일 장치는, 표시부; 현재 위치를 획득하기 위한 위치 정보를 수신하는 위치 수신부; 주변의 환경에 대한 영상을 획득하는 영상 획득부; 및 증강 현실 모드의 수행 중 영상 획득부에 의해 획득된 영상에 대한 영상 정보의 표시를 제어하되, 위치 수신부에 의해 획득된 현재 위치 정보 및 지도 정보에 기초하여 영상 정보 내에 건물에 대한 정보를 획득하고, 획득한 건물에 대한 대표 정보를 영상 정보에 오버랩시켜 표시하도록 표시부를 제어하는 제어부를 포함한다.

Description

모바일 장치 및 차량 {Mobile device and Vehicle}
본 발명은 증강 현실 영상을 표시하는 모바일 장치 및 차량에 관한 것이다.
최근 디지털 기술의 발달과 함께 이동통신 단말기, 스마트폰(smart phone), 태블릿(tablet) PC(personal computer), 노트북(notebook), PDA(personal digital assistant), 웨어러블 장치(wearable device), 디지털 카메라(digital camera) 또는 개인용 컴퓨터(personal computer) 등과 같은 다양한 유형의 모바일 장치가 널리 사용되고 있다.
최근에는, 모바일 장치에서 수행될 수 있는 기능 중 통화 기능 및 멀티미디어 재생 기능(예: 음악 재생, 동영상 재생), 인터넷 기능, 내비게이션 기능 이외에도, 증강현실(AR, augmented reality) 기능에 대한 연구 개발이 증가하고 있다.
증강현실은 현실의 사물(예: 실제 환경)에 가상의 관련 정보(예: 텍스트, 이미지 등)를 합성하여 보여주는 기술이다. 이러한 증강현실은, 가상의 공간과 사물만을 대상으로 하는 가상현실(VR, virtual reality)과 달리, 실제 환경이라는 객체 위에 가상의 관련 객체를 제공하여, 실제 환경만으로는 획득하기 어려운 부가 정보를 사용자에게 제공한다.
하지만, 종래의 모바일 장치에서 제공하는 증강현실 기능은, 증강현실에서 제공되는 현실 객체의 개수 및 현실 객체의 관련 정보가 증가함에 따라, 즉, 수많은 정보들이 한정된 화면 내에서 규칙 없이 겹쳐서 표시되어 사용자가 관련 정보를 파악하기 어려운 문제점이 있었다.
따라서, 증강현실 기능 사용에 직관성을 요구하는 사용자 니즈(needs)가 증가하고 있다.
일 측면은 건물 영상 내 빌보드 판의 영상을 오버랩시켜 표시하되, 빌보드 판 영상 내에 건물에 대한 대표 정보를 표시하는 모바일 장치 및 차량을 제공한다.
다른 측면은 건물의 층수와 호수 정보에 기초하여 빌보드 판 영상의 영역을 복수 개의 영역으로 분할하고 분할된 복수 개의 영역에 건물에 입주한 업체들의 대표 정보를 표시하는 모바일 장치 및 차량을 제공한다.
일 측면에 따른 모바일 장치는, 표시부; 현재 위치를 획득하기 위한 위치 정보를 수신하는 위치 수신부; 주변의 환경에 대한 영상을 획득하는 영상 획득부; 및 증강 현실 모드의 수행 중 영상 획득부에 의해 획득된 영상에 대한 영상 정보의 표시를 제어하되, 위치 수신부에 의해 획득된 현재 위치 정보 및 지도 정보 중 적어도 하나에 기초하여 영상 정보 내에 건물에 대한 정보를 획득하고, 획득한 건물에 대한 대표 정보를 영상 정보에 오버랩시켜 표시하도록 표시부를 제어하는 제어부를 포함한다.
일 측면에 따른 모바일 장치의 대표 정보는, 로고 영상, 엠블럼 영상, 광고 영상 및 간판 영상 중 적어도 하나를 포함한다.
일 측면에 따른 모바일 장치의 제어부는, 지도 정보, 현재 위치 정보 및 영상 정보에 기초하여 영상 내 건물을 인식하고, 영상 정보에 기초하여 인식한 건물의 크기 및 형상 중 적어도 하나에 대응하는 빌보드판 영상을 생성하고, 생성한 빌보드판 영상을 인식한 건물에 대한 건물 영상에 오버랩시켜 표시하도록 표시부를 제어한다.
일 측면에 따른 모바일 장치의 제어부는, 인식한 건물에 입주한 업체 및 다중 이용 시설에 대한 주소 정보 및 대표 정보를 획득하고, 주소 정보에 기초하여 빌보드 판 영상 내에 대표 정보를 열과 행으로 구분하여 표시하도록 표시부를 제어한다.
일 측면에 따른 모바일 장치의 제어부는, 인식한 건물의 층수 정보를 확인하고 확인한 층수 정보에 기초하여 빌보드 판 영상의 전체 영역을 복수 개의 행에 의한 행 영역으로 구분하고, 구분된 행 영역 내에 대표 정보를 표시하도록 표시부를 제어한다.
일 측면에 따른 모바일 장치의 제어부는, 인식한 건물의 층수 정보 및 호수 정보를 확인하고 확인한 층수 정보 및 호수 정보 중 적어도 하나에 기초하여 빌보드 판 영상의 전체 영역을 복수 개의 행과 열에 의한 복수 개의 영역으로 구분하고, 확인한 층수 정보 및 호수 정보에 기초하여 복수 개의 영역 내에 대표 정보를 표시하도록 표시부를 제어한다.
일 측면에 따른 모바일 장치의 제어부는, 인식한 건물에 입주한 업체 및 다중 이용 시설이 하나이면, 빌보드 판 영상의 전체 영역을 통합하고 통합한 빌보드 판 영상 내에 하나에 대한 대표 정보를 표시하도록 표시부를 제어한다.
일 측면에 따른 모바일 장치는 외부의 서버와 통신을 수행하는 통신부를 더 포함하고, 제어부는 통신부에 의해 수신된 건물에 입주한 업체 및 다중 이용 시설의 방문 횟수 정보에 기초하여 방문 횟수가 가장 많은 장소를 확인하고 확인한 장소에 대한 대표 정보가 나머지 대표 정보보다 강조 표시되도록 표시부를 제어한다.
일 측면에 따른 모바일 장치의 제어부는, 빌보드판 영상 내에 대표 정보를 표시하고, 대표 정보가 표시된 빌보드판 영상을 인식한 건물에 대한 건물 영상에 오버랩시켜 표시하도록 표시부를 제어한다.
일 측면에 따른 모바일 장치의 강조 표시는, 대표 정보의 투명도, 하이라이트, 색상, 크기 중 적어도 하나를 변경하여 표시하는 것을 포함한다.
일 측면에 따른 모바일 장치는 외부의 서버와 통신을 수행하는 통신부를 더 포함하고, 제어부는 통신부에 의해 수신된 건물에 입주한 업체 및 다중 이용 시설의 선호도 정보에 기초하여 선호도가 가장 높은 장소를 확인하고 확인한 장소에 대한 대표 정보가 나머지 대표 정보보다 강조 표시되도록 표시부를 제어한다.
일 측면에 따른 모바일 장치는 즐겨 찾기 정보를 저장하는 저장부를 더 포함하고, 제어부는 저장된 즐겨 찾기 정보에 기초하여 건물에 입주한 업체 및 다중 이용 시설 중 즐겨 찾기로 설정된 장소가 존재하는지 판단하고, 즐겨 찾기로 설정된 장소가 존재한다고 판단되면 판단된 장소에 대한 대표 정보가 나머지 대표 정보보다 강조 표시되도록 표시부를 제어한다.
일 측면에 따른 모바일 장치는 관심 지점 정보를 저장하는 저장부를 더 포함하고, 제어부는 저장된 관심지점 정보에 기초하여 건물에 입주한 업체 및 다중 이용 시설 중 관심 지점으로 설정된 장소가 존재하는지 판단하고, 관심 지점으로 설정된 장소가 존재한다고 판단되면 판단된 장소에 대한 대표 정보가 나머지 대표 정보보다 강조 표시되도록 표시부를 제어한다.
일 측면에 따른 모바일 장치의 제어부는, 사용자에 의해 소트(sort)된 관심 지점에 대한 정보에 기초하여 건물에 입주한 업체 및 다중 이용 시설 중 관심 지점으로 설정된 장소가 존재하는지 판단한다.
일 측면에 따른 모바일 장치의 제어부는, 인식한 건물 내의 공실 정보를 확인하고 확인한 공실 정보를 미리 설정된 공실 지시 영상으로 표시하도록 표시부를 제어한다.
다른 측면에 따른 차량은, 표시부; 현재 위치를 획득하기 위한 위치 정보를 수신하는 위치 수신부; 도로의 환경에 대한 영상을 획득하는 영상 획득부; 및 현재 위치부터 목적지까지의 길 안내 중 영상 획득부에 의해 획득된 영상에 대한 영상 정보의 표시를 제어하되, 위치 수신부에 의해 획득된 현재 위치 정보 및 지도 정보에 기초하여 영상 정보 내에 건물에 대한 정보를 획득하고, 획득한 건물에 대한 대표 정보를 영상 정보에 오버랩시켜 표시하도록 표시부를 제어하는 제어부를 포함한다.
다른 측면에 따른 차량의 제어부는, 지도 정보, 현재 위치 정보 및 영상 정보에 기초하여 영상 내 건물을 인식하고, 영상 정보에 기초하여 인식한 건물의 크기 및 형상 중 적어도 하나에 대응하는 빌보드판 영상을 생성하고, 생성한 빌보드판 영상 내에 대표 정보를 표시하고, 대표 정보가 표시된 빌보드판 영상을 인식한 건물에 대한 건물 영상에 오버랩시켜 표시하도록 표시부를 제어한다.
다른 측면에 따른 차량의 제어부는, 인식한 건물에 입주한 업체 및 다중 이용 시설에 대한 주소 정보 및 대표 정보를 획득하고, 주소 정보에 기초하여 빌보드 판 영상 내에 대표 정보를 열과 행으로 구분하여 표시하도록 표시부를 제어한다.
다른 측면에 따른 차량의 제어부는, 인식한 건물의 층수 정보를 확인하고 확인한 층수 정보에 기초하여 빌보드 판 영상의 전체 영역을 복수 개의 행에 의한 행 영역으로 구분하고, 구분된 행 영역 내에 대표 정보를 표시하도록 표시부를 제어한다.
다른 측면에 따른 차량의 제어부는, 인식한 건물의 층수 정보 및 호수 정보를 확인하고 확인한 층수 정보 및 호수 정보 중 적어도 하나에 기초하여 빌보드 판 영상의 전체 영역을 복수 개의 행과 열에 의한 복수 개의 영역으로 구분하고, 확인한 층수 정보 및 호수 정보에 기초하여 복수 개의 영역 내에 대표 정보를 표시하도록 표시부를 제어한다.
다른 측면에 따른 차량은 외부의 서버와 통신을 수행하는 통신부를 더 포함하고, 제어부는 통신부에 의해 수신된 건물에 입주한 업체 및 다중 이용 시설의 방문 횟수 정보 및 선호도 정보 중 적어도 하나에 기초하여 방문 횟수 및 선호도 중 적어도 하나가 가장 높은 장소를 확인하고 확인한 장소에 대한 대표 정보가 나머지 대표 정보보다 강조 표시되도록 표시부를 제어하고, 강조 표시는 대표 정보의 투명도, 하이라이트, 색상, 크기 중 적어도 하나를 변경하여 표시하는 것을 포함한다.
다른 측면에 따른 차량은 즐겨 찾기 정보 및 관심 지점 정보를 저장하는 저장부를 더 포함하고, 제어부는 저장된 즐겨 찾기 정보 및 관심 지점 정보 중 적어도 하나에 기초하여 건물에 입주한 업체 및 다중 이용 시설 중 즐겨 찾기 또는 관심 지점으로 설정된 장소가 존재하는지 판단하고, 즐겨 찾기 또는 관심 지점으로 설정된 장소가 존재한다고 판단되면 판단된 장소에 대한 대표 정보가 나머지 대표 정보보다 강조 표시되도록 표시부를 제어한다.
본 발명은 관심 지점(POI)을 고도 정보 없이 증강 현실(AR)로 표시할 때 관심 지점에 대한 정보가 일괄적으로 중간에 배치되는 것을 방지할 수 있다.
즉 본 발명은 관심 지점(POI: Point of Interest) 정보에 대해 증강현실) 표시할 때 경도, 고도 정보 대신 지도 정보에 포함된 주소 정보와 사용자의 선택 정보 (선호도 및 방문횟수, 즐겨찾기)를 기반으로 업체에 대한 고도 정보를 표시함으로써 사용자의 시인성을 극대화 시킬 수 있다. 이로 인해, 본 발명은 사용자의 편익을 극대화 할 수 있고, 상용 서비스의 효용성을 유지할 수 있다.
증강 현실 어플리케이션을 개발하는 개발사의 경우, 증강 현실의 핵심인 비주얼 슬램(Visual SLAM) 기술을 활용하기 위해 필수적인 포인트 클라우드 맵 제작 및 시스템 구축 시에, 전 지역에 대한 구축 대신 사용자들이 관심을 가지는 관심 지점을 먼저 구축함으로써 혁신 기술인 증강 현실 내비게이션 서비스를 빠르게 시장에 런칭할 수 있다.
이와 같이 본 발명은 모바일 장치, 차량의 품질 및 상품성을 향상시킬 수 있고 나아가 사용자의 만족도를 높일 수 있으며 사용자의 편리성, 신뢰성 및 차량의 안전성을 향상시킬 수 있고 제품의 경쟁력을 확보할 수 있다.
도 1은 실시 예에 따른 모바일 장치의 제어 구성도이다.
도 2 내지 7은 실시 예에 따른 모바일 장치의 표시부의 표시 예시도이다.
도 8은 실시 예에 따른 모바일 장치의 제어 순서도이다.
명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다. 본 명세서가 실시 예들의 모든 요소들을 설명하는 것은 아니며, 본 발명이 속하는 기술분야에서 일반적인 내용 또는 실시 예들 간에 중복되는 내용은 생략한다. 명세서에서 사용되는 '부, 모듈, 부재, 장치'라는 용어는 소프트웨어 또는 하드웨어로 구현될 수 있으며, 실시 예들에 따라 복수의 '부, 모듈, 부재, 장치'가 하나의 구성요소로 구현되거나, 하나의 '부, 모듈, 부재, 장치'가 복수의 구성요소들을 포함하는 것도 가능하다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐 아니라, 간접적으로 연결되어 있는 경우를 포함하고, 간접적인 연결은 무선 통신망을 통해 연결되는 것을 포함한다.
또한 어떤 부분이 어떤 구성요소를"포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
제 1, 제 2 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위해 사용되는 것으로, 구성요소가 전술된 용어들에 의해 제한되는 것은 아니다.
단수의 표현은 문맥상 명백하게 예외가 있지 않는 한, 복수의 표현을 포함한다.
각 단계들에 있어 식별부호는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 실시될 수 있다.
이하 첨부된 도면들을 참고하여 본 발명의 작용 원리 및 실시 예들에 대해 설명한다.
도 1은 실시 예에 따른 모바일 장치의 제어 구성도로, 도 2 내지 도 7을 참조하여 설명한다.
모바일 장치(1)는 차량에 분리 가능하게 장착될 수 있는 단말기일 수 있고, 차량의 대시보드에 매립 설치될 수 있는 단말기일 수 있다. 이러한 모바일 장치(1)는 차량 내에서 오디오, 비디오, 내비게이션 기능을 수행하는 단말기일 수 있다.
모바일 장치(1)는 네트워크를 통해 차량에 접속할 수 있는 컴퓨터나 휴대용 단말기로 구현될 수 있다.
여기서, 컴퓨터는 예를 들어, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(desktop), 랩톱(laptop), 태블릿 PC, 슬레이트 PC 등을 포함하고, 휴대용 단말기는 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), WiBro(Wireless Broadband Internet) 단말, 스마트 폰(Smart Phone) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치와 시계, 반지, 팔찌, 발찌, 목걸이, 안경, 콘택트 렌즈, 또는 머리 착용형 장치(head-mounted-device(HMD) 등과 같은 웨어러블 장치를 포함할 수 있다.
모바일 장치(1)는 사용자 인터페이스(110), 사운드 출력부(120), 위치 수신부(130), 영상 획득부(140), 통신부(150), 제어부(160) 및 저장부(161)를 포함한다.
사용자 인터페이스(110)는 사용자 입력을 수신하고, 사용자가 인식할 수 있도록 각종 정보를 출력한다. 이러한 사용자 인터페이스(110)는 입력부(111)와 표시부(112)를 포함할 수 있다.
입력부(111)는 사용자 입력을 수신한다.
입력부(111)는 모바일 장치(1)의 잠금 명령, 잠금 해제 명령, 전원 온 명령, 전원 오프 명령을 수신할 수 있고, 표시부의 영상 표시 명령을 수신할 수 있다.
입력부(111)는 모바일 장치(1)에서 수행 가능한 각종 기능의 동작 명령을 수신할 수 있고, 각종 기능의 설정값을 수신할 수 있다.
모바일 장치가 차량에 마련된 경우, 입력부(111)는 차량 내에서 수행되는 각종 기능의 동작 명령을 수신할 수 있다.
예를 들어, 모바일 장치에서 수행되는 기능은, 통화 기능, 문자 기능, 오디오 기능, 비디오 기능, 내비게이션 기능, 맵 기능, 방송 재생 기능, 라디오 기능, 컨텐츠 재생 기능, 인터넷 검색 기능 및 증강 현실 기능을 포함할 수 있고, 모바일 장치에 설치된 적어도 하나의 어플리케이션의 실행 기능을 포함할 수 있다.
모바일 장치에 설치된 적어도 하나의 어플리케이션은 사용자에게 적어도 하나의 서비스를 제공하기 위한 어플리케이션일 수 있다. 여기서 서비스는 사용자의 안전, 편의 및 재미를 위한 정보를 제공하는 것일 수 있다.
입력부(111)는 내비게이션 기능을 수행하기 위한 내비게이션 어플리케이션(NAVI API)의 실행 명령을 수신할 수 있고, 증강 현실 기능을 수행하기 위한 증강 현실 어플리케이션(AR API)의 실행 명령을 수신할 수 있으며, 맵 기능을 수행하기 위한 맵 어플리케이션(MAP API)의 실행 명령을 수신할 수 있다.
입력부(111)는 내비게이션 기능의 실행에 대응하여 목적지 정보를 수신할 수 있고, 복수 개의 경로 중 어느 하나의 경로를 선택하는 경로 선택 정보를 수신할 수 있다.
입력부(111)는 증강 현실 기능 또는 맵 기능의 실행 중 목적지 정보를 수신할 수 있다.
입력부(111)는 증강 현실 기능의 실행 중 관심 지점에 대한 관심 지점 정보를 수신할 수 있다.
입력부(111)는 표시부(112)에 표시된 커서의 이동 명령 및 아이콘이나 버튼의 선택 명령 등을 입력하기 위한 조그 다이얼 또는 터치 패드로 구현될 수 있다.
입력부(111)는 각종 버튼이나 스위치, 페달(pedal), 키보드, 마우스, 트랙볼(track-ball), 각종 레버(lever), 핸들(handle)이나 스틱(stick) 등과 같은 하드웨어적인 장치를 포함할 수 있다.
또한, 입력부(111)는 터치 패널(touch panel) 등과 같은 GUI(Graphical User interface), 즉 소프트웨어인 장치를 포함할 수도 있다. 터치 패널은 터치 스크린 패널(Touch Screen Panel: TSP)로 구현되어 표시부(112)와 상호 레이어 구조를 이룰 수 있다.
표시부(112)는 제어부(160)의 제어 명령에 대응하여 모바일 장치(1)에서 수행되는 적어도 하나의 기능에 대한 실행 정보를 영상으로 표시할 수 있고 입력부(112)에 수신된 사용자 입력에 대응하는 정보를 영상으로 표시할 수 있다.
모바일 장치가 차량에 마련된 경우, 표시부(112)는 차량에서 수행되는 각종 기능에 대한 동작 정보를 표시할 수 있고, 차량의 주행 정보를 표시할 수도 있다. 예를 들어 주행 정보는 주행 속도, 주행 방향, 변속 정보 및 방향 지시 정보 중 적어도 하나를 포함할 수 있다.
표시부(112)는 모바일 장치(1)에서 수행 가능한 기능에 대한 어플리케이션의 아이콘을 표시할 수 있다. 예를 들어, 도 2에 도시된 바와 같이, 표시부(112)는 증강 현실 어플리케이션의 아이콘(110a)과 내비게이션 어플리케이션의 아이콘(110b)을 표시할 수 있고 맵 어플리케이션 아이콘을 표시할 수 있다.
표시부(112)는 내비게이션 기능의 실행 중 지도 정보와, 목적지 정보, 길 안내 정보를 표시할 수 있고, 현재 위치에 대한 현재 위치 정보를 표시할 수 있다. 즉 표시부(112)는 내비게이션 기능의 실행 시 지도 영상 내 목적지까지의 길 안내 영상과 현재 위치를 지시하는 현재 위치 영상이 매치된 내비게이션 영상을 표시할 수 있다.
도 3에 도시된 바와 같이, 표시부(112)는 증강 현실 기능의 실행 중 사용자 입력에 대응하여 관심 지점(POI)을 검색하기 위한 검색 창과, 미리 저장된 관심 지점(POI)의 아이콘을 표시할 수 있다. 표시부(112)는 기존에 검색하거나 저장한 관심 지점(POI)에 대한 정보를 버튼 타입으로 표시할 수 있다.
표시부(112)는 증강 현실 기능의 실행 중 관심 지점에 대한 소트 정보를 표시할 수 있다.
소트 정보는, 사용자에 의해 선택 가능한 관심 지점에 대한 속성 정보로, 예를 들어, 주차장, 역, 음식점, 집, 회사를 포함할 수 있고, 검색 범위에 대한 정보를 포함할 수 있다.
도 4에 도시된 바와 같이, 표시부(112)는 증강 현실 기능의 실행 중 적어도 하나의 건물 영상(im1)에 건물 내 업체나 다중 이용 시설에 대한 대표 정보를 표시하되, 빌보드 판 영상(im2) 내에 대표 정보(im3)를 표시할 수 있다.
다중 이용 시설은, 불특정 다수가 출입하고 이용하는 시설을 말한다. 예를 들어, 다중 이용 시설은, 모든 지하역사, 일정 규모 이상의 지하도 상가와 철도 및 여객터미널의 대합실, 도서관, 박물관, 미술관, 의료기관, 학원, 인터넷 컴퓨터 게임시설, 대규모 점포, 영화관 등을 포함할 수 있다.
대표 정보는, 다중 이용 시설을 나타내는 로고, 엠블럼, 간판 또는 광고일 수 있다.
표시부(112)는 증강 현실 기능의 실행 중 사용자가 선택한 관심 지점에 대한 대표 정보를 표시하는 것도 가능하다.
표시부(112)는 즐겨 찾기 정보에 포함된 다중 이용 시설의 대표 정보를 외곽선 하이라이트를 이용하여 표시할 수 있다.
표시부(112)는 사용자들의 방문 횟수에 기초하여 다중 이용 시설의 대표 정보의 크기를 상이하게 표시할 수 있다.
표시부(112)는 사용자의 등록 정보(개인 회원, 기업 회원 등)에 대응하여 대표 정보의 투명도와 색상 중 적어도 하나를 조절하여 표시하는 것도 가능하다.
표시부(112)는 건물 내 공실 정보와, 공실에 대한 주소 정보에 기초하여 빌보드 판 상에 공실 지시 정보를 표시하는 것도 가능하다.
표시부(112)는 건물 내 공실 정보와, 공실에 대한 주소 정보에 기초하여 빌보드 판 상에 공실 정보의 표시를 제한할 수 있다.
도 5에 도시된 바와 같이, 표시부(112)는 건물 영상(im1)에 빌보드판 영상(im2)을 오버랩시켜 표시할 수 있다. 여기서 빌포드판 영상(im2)은 건물의 층별 및 호수별로 구획된 영역 내 대표 정보를 표시한 대표 영상(im3)일 수 있고, 사용자의 현재 위치에 대한 현재 위치 정보(P)를 표시할 수 있다.
표시부(112)는 음극선관(Cathode Ray Tube: CRT), 디지털 광원 처리(Digital Light Processing: DLP) 패널, 플라즈마 디스플레이 패널(Plasma Display Penal), 액정 디스플레이(Liquid Crystal Display: LCD) 패널, 전기 발광(Electro Luminescence: EL) 패널, 전기영동 디스플레이(Electrophoretic Display: EPD) 패널, 전기변색 디스플레이(Electrochromic Display: ECD) 패널, 발광 다이오드(Light Emitting Diode: LED) 패널 또는 유기 발광 다이오드(Organic Light Emitting Diode: OLED) 패널 등으로 마련될 수 있으나, 이에 한정되지는 않는다.
아울러 모바일 장치(1)는 사용자의 음성을 수신하기 위한 사운드 수신부(미도시)를 더 포함할 수 있다. 이 경우, 제어부(160)는 음성 인식 기능을 수행할 수 있고 음성 인식 기능을 통해 사용자 입력을 인식할 수 있다.
사운드 수신부는 음파를 전기 신호로 바꾸는 마이크로폰을 포함할 수 있다. 여기서 마이크로 폰은 하나 또는 두 개 이상일 수 있고, 하나의 마이크로 폰은 지향성일 수 있다.
그리고 두 개 이상의 마이크로 폰은 마이크로 폰 어레이로 구현될 수 있다.
사운드 출력부(120)는 모바일 장치(1)에서 수행 중인 기능에 대한 사운드를 출력할 수 있다. 이러한 사운드 출력부(120)는 적어도 하나 또는 복수 개의 스피커를 포함할 수 있다.
예를 들어, 사운드 출력부(120)는 내비게이션 기능의 수행 중 길 안내 정보를 사운드로 출력할 수 있다.
스피커는 증폭된 저주파의 음성 신호를 오리지널의 음파로 변환시키고 공기에 소밀파를 발생시켜 음파를 복사함으로써 오디오 데이터들을 사용자가 들을 수 있는 사운드로 출력한다.
위치 수신부(130)는 모바일 장치(1)의 현재 위치에 대한 현재 위치 정보를 획득하기 위한 신호를 수신한다.
위치 수신부(130)는 복수 개의 위성과 통신을 수행하는 GPS(Global Positioning System) 수신기일 수 있다. 여기서 GPS(Global Positioning System) 수신기는 복수의 GPS 위성의 신호를 수신하는 안테나 모듈을 포함하고, 복수의 GPS위성의 위치 신호에 대응하는 거리 및 시간 정보를 이용하여 현재의 위치를 획득하는 소프트웨어와, 획득된 차량의 위치 정보를 출력하는 출력부를 포함할 수 있다.
영상 획득부(140)는 모바일 장치(1)의 주변의 영상을 획득하고, 획득된 영상에 대한 영상 정보를 제어부(160)에 전송한다. 여기서 영상 정보는 영상 데이터일 수 있다.
영상 획득부(140)는 모바일 장치(1)의 전면을 시야로 한다.
영상 획득부(140)는 모바일 장치(1)의 전후 방향의 외부 영상을 획득하는 적어도 하나 또는 복수 개의 카메라를 포함할 수 있다.
모바일 장치의 표시부의 표시면이 모바일 장치의 몸체의 전면이라 가정하였을 때, 적어도 하나의 카메라는 모바일 장치의 몸체의 전면에 배치될 수 있고, 다른 하나의 카메라는 모바일 장치의 몸체의 후면에 배치될 수 있다. 여기서 후면은 몸체를 기준으로 전면의 방향과 반대 방향을 향하는 면일 수 있다.
영상 획득부(140)는 카메라로, CCD 또는 CMOS 이미지 센서를 포함할 수 있고, KINECT(RGB-D 센서), TOF(Structured Light Sensor), 스테레오 카메라(Stereo Camera) 등과 같은 3차원 공간 인식 센서를 포함할 수도 있다.
통신부(150)는 외부의 서버(2)로부터 적어도 하나의 어플리케이션을 수신할 수 있고, 설치된 어플리케이션에 대한 업데이트 정보를 수신할 수 있다.
통신부(150)는 외부의 서버(2)로부터 다중 이용 시설들 중 적어도 하나에 대한 사용자들의 방문 횟수를 수신할 수 있다.
통신부(150)는 모바일 장치(1) 내부 구성 요소 간 통신을 가능하게 하는 하나 이상의 구성 요소를 포함할 수 있으며, 예를 들어 근거리 통신 모듈, 유선 통신 모듈 및 무선 통신 모듈 중 적어도 하나를 포함할 수 있다.
근거리 통신 모듈은 블루투스 모듈, 적외선 통신 모듈, RFID(Radio Frequency Identification) 통신 모듈, WLAN(Wireless Local Access Network) 통신 모듈, NFC(Near Field Communication) 모듈, 직비(Zigbee) 통신 모듈 등 근거리에서 무선 통신망을 이용하여 신호를 송수신하는 다양한 근거리 통신 모듈을 포함할 수 있다.
유선 통신 모듈은 캔(Controller Area Network; CAN) 통신 모듈, 지역 통신(Local Area Network; LAN) 모듈, 광역 통신(Wide Area Network; WAN) 모듈 또는 부가가치 통신(Value Added Network; VAN) 모듈 등 다양한 유선 통신 모듈뿐만 아니라, USB(Universal Serial Bus), HDMI(High Definition Multimedia Interface), DVI(Digital Visual Interface), RS-232(recommended standard232), 전력선 통신, 또는 POTS(plain old telephone service) 등 다양한 케이블 통신 모듈을 포함할 수 있다.
유선 통신 모듈은 LIN(Local Interconnect Network)를 더 포함할 수 있다.
무선 통신 모듈은 와이파이(Wifi) 모듈, 와이브로(Wireless broadband) 모듈 외에도, GSM(global System for Mobile Communication), CDMA(Code Division Multiple Access), WCDMA(Wideband Code Division Multiple Access), UMTS(universal mobile telecommunications system), TDMA(Time Division Multiple Access), LTE(Long Term Evolution), 초 광대역 통신(UWB: Ultra Wide Band) 모듈 등 다양한 무선 통신 방식을 지원하는 무선 통신 모듈을 포함할 수 있다.
제어부(160)는 입력부(111), 영상 획득부(140) 및 사운드 수신부(미도시) 중 적어도 하나에 수신된 모바일 장치(1)의 잠금 해제 명령, 전원 온 명령 및 영상 표시 명령 중 적어도 하나에 기초하여 표시부(112)의 영상 표시를 제어한다. 이 경우, 도 2에 도시된 바와 같이, 모바일 장치의 표시부(112)는 모바일 장치(1)에서 수행 가능한 기능에 대한 아이콘을 표시할 수 있다.
제어부(160)는 입력부(111)에 의해 증강 현실 어플리케이션의 실행 명령이 수신되면 증강 현실 기능의 실행 영상의 표시를 제어할 수 있고, 내비게이션 어플리케이션이 활성화되도록 내비게이션 어플리케이션의 실행을 제어할 수 있으며, 맵 어플리케이션이 활성화되도록 맵 어플리케이션의 실행을 제어하는 것도 가능하다.
제어부(160)는 입력부(111)에 의해 증강 현실 어플리케이션의 실행 명령이 수신되면 영상 획득부(140)의 활성화를 제어할 수 있고, 위치 수신부(130)의 활성화를 제어할 수 있다.
제어부(160)는 영상 획득부(140)가 활성화되면 영상 획득부(140)에 의해 획득된 영상의 영상 처리를 수행하고 영상 처리된 영상의 표시를 제어할 수 있고, 위치 수신부(130)가 활성화되면 위치 수신부(130)로부터 출력된 위치 정보에 기초하여 모바일 장치(1)의 현재 위치 정보를 획득할 수 있다.
제어부(160)는 입력부(111)에 의해 수신된 터치 위치 정보가 증강 현실 어플리케이션의 아이콘의 표시 위치와 대응하면 증강 현실 어플리케이션의 실행 명령이 수신되었다고 판단할 수 있다.
제어부(160)는 증강 현실 어플리케이션의 실행 버튼의 선택 신호가 수신되면 증강 현실 어플리케이션의 실행 명령이 수신되었다고 판단할 수 있다. 여기서 증강 현실 어플리케이션의 실행 버튼은 물리적 버튼일 수 있다.
제어부(160)는 증강 현실 모드의 수행 중 영상 획득부(140)에 의해 획득된 영상에 대한 영상 정보로부터 건물 영상을 획득하고 획득한 건물 영상에 건물의 대표 정보를 오버랩시켜 표시하되 건물의 크기와 형상에 대응하는 빌보드 판 영상을 생성하고, 생성된 빌보드 판 영상 내에 건물에 대한 대표 정보를 표시하도록 하고, 대표 정보가 표시된 빌보드 판 영상을 건물 영상에 오버랩시켜 표시하도록 표시부(112)를 제어할 수 있다.
대표 정보는, 로고 영상, 엠블럼 영상, 광고 영상 및 간판 영상 중 적어도 하나를 포함한다.
제어부(160)는 지도 정보, 현재 위치 정보 및 영상 정보에 기초하여 인식한 건물 영상에 대응하는 건물에 대한 건물 정보를 획득한다. 여기서 지도 정보는, 저장부(161)에 저장된 정보일 수 있고, 서버(2)로부터 수신하는 것도 가능하다.
여기서 건물 정보는 건물의 주소 정보, 입주한 업체 정보, 총 층수 정보, 주차장 위치 정보 등을 포함할 수 있다.
업체 정보는 업체에 대한 업종이나 이름 등의 인식을 위한 대표 정보와, 층수와 호수 중 적어도 하나를 포함하는 업체의 주소 정보를 포함할 수 있다.
업체 정보는 선호도, 방문 횟수, 리뷰 글의 등록 횟수 등에 대한 정보를 더 포함할 수 있다.
제어부(160)는 획득한 건물 정보에 기초하여 영상 내 건물의 층수 정보를 확인하고 확인한 층수 정보에 기초하여 빌보드 판 영상의 전체 영역을 복수 개의 행에 의한 행 영역으로 구분하고, 구분된 행 영역 내에 대표 정보를 표시하도록 표시부(112)를 제어할 수 있다. 즉 제어부(160)는 획득한 건물 정보 및 주소 정보에서 가장 높은 층수를 확인하고 확인한 층수에 기초하여 빌보드 판 영상의 행의 수의 결정할 수 있다.
도 6에 도시된 바와 같이, 제어부(160)는 업체별 층수 정보가 매치되어 구분된 빌보드 판 영상(im2) 내의 각 행의 영역(L1, L2, L3, L4)에 업체별 대표 정보(im3)를 표시하도록 하되 건물 영상(im1)에 오버랩시켜 표시하도록 할 수 있다. 이를 통해 건물의 고도 정보 및 건물 내 업체들의 고도 정보를 표시하도록 할 수 있다.
제어부(160)는 획득한 건물 정보에 기초하여 건물이 주거지라고 판단되면 빌보드 판 영상의 복수 개의 영역들 중 주거지 영역에 대응하는 영역에는 대표 정보를 표시하지 않거나, 주거지명(예, 아파트 명, 빌라명, 오피스텔 명)만 표시하도록 표시부를 제어할 수 있다.
제어부(160)는 획득한 건물 정보에 기초하여 건물이 주거지라고 판단되면 빌보드 판 영상의 복수 개의 영역들 중 주거지 영역에 대응하는 영역을 삭제하여 표시하도록 표시부를 제어할 수 있다.
제어부(160)는 획득한 건물 정보에 기초하여 인식한 건물의 층수 정보 및 호수 정보를 확인하고 인식한 건물에 입주한 업체 및 다중 이용 시설에 대한 주소 정보 및 대표 정보를 획득하며, 획득한 건물 정보에 기초하여 빌보드 판 영상 내에 획득한 대표 정보를 열과 행으로 구분하여 표시하도록 표시부(112)를 제어할 수 있다.
제어부(160)는 인식한 건물에 입주한 업체 및 다중 이용 시설에 대한 주소 정보에 기초하여 열과 행으로 구분된 빌보드 판 영상 내의 각 행과 열의 영역에 업체별 대표 정보를 표시하도록 할 수 있다.
도 7에 도시된 바와 같이, 제어부(160)는 업체별 층수 정보와 호수 정보가 매치되어 구분된 빌보드 판 영상(im2) 내의 각 행과 열의 영역(F11, F12, F21, F22, F31, F32, F41, F42)에 업체별 대표 정보(im3)를 표시하도록 하되 건물 영상(im1)에 오버랩시켜 표시하도록 할 수 있다.
제어부(160)는 업체들의 대표 정보를 열을 따라 표시하도록 제어할 때 건물에 입주한 업체들의 주소 정보 내에 호수 정보 중 알파벳, 아라비아 정보에 기초하여 알파벳 순서 순 및 숫자가 작은 순으로 건물의 좌측부터 우측으로 각 열에 대표 정보를 표시하도록 표시부를 제어할 수 있다.
일 예로, 호수가 영문과 숫자로 이루어 질 때, 제어부(160)는 빌보드 판 영상 내 좌측 열에 A01호의 대표 정보를 표시하도록 하고, A01호의 대표 정보의 옆에 A02호의 대표 정보를 표시하도록 한다.
도 7에 도시된 바와 같이, 호수가 영문과 숫자로 이루어 질 때, 제어부(160)는 빌보드 판 영상 내 좌측 열에 F11호의 대표 정보를 표시하도록 하고, F11호의 대표 정보의 옆에 F12호의 대표 정보를 표시하도록 한다.
다른 예로, 호수가 영문 A, B, C 로 이루어질 때, 제어부(160)는 빌보드 판 영상 내 좌측 열에 A호의 대표 정보를 표시하도록 하고, A호의 대표 정보의 옆에 B호의 대표 정보를 표시하도록 하며 B호의 대표 정보의 옆에 C호의 대표 정보를 표시하도록 한다.
또 다른 예로, 호수가 숫자로 이루어 질 때, 제어부(160)는 빌보드 판 영상 내 좌측 열에 101호의 대표 정보를 표시하도록 하고, 101호의 대표 정보의 옆에 102호의 대표 정보를 표시하도록 한다.
제어부(160)는 업체들의 대표 정보를 표시하도록 제어할 때, 어느 하나의 업체의 주소 정보에 층수와 호수 정보가 포함되어 있지 않다고 판단되면 층수 또는 호수가 포함된 주소 정보를 가지는 업체 중 어느 하나의 업체의 종류나 속성이 동일한 업체의 대표 정보 옆에 어느 하나의 업체의 대표 정보를 표시하도록 표시부를 제어할 수 있다.
도 5를 참조하여 예를 들어 설명하면, 제어부(160)는 건물 내에 입주한 제1카페의 호수 정보가 주소 정보에 포함되어 있지 않다고 판단되면, 건물 내 입주한 업체들 중 호수 정보가 포함된 주소 정보를 가지는 제2카페를 확인하고, 확인한 제2카페의 대표 정보(im4) 일 측에 제1카페의 대표 정보(im5)를 표시하도록 표시부를 제어할 수 있다.
제어부(160)는 건물 정보 중 주소 정보 내에 층수 정보가 없다고 판단되면 선호도, 방문 횟수 중 리뷰 글의 등록 횟수 중 적어도 하나의 표시 조건에 기초하여 빌보드 판 영상에 건물에 입주한 업체들의 대표 정보를 표시하되, 1층에 대응하는 1행부터 마지막 층에 대응하는 마지막 행까지 순차적으로 업체들의 대표 정보를 표시하도록 표시부(112)를 제어한다.
제어부(160)는 건물 정보 중 주소 정보 내에 층수 정보가 없다고 판단되면 선호도, 방문 횟수 중 리뷰 글의 등록 횟수 중 적어도 하나의 표시 조건에 기초하여 빌보드판 영상에 건물에 입주한 업체들의 대표 정보를 표시하되, 현재 위치 정보에 기초하여 현재 위치부터 가까운 위치부터 건물에 입주한 업체들의 대표 정보를 표시하도록 표시부(112)를 제어한다.
좀 더 구체적으로, 제어부(160)는 건물 정보 중 주소 정보 내에 층수 정보가 없다고 판단되면 표시 조건 중 건물 내 업체별 선호도 정보를 확인하고, 확인한 업체별 선호도 정보에 기초하여 선호도가 높은 순서부터 업체의 대표 정보를 표시하되, 현재 위치 정보에 기초하여 현재 위치부터 가까운 위치부터 선호도가 높은 순으로 업체의 대표 정보를 표시하도록 표시부(112)를 제어한다.
제어부(160)는 건물 정보 중 주소 정보 내에 층수 정보가 없다고 판단되면 건물 내 입주한 업체 정보에 기초하여 영상 정보 내 건물의 층수를 인식하는 것도 가능하다.
제어부(160)는 건물 정보 중 주소 정보 내에 층수 정보가 없다고 판단되면 표시 조건 중 건물 내 업체별 방문 횟수 정보를 확인하고, 확인한 업체별 방문 횟수 정보에 기초하여 방문 횟수가 많은 순서부터 업체의 대표 정보를 표시하되, 현재 위치 정보에 기초하여 현재 위치부터 가까운 위치부터 방문 횟수가 많은 순으로 업체의 대표 정보를 표시하도록 표시부(112)를 제어한다.
제어부(160)는 건물 정보 중 주소 정보 내에 층수 정보가 없다고 판단되면 표시 조건 중 건물 내 업체별 리뷰 글의 등록 횟수 정보를 확인하고, 확인한 업체별 리뷰 글의 등록 정보에 기초하여 리뷰 글의 등록 횟수가 많은 순서부터 업체의 대표 정보를 표시하되, 현재 위치 정보에 기초하여 현재 위치부터 가까운 위치부터 리뷰 글의 등록 횟수가 많은 순으로 업체의 대표 정보를 표시하도록 표시부(112)를 제어한다.
제어부(160)는 저장부(161)에 저장된 즐겨 찾기 정보에 기초하여 건물에 입주한 업체 및 다중 이용 시설 중 즐겨 찾기나 관심 지점으로 설정된 장소가 존재하는지 판단하고, 즐겨 찾기나 관심 지점으로 설정된 장소가 존재한다고 판단되면 판단된 장소에 대한 대표 정보가 나머지 대표 정보보다 강조 표시되도록 표시부를 제어할 수 있다.
도 6에 도시된 바와 같이, 사용자에 의해 마트가 관심 지점으로 설정된 경우, 제어부(160)는 건물 영상에 오버랩된 빌보드 판 영상 내의 대표 정보 중 마트에 대응하는 대표 정보가 속한 영역을 강조 표시하도록 표시부를 제어할 수 있다.
강조 표시는, 빌보드 판 영상의 복수 영역들 중 강조하고자 하는 대표 정보가 속한 영역의 투명도를 제1투명도로 조절하는 표시하는 것을 포함할 수 있다. 이 경우 나머지 대표 정보가 속한 영역의 투명도는 제2투명도일 수 있다. 여기서 제1투명도와 제2투명도는 서로 다른 투명도이다.
강조 표시는 강조하고자 하는 대표 정보가 속한 영역의 테두리를 하이라이트로 표시하는 것을 포함할 수 있다.
강조 표시는, 강조하고자 하는 대표 정보의 색상을 제1색상으로 표시하거나 강조하고자 하는 대표 정보가 속한 영역의 배경 색상을 제2색상으로 표시하는 것을 포함할 수 있다.
강조 대상인 아닌 대표 정보는 제1색상과 다른 제3색상으로 표시될 수 있고, 강조 대상이 아닌 대표 정보의 배경 색상은 제2색상과 다른 제4색상으로 표시될 수 있다.
강조 표시는, 강조하고자 하는 대표 정보의 크기를 제1크기로 조절하여 표시하는 것을 포함할 수 있다. 이 경우 강조 대상이 아닌 대표 정보의 크기는 제1크기와 다른 제2크기로 표시될 수 있다. 여기서 제2크기는 제1크기보다 작은 크기일 수 있다.
강조 표시는 강조하고자 하는 대표 정보가 속한 영역의 크기를 제3크기로 표시하는 것을 포함할 수 있다. 이 경우 강조 대상이 아닌 대표 정보가 속한 영역의 크기는 제3크기와 다른 제4크기로 표시될 수 있다. 여기서 제4크기는 제3크기보다 작은 크기일 수 있다.
제어부(160)는 저장부(161)에 저장된 관심지점 정보에 기초하여 건물에 입주한 업체 및 다중 이용 시설 중 관심 지점으로 설정된 장소가 존재하는지 판단하고, 관심 지점으로 설정된 장소가 존재한다고 판단되면 판단된 장소에 대한 대표 정보가 나머지 대표 정보보다 강조 표시되도록 표시부(112)를 제어할 수 있다.
제어부(160)는 입력부를 통해 사용자에 의해 소트(sort)된 관심 지점에 대한 소트 정보에 기초하여 건물에 입주한 업체 및 다중 이용 시설 중 관심 지점으로 설정된 장소가 존재하는지 판단하는 것도 가능하다.
제어부(160)는 인식한 건물에 입주한 업체 및 다중 이용 시설이 하나이면, 빌보드 판 영상의 전체 영역을 통합하고 통합한 빌보드 판 영상 내에 하나에 대한 대표 정보를 표시하도록 표시부(112)를 제어한다.
제어부(160)는 인식한 건물 내의 공실 정보를 확인하고 확인한 공실 정보를 미리 설정된 공실 지시 영상으로 표시하도록 표시부를 제어할 수 있다. 예를 들어, 도 3에 도시된 바와 같이, 제어부(160)는 공실 지시 영상(-)으로 표시하도록 할 수 있다.
제어부(160)는 인식한 건물 내의 공실 정보를 확인하고 확인한 공실 정보를 생략하여 표시하도록 표시부(112)를 제어할 수 있다.
제어부(160)는 증강 현실 기능의 실행 중 저장부(161)에 저장된 관심 지점 정보, 관심 지점의 소트 정보, 즐겨찾기 정보, 선호도 정보를 증강 현실 어플리케이션에 전송할 수 있다.
제어부(160)는 증강 현실 기능의 실행 중 사용자 입력에 대응하여 관심 지점(POI)을 검색하기 위한 검색 창과, 목적지까지의 복수 개의 경로 중 어느 하나의 경로를 선택하기 위한 경로 선택 창과, 증강 현실 영상을 표시하기 위한 영상 표시 창 중 적어도 하나의 표시를 제어할 수 있다.
제어부(160)는 건물에 입주한 업체 및 다중 이용 시설의 방문 횟수 정보에 기초하여 방문 횟수가 가장 많은 장소를 확인하고 확인한 장소에 대한 대표 정보가 나머지 대표 정보보다 강조 표시되도록 표시부를 제어할 수 있다.
제어부(160)는 입력부(111)를 통해 수신된 관심 지점(POI)의 정보를 목적지 정보로 설정하고 설정된 목적지 정보와 현재 위치 정보에 기초하여 현재 위치부터 목적지까지의 경로를 탐색하고 탐색된 경로에 대한 정보를 표시하도록 할 수 있다.
제어부(160)는 복수 개의 경로가 탐색된 경우, 복수 개의 경로에 대한 정보를 표시하도록 표시부를 제어할 수 있다.
제어부(160)는 복수 개의 경로 정보에 대한 각각의 상세 정보를 하나의 스크린에 표시하도록 표시부(112)를 제어할 수 있다. 여기서 상세 정보는, 도착 시간이나, 이동 거리, 교통 정보 등을 포함할 수 있다.
제어부(160)는 복수 개의 경로 중 어느 하나의 경로가 입력부(111)에 의해 선택되면 선택된 경로에 대한 상세 정보를 표시하도록 할 수 있다.
제어부(160)는 증강 현실 영상의 표시 명령에 기초하여 영상 표시 창을 통해 영상 획득부에 의해 획득된 영상과 부가 정보에 대한 영상을 함께 표시하도록 표시부(112)를 제어할 수 있다.
제어부(160)는 내비게이션 기능의 실행 중 입력부에 의해 입력된 목적지 정보를 확인하고 위치 수신부에 수신된 현재 위치 정보를 확인하며, 확인된 현재 위치 정보와 목적지 정보에 기초하여 현재 위치부터 목적지까지의 경로를 탐색하고 탐색된 경로에 대한 길 안내 정보를 획득하고, 지도 정보에 현재 위치 정보, 목적지 정보, 경로 정보가 매치된 내비게이션 영상을 표시하도록 표시부(112)를 제어하고, 현재 위치 정보에 기초하여 길 안내 정보를 출력하도록 표시부(112) 및 사운드 출력부(120) 중 적어도 하나를 제어할 수 있다.
제어부(160)는 내비게이션 기능과 증강 현실 기능의 연동 중 증강 현실 어플리케이션을 표시한 상태에서 증강 현실 어플리케이션에 목적지 정보가 수신되면 수신된 목적지 정보를 내비게이션 어플리케이션에 전달하고, 내비게이션 어플리케이션을 통해 경로 정보를 생성하고 생성된 경로 정보를 증강 현실 어플리케이션으로 전달하는 것도 가능하다.
저장부(161)는 지도 정보를 저장한다.
저장부(161)는 관심 지점에 대한 위치 정보를 저장할 수 있다. 여기서 관심 지점에 대한 위치 정보는 경위도 값을 포함할 수 있고 주소 정보를 포함할 수 있다.
관심 지점은, 사용자에 의해 선택된 지점일 수 있다.
저장부(161)는 관심 지점에 대한 소트 정보를 저장할 수 있다.
저장부(161)는 즐겨 찾기 정보, 방문 횟수 정보, 선호도 정보를 저장할 수 있다.
저장부(161)는 캐쉬, ROM(Read Only Memory), PROM(Programmable ROM), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM) 및 플래쉬 메모리(Flash memory)와 같은 비휘발성 메모리 소자 또는 RAM(Random Access Memory)과 같은 휘발성 메모리 소자 또는 하드디스크 드라이브(HDD, Hard Disk Drive), CD-ROM과 같은 저장 매체 중 적어도 하나로 구현될 수 있으나 이에 한정되지는 않는다. 저장부(161)는 제어부(160)와 관련하여 전술한 프로세서와 별개의 칩으로 구현된 메모리일 수 있고, 프로세서와 단일 칩으로 구현될 수도 있다.
도 1에 도시된 모바일 장치(1)의 구성 요소들의 성능에 대응하여 적어도 하나의 구성요소가 추가되거나 삭제될 수 있다. 또한, 구성 요소들의 상호 위치는 시스템의 성능 또는 구조에 대응하여 변경될 수 있다는 것은 당해 기술 분야에서 통상의 지식을 가진 자에게 용이하게 이해될 것이다.
한편, 도 1에서 도시된 각각의 구성요소는 소프트웨어 및/또는 Field Programmable Gate Array(FPGA) 및 주문형 반도체(ASIC, Application Specific Integrated Circuit)와 같은 하드웨어 구성요소를 의미한다.
도 8은 실시 예에 따른 모바일 장치의 제어 순서도이다.
모바일 장치는 입력부(111)를 통해 잠금 해제 명령, 전원 온 명령 및 영상 표시 명령 중 적어도 하나가 수신되면 표시부(112)에 기본 영상을 표시한다. 즉, 모바일 장치는 표시부(112)의 영상 표시가 비활성화된 상태에서 활성화된 상태로 변경할 수 있다. 여기서 기본 영상은 바탕 화면의 영상일 수 있고, 사용자가 설정한 영상일 수 있으며, 모바일 장치에서 수행 가능한 어플리케이션의 아이콘들이 표시되는 영상일 수 있다.
모바일 장치는 입력부(111)에 의해 증강 현실 어플리케이션의 실행 명령이 수신되면 증강 현실 어플리케이션의 실행을 통해 증강 현실 기능을 수행할 수 있다. 이때 모바일 장치는 증강 현실 기능의 실행 영상을 표시할 수 있다.
모바일 장치는 증강 현실 모드의 수행 중 영상 획득부(140)를 통해 주변 영상을 획득(171)하고 획득된 주변 영상에 대한 영상 정보로부터 건물 영상을 인식(172)한다. 이때 모바일 장치는 사용자에 의해 선택된 관심 지점에 대한 건물 영상을 획득할 수 있다.
모바일 장치가 차량에 마련된 경우, 모바일 장치는 내비게이션 기능이 수행되는 상태에서 입력부(111)에 의해 목적지 정보가 수신되면 내비게이션 영상 내에 증강 현실 기능에 대한 영상을 표시할 수 있다.
모바일 장치가 차량에 마련된 경우, 모바일 장치는 내비게이션 기능에 대응하여 현재 위치 정보와 목적지 정보에 기초하여 현재 위치부터 목적지까지의 경로를 탐색하고 탐색된 경로에 대한 경로 정보를 표시할 수 있다.
모바일 장치는 입력부(111)에 의해 증강 현실 어플리케이션의 실행 명령이 수신되면 영상 획득부(140)의 활성화를 제어할 수 있고, 내비게이션 어플리케이션의 실행에 대응하여 위치 수신부(130)의 활성화를 제어할 수 있다.
아울러 모바일 장치는 표시부의 영역 분할 명령에 대응하여 표시부의 일부 영역에 내비게이션 영상을 표시하고, 다른 영역에 증강 현실 영상을 표시하도록 하는 것도 가능하다.
모바일 장치는 지도 정보, 현재 위치 정보 및 영상 정보에 기초하여 인식한 건물 영상에 대응하는 건물에 대한 건물 정보를 획득(173)한다.
여기서 지도 정보는, 저장부(161)에 저장된 정보일 수 있고, 서버(2)로부터 수신하는 것도 가능하다.
건물 정보는 건물의 주소 정보, 입주한 업체 정보, 총 층수 정보, 주차장 위치 정보 등을 포함할 수 있다. 업체 정보는 업체에 대한 업종이나 이름 등의 인식을 위한 대표 정보와, 층수와 호수 중 적어도 하나를 포함하는 업체의 주소 정보를 포함할 수 있다.
업체 정보는 선호도, 방문 횟수, 리뷰 글의 등록 횟수 등에 대한 정보를 더 포함할 수 있다.
모바일 장치는 획득한 건물 정보에 기초하여 건물에 입주한 업체 및 다중 이용 시설에 대한 주소 정보 및 대표 정보를 획득(174)한다. 이때 모바일 장치는 건물에 입주한 업체 및 다중 이용 시설에 대한 주소 정보에 기초하여 건물의 층수 정보를 획득하는 것도 가능하고, 건물의 층수 정보 및 호수 정보를 획득하는 것도 가능하다.
모바일 장치는 획득한 건물 정보에 기초하여 영상 내 건물의 층수 정보를 획득하고, 건물의 층수 정보 및 호수 정보를 획득(175)하는 것도 가능하다.
모바일 장치는 인식한 건물 영상의 크기 및 형상에 기초하여 빌보드 판 영상을 생성한다.
모바일 장치는 확인한 층수 정보에 기초하여 빌보드 판 영상의 전체 영역을 복수 개의 행에 의한 행 영역으로 구분할 수 있다. 또한 모바일 장치는 건물의 층수 정보 및 호수 정보에 기초하여 빌보드 판 영상의 전체 영역을 복수 개의 행과 열에 의한 행과 열의 영역으로 구분할 수 있다(176).
모바일 장치는 업체별 층수 정보가 매치되어 구분된 빌보드 판 영상 내의 각 행의 영역에 업체별 대표 정보를 표시하되 건물 영상에 오버랩시켜 표시할 수 있다. 이를 통해 건물의 고도 정보 및 건물 내 업체들의 고도 정보를 표시하도록 할 수 있다.
모바일 장치는 업체별 층수 정보와 호수 정보가 매치되어 구분된 빌보드 판 영상 내의 각 행과 열의 영역에 업체별 대표 정보를 표시하되 건물 영상에 오버랩시켜 표시할 수 있다(177).
아울러, 모바일 장치는 건물 정보 중 주소 정보 내에 층수 정보가 없다고 판단되면 선호도, 방문 횟수 중 리뷰 글의 등록 횟수 중 적어도 하나의 표시 조건에 기초하여 빌보드 판 영상에 건물에 입주한 업체들의 대표 정보를 표시하되, 1층에 대응하는 1행부터 마지막 층에 대응하는 마지막 행까지 순차적으로 업체들의 대표 정보를 표시할 수 있다.
모바일 장치는 건물 정보 중 주소 정보 내에 층수 정보가 없다고 판단되면 선호도, 방문 횟수 중 리뷰 글의 등록 횟수 중 적어도 하나의 표시 조건에 기초하여 빌보드판 영상에 건물에 입주한 업체들의 대표 정보를 표시하되, 현재 위치 정보에 기초하여 현재 위치부터 가까운 위치부터 건물에 입주한 업체들의 대표 정보를 표시할 수 있다.
모바일 장치는 저장부(161)에 저장된 즐겨 찾기 정보에 기초하여 건물에 입주한 업체 및 다중 이용 시설 중 즐겨 찾기나 관심 지점으로 설정된 장소가 존재하는지 판단하고, 즐겨 찾기나 관심 지점으로 설정된 장소가 존재한다고 판단되면 판단된 장소에 대한 대표 정보가 나머지 대표 정보보다 강조 표시할 수 있다.
강조 표시는, 빌보드 판 영상의 복수 영역들 중 강조하고자 하는 대표 정보가 속한 영역의 투명도를 제1투명도로 조절하는 표시하는 것을 포함할 수 있다. 이 경우 나머지 대표 정보가 속한 영역의 투명도는 제2투명도일 수 있다. 여기서 제1투명도와 제2투명도는 서로 다른 투명도이다.
강조 표시는 강조하고자 하는 대표 정보가 속한 영역의 테두리를 하이라이트로 표시하는 것을 포함할 수 있다.
강조 표시는, 강조하고자 하는 대표 정보의 색상을 제1색상으로 표시하거나 강조하고자 하는 대표 정보가 속한 영역의 배경 색상을 제2색상으로 표시하는 것을 포함할 수 있다.
강조 대상인 아닌 대표 정보는 제1색상과 다른 제3색상으로 표시될 수 있고, 강조 대상이 아닌 대표 정보의 배경 색상은 제2색상과 다른 제4색상으로 표시될 수 있다.
강조 표시는, 강조하고자 하는 대표 정보의 크기를 제1크기로 조절하여 표시하는 것을 포함할 수 있다. 이 경우 강조 대상이 아닌 대표 정보의 크기는 제1크기와 다른 제2크기로 표시될 수 있다. 여기서 제2크기는 제1크기보다 작은 크기일 수 있다.
강조 표시는 강조하고자 하는 대표 정보가 속한 영역의 크기를 제3크기로 표시하는 것을 포함할 수 있다. 이 경우 강조 대상이 아닌 대표 정보가 속한 영역의 크기는 제3크기와 다른 제4크기로 표시될 수 있다. 여기서 제4크기는 제3크기보다 작은 크기일 수 있다.
모바일 장치는 인식한 건물 내의 공실 정보를 확인하고 확인한 공실 정보를 미리 설정된 공실 지시 영상으로 표시할 수 있다. 예를 들어, 도 3에 도시된 바와 같이, 모바일 장치는 빌보드 판 영상의 복수 개의 영역 중 공실에 대응하는 영역에 공실 지시 영상(-)을 표시할 수 있다.
모바일 장치는 업체들의 대표 정보를 빌보드 판 영상 내에 표시할 때, 어느 하나의 업체의 주소 정보에 호수 정보가 포함되어 있지 않다고 판단되면, 층수 또는 호수가 포함된 주소 정보를 가지는 업체들 중 어느 하나의 업체의 종류와 동일한 업체의 대표 정보 옆에 어느 하나의 업체의 대표 정보를 표시할 수 있다.
한편, 개시된 실시예들은 컴퓨터에 의해 실행 가능한 명령어를 저장하는 기록매체의 형태로 구현될 수 있다. 명령어는 프로그램 코드의 형태로 저장될 수 있으며, 프로세서에 의해 실행되었을 때, 프로그램 모듈을 생성하여 개시된 실시예들의 동작을 수행할 수 있다. 기록매체는 컴퓨터로 읽을 수 있는 기록매체로 구현될 수 있다.
컴퓨터가 읽을 수 있는 기록매체로는 컴퓨터에 의하여 해독될 수 있는 명령어가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래쉬 메모리, 광 데이터 저장장치 등이 있을 수 있다.
1: 모바일 장치 2: 서버
110: 사용자 인터페이스 120: 사운드 출력부
130: 위치 수신부 140: 영상 획득부
150: 통신부 160: 제어부
161: 저장부

Claims (22)

  1. 표시부;
    현재 위치를 획득하기 위한 위치 정보를 수신하는 위치 수신부;
    주변의 환경에 대한 영상을 획득하는 영상 획득부; 및
    증강 현실 모드의 수행 중 상기 영상 획득부에 의해 획득된 영상에 대한 영상 정보의 표시를 제어하되, 상기 위치 수신부에 의해 획득된 현재 위치 정보 및 지도 정보 중 적어도 하나에 기초하여 상기 영상 정보 내에 건물에 대한 정보를 획득하고, 상기 획득한 건물에 대한 대표 정보를 상기 영상 정보에 오버랩시켜 표시하도록 상기 표시부를 제어하는 제어부를 포함하는 모바일 장치.
  2. 제 1 항에 있어서, 상기 대표 정보는,
    로고 영상, 엠블럼 영상, 광고 영상 및 간판 영상 중 적어도 하나를 포함하는 모바일 장치.
  3. 제 1 항에 있어서, 상기 제어부는,
    상기 지도 정보, 상기 현재 위치 정보 및 상기 영상 정보에 기초하여 상기 영상 내 건물을 인식하고, 상기 영상 정보에 기초하여 상기 인식한 건물의 크기 및 형상 중 적어도 하나에 대응하는 빌보드판 영상을 생성하고, 상기 생성한 빌보드판 영상을 상기 인식한 건물에 대한 건물 영상에 오버랩시켜 표시하도록 상기 표시부를 제어하는 모바일 장치.
  4. 제 3 항에 있어서, 상기 제어부는,
    상기 인식한 건물에 입주한 업체 및 다중 이용 시설에 대한 주소 정보 및 대표 정보를 획득하고, 상기 주소 정보에 기초하여 상기 빌보드 판 영상 내에 상기 대표 정보를 열과 행으로 구분하여 표시하도록 상기 표시부를 제어하는 모바일 장치.
  5. 제 4 항에 있어서, 상기 제어부는,
    상기 인식한 건물의 층수 정보를 확인하고 상기 확인한 층수 정보에 기초하여 상기 빌보드 판 영상의 전체 영역을 복수 개의 행에 의한 행 영역으로 구분하고, 상기 구분된 행 영역 내에 상기 대표 정보를 표시하도록 상기 표시부를 제어하는 모바일 장치.
  6. 제 4 항에 있어서, 상기 제어부는,
    상기 인식한 건물의 층수 정보 및 호수 정보를 확인하고 상기 확인한 층수 정보 및 호수 정보 중 적어도 하나에 기초하여 상기 빌보드 판 영상의 전체 영역을 복수 개의 행과 열에 의한 복수 개의 영역으로 구분하고, 상기 확인한 층수 정보 및 호수 정보에 기초하여 상기 복수 개의 영역 내에 상기 대표 정보를 표시하도록 상기 표시부를 제어하는 모바일 장치.
  7. 제 6 항에 있어서, 상기 제어부는,
    상기 인식한 건물에 입주한 업체 및 다중 이용 시설이 하나이면, 상기 빌보드 판 영상의 전체 영역을 통합하고 상기 통합한 빌보드 판 영상 내에 하나에 대한 대표 정보를 표시하도록 상기 표시부를 제어하는 모바일 장치.
  8. 제 4 항에 있어서,
    외부의 서버와 통신을 수행하는 통신부를 더 포함하고,
    상기 제어부는, 상기 통신부에 의해 수신된 상기 건물에 입주한 업체 및 다중 이용 시설의 방문 횟수 정보에 기초하여 방문 횟수가 가장 많은 장소를 확인하고 상기 확인한 장소에 대한 대표 정보가 나머지 대표 정보보다 강조 표시되도록 상기 표시부를 제어하는 모바일 장치.
  9. 제 8 항에 있어서, 상기 제어부는,
    상기 빌보드판 영상 내에 상기 대표 정보를 표시하고, 상기 대표 정보가 표시된 빌보드판 영상을 상기 인식한 건물에 대한 건물 영상에 오버랩시켜 표시하도록 상기 표시부를 제어하는 모바일 장치.
  10. 제 8 항에 있어서,
    상기 강조 표시는, 상기 대표 정보의 투명도, 하이라이트, 색상, 크기 중 적어도 하나를 변경하여 표시하는 것을 포함하는 모바일 장치.
  11. 제 4 항에 있어서,
    외부의 서버와 통신을 수행하는 통신부를 더 포함하고,
    상기 제어부는, 상기 통신부에 의해 수신된 상기 건물에 입주한 업체 및 다중 이용 시설의 선호도 정보에 기초하여 선호도가 가장 높은 장소를 확인하고 상기 확인한 장소에 대한 대표 정보가 나머지 대표 정보보다 강조 표시되도록 상기 표시부를 제어하는 모바일 장치.
  12. 제 4 항에 있어서,
    즐겨 찾기 정보를 저장하는 저장부를 더 포함하고,
    상기 제어부는, 상기 저장된 즐겨 찾기 정보에 기초하여 상기 건물에 입주한 업체 및 다중 이용 시설 중 즐겨 찾기로 설정된 장소가 존재하는지 판단하고, 상기 즐겨 찾기로 설정된 장소가 존재한다고 판단되면 상기 판단된 장소에 대한 대표 정보가 나머지 대표 정보보다 강조 표시되도록 상기 표시부를 제어하는 모바일 장치.
  13. 제 4 항에 있어서,
    관심 지점 정보를 저장하는 저장부를 더 포함하고,
    상기 제어부는, 상기 저장된 관심지점 정보에 기초하여 상기 건물에 입주한 업체 및 다중 이용 시설 중 관심 지점으로 설정된 장소가 존재하는지 판단하고, 상기 관심 지점으로 설정된 장소가 존재한다고 판단되면 상기 판단된 장소에 대한 대표 정보가 나머지 대표 정보보다 강조 표시되도록 상기 표시부를 제어하는 모바일 장치.
  14. 제 13 항에 있어서, 상기 제어부는,
    사용자에 의해 소트(sort)된 관심 지점에 대한 정보에 기초하여 상기 건물에 입주한 업체 및 다중 이용 시설 중 관심 지점으로 설정된 장소가 존재하는지 판단하는 모바일 장치.
  15. 제 4 항에 있어서, 상기 제어부는,
    상기 인식한 건물 내의 공실 정보를 확인하고 상기 확인한 공실 정보를 미리 설정된 공실 지시 영상으로 표시하도록 상기 표시부를 제어하는 모바일 장치.
  16. 표시부;
    현재 위치를 획득하기 위한 위치 정보를 수신하는 위치 수신부;
    도로의 환경에 대한 영상을 획득하는 영상 획득부; 및
    현재 위치부터 목적지까지의 길 안내 중 상기 영상 획득부에 의해 획득된 영상에 대한 영상 정보의 표시를 제어하되, 상기 위치 수신부에 의해 획득된 현재 위치 정보 및 지도 정보에 기초하여 상기 영상 정보 내에 건물에 대한 정보를 획득하고, 상기 획득한 건물에 대한 대표 정보를 상기 영상 정보에 오버랩시켜 표시하도록 상기 표시부를 제어하는 제어부를 포함하는 차량.
  17. 제 16 항에 있어서, 상기 제어부는,
    상기 지도 정보, 상기 현재 위치 정보 및 상기 영상 정보에 기초하여 상기 영상 내 건물을 인식하고, 상기 영상 정보에 기초하여 상기 인식한 건물의 크기 및 형상 중 적어도 하나에 대응하는 빌보드판 영상을 생성하고, 상기 생성한 빌보드판 영상 내에 상기 대표 정보를 표시하고, 상기 대표 정보가 표시된 빌보드판 영상을 상기 인식한 건물에 대한 건물 영상에 오버랩시켜 표시하도록 상기 표시부를 제어하는 차량.
  18. 제 17 항에 있어서, 상기 제어부는,
    상기 인식한 건물에 입주한 업체 및 다중 이용 시설에 대한 주소 정보 및 대표 정보를 획득하고, 상기 주소 정보에 기초하여 상기 빌보드 판 영상 내에 상기 대표 정보를 열과 행으로 구분하여 표시하도록 상기 표시부를 제어하는 차량.
  19. 제 17 항에 있어서, 상기 제어부는,
    상기 인식한 건물의 층수 정보를 확인하고 상기 확인한 층수 정보에 기초하여 상기 빌보드 판 영상의 전체 영역을 복수 개의 행에 의한 행 영역으로 구분하고, 상기 구분된 행 영역 내에 상기 대표 정보를 표시하도록 상기 표시부를 제어하는 차량.
  20. 제 17 항에 있어서, 상기 상기 제어부는,
    상기 인식한 건물의 층수 정보 및 호수 정보를 확인하고 상기 확인한 층수 정보 및 호수 정보 중 적어도 하나에 기초하여 상기 빌보드 판 영상의 전체 영역을 복수 개의 행과 열에 의한 복수 개의 영역으로 구분하고, 상기 확인한 층수 정보 및 호수 정보에 기초하여 상기 복수 개의 영역 내에 상기 대표 정보를 표시하도록 상기 표시부를 제어하는 차량.
  21. 제 17 항에 있어서,
    외부의 서버와 통신을 수행하는 통신부를 더 포함하고,
    상기 제어부는, 상기 통신부에 의해 수신된 상기 건물에 입주한 업체 및 다중 이용 시설의 방문 횟수 정보 및 선호도 정보 중 적어도 하나에 기초하여 방문 횟수 및 선호도 중 적어도 하나가 가장 높은 장소를 확인하고 상기 확인한 장소에 대한 대표 정보가 나머지 대표 정보보다 강조 표시되도록 상기 표시부를 제어하고,
    상기 강조 표시는, 상기 대표 정보의 투명도, 하이라이트, 색상, 크기 중 적어도 하나를 변경하여 표시하는 것을 포함하는 차량.
  22. 제 17 항에 있어서,
    즐겨 찾기 정보 및 관심 지점 정보를 저장하는 저장부를 더 포함하고,
    상기 제어부는, 상기 저장된 즐겨 찾기 정보 및 관심 지점 정보 중 적어도 하나에 기초하여 상기 건물에 입주한 업체 및 다중 이용 시설 중 즐겨 찾기 또는 관심 지점으로 설정된 장소가 존재하는지 판단하고, 상기 즐겨 찾기 또는 관심 지점으로 설정된 장소가 존재한다고 판단되면 상기 판단된 장소에 대한 대표 정보가 나머지 대표 정보보다 강조 표시되도록 상기 표시부를 제어하는 차량.
KR1020210037937A 2021-03-24 2021-03-24 모바일 장치 및 차량 Pending KR20220132863A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020210037937A KR20220132863A (ko) 2021-03-24 2021-03-24 모바일 장치 및 차량
US17/548,869 US11941162B2 (en) 2021-03-24 2021-12-13 Mobile apparatus and vehicle displaying augmented reality image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210037937A KR20220132863A (ko) 2021-03-24 2021-03-24 모바일 장치 및 차량

Publications (1)

Publication Number Publication Date
KR20220132863A true KR20220132863A (ko) 2022-10-04

Family

ID=83363302

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210037937A Pending KR20220132863A (ko) 2021-03-24 2021-03-24 모바일 장치 및 차량

Country Status (2)

Country Link
US (1) US11941162B2 (ko)
KR (1) KR20220132863A (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230028852A (ko) * 2021-08-23 2023-03-03 현대자동차주식회사 모빌리티 배차 시스템 및 방법
JP2024134343A (ja) * 2023-03-20 2024-10-03 株式会社ゼンリンデータコム 案内装置、案内方法、及びコンピュータプログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120135126A (ko) 2011-06-02 2012-12-12 크루셜소프트 주식회사 포인팅 디바이스를 이용한 증강현실 제어 방법 및 장치
KR101358059B1 (ko) 2012-06-25 2014-02-05 에이알비전 (주) 증강현실을 이용한 장소정보 표출방법
US9432421B1 (en) 2014-03-28 2016-08-30 A9.Com, Inc. Sharing links in an augmented reality environment
KR102627612B1 (ko) 2019-02-19 2024-01-22 삼성전자주식회사 증강현실을 이용한 주변 정보 표시 방법 및 그 전자 장치

Also Published As

Publication number Publication date
US11941162B2 (en) 2024-03-26
US20220308656A1 (en) 2022-09-29

Similar Documents

Publication Publication Date Title
US10883849B2 (en) User terminal device for displaying map and method thereof
EP2748561B1 (en) Method, apparatus and computer program product for displaying items on multiple floors in multi-level maps
US10817243B2 (en) Controlling a user interface based on change in output destination of an application
US9710554B2 (en) Methods, apparatuses and computer program products for grouping content in augmented reality
EP2869188A1 (en) Electronic device for sharing application and control method thereof
KR20200014878A (ko) 폴더블 디바이스 및 그 제어 방법
US9874448B2 (en) Electric device and information display method
US20100328344A1 (en) Method and apparatus for an augmented reality user interface
CN108984605A (zh) 场地地图应用以及提供场地目录的系统
US20140351728A1 (en) Method and apparatus for controlling screen display using environmental information
CN102542907B (zh) 电子设备及其控制方法
US20170115749A1 (en) Systems And Methods For Presenting Map And Other Information Based On Pointing Direction
US20130335348A1 (en) Dual display device and method of controlling the same
US20220196427A1 (en) Mobile Device and Vehicle
CN108519080A (zh) 一种导航路线规划方法及终端
US11941162B2 (en) Mobile apparatus and vehicle displaying augmented reality image
CN105577913B (zh) 移动终端及其控制方法
KR20170004447A (ko) 이동단말기 및 그 제어방법
KR101677637B1 (ko) 영상 투사를 이용한 경로 안내 방법 및 이를 이용하는 이동 단말기
KR20150026991A (ko) 프레젠테이션 메커니즘을 갖는 전자 장치 및 그 작동 방법
US20220381578A1 (en) Mobile apparatus and vehicle
US20230273043A1 (en) Map image display device
KR101962635B1 (ko) 위치기반 추억데이터 기록 및 회상 서비스를 제공하는 이동통신 단말기의 제어방법
KR20190053489A (ko) 가상현실에 기반한 그림지도를 이용하여 가상 답사서비스를 제공하는 이동통신 단말기의 제어방법
US20230143631A1 (en) Electronic Device and Control Method Thereof

Legal Events

Date Code Title Description
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

PN2301 Change of applicant

St.27 status event code: A-3-3-R10-R13-asn-PN2301

St.27 status event code: A-3-3-R10-R11-asn-PN2301

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

A201 Request for examination
PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

R17-X000 Change to representative recorded

St.27 status event code: A-3-3-R10-R17-oth-X000

D21 Rejection of application intended

Free format text: ST27 STATUS EVENT CODE: A-1-2-D10-D21-EXM-PE0902 (AS PROVIDED BY THE NATIONAL OFFICE)

PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

E13 Pre-grant limitation requested

Free format text: ST27 STATUS EVENT CODE: A-2-3-E10-E13-LIM-X000 (AS PROVIDED BY THE NATIONAL OFFICE)

E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11 Amendment of application requested

Free format text: ST27 STATUS EVENT CODE: A-2-2-P10-P11-NAP-X000 (AS PROVIDED BY THE NATIONAL OFFICE)

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13 Application amended

Free format text: ST27 STATUS EVENT CODE: A-2-2-P10-P13-NAP-X000 (AS PROVIDED BY THE NATIONAL OFFICE)

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

D21 Rejection of application intended

Free format text: ST27 STATUS EVENT CODE: A-1-2-D10-D21-EXM-PE0902 (AS PROVIDED BY THE NATIONAL OFFICE)

PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902