KR20170094030A - 실내 내비게이션 및 파노라마 사진 맵핑 제공 시스템 및 그 방법 - Google Patents

실내 내비게이션 및 파노라마 사진 맵핑 제공 시스템 및 그 방법 Download PDF

Info

Publication number
KR20170094030A
KR20170094030A KR1020160014840A KR20160014840A KR20170094030A KR 20170094030 A KR20170094030 A KR 20170094030A KR 1020160014840 A KR1020160014840 A KR 1020160014840A KR 20160014840 A KR20160014840 A KR 20160014840A KR 20170094030 A KR20170094030 A KR 20170094030A
Authority
KR
South Korea
Prior art keywords
mobile communication
communication terminal
service
panoramic
electronic map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
KR1020160014840A
Other languages
English (en)
Inventor
이효영
김성택
양성진
심재정
Original Assignee
코디스페이스 주식회사
이미지온 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코디스페이스 주식회사, 이미지온 주식회사 filed Critical 코디스페이스 주식회사
Priority to KR1020160014840A priority Critical patent/KR20170094030A/ko
Publication of KR20170094030A publication Critical patent/KR20170094030A/ko
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G01C21/206—Instruments for performing navigational calculations specially adapted for indoor navigation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
    • G01S11/02—Systems for determining distance or velocity not using reflection or reradiation using radio waves
    • G01S11/06—Systems for determining distance or velocity not using reflection or reradiation using radio waves using intensity measurements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three-dimensional [3D] modelling for computer graphics
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H04N5/23232—

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Navigation (AREA)
  • Instructional Devices (AREA)

Abstract

개시된 본 발명에 따른 실내 내비게이션 및 파노라마 사진 맵핑 제공 시스템 및 방법은, 이동통신 단말기에 실내 내비게이션 서비스를 제공할 때, 실내 전자지도상에 현재위치를 표시해주는 것뿐만 아니라, 현재위치에 대응되는 파노라마 사진을 실내 전자지도와 함께 한 화면에 표시해준다. 또한 실내 전자지도상에 현재위치에 대응되는 파노라마 사진을 이동통신 단말기에 함께 표시해줄 때, 파노라마 사진의 방향을 사용자의 진행 방향과 일치시켜 표시해준다. 본 발명에 의하면, 사용자는 현재의 위치를 더욱 쉽고 정확하게 인식할 수 있어 실내에서 목적지를 더욱 쉽고 편리하게 찾을 수 있는 효과가 있다.

Description

실내 내비게이션 및 파노라마 사진 맵핑 제공 시스템 및 그 방법{System and Method for providing mapping of indoor navigation and panorama pictures}
본 발명은 스마트 디바이스와 같은 이동통신 단말기에 실내 내비게이션을 제공할 때 파노라마 사진을 맵핑하여 함께 제공하는 시스템 및 방법에 관한 것이다.
백화점이나 마트와 같은 대형 쇼핑몰, 컨벤션 센터, 지하철 역사, 대형 건물 등 실내 공간이 보다 복잡해지고 또한 실내에서의 생활 비중이 높아짐에 따라 현재 사용자가 있는 위치를 기반으로 하여 실내의 공간 정보를 제공하는 서비스에 대한 관심과 중요도가 증가하고 있다.
실내 내비게이션 서비스는 사용자가 소지하고 있는 스마트 디바이스와 같은 이동통신 단말기의 위치를 파악하고 전자지도상에 위치를 표시하여 사용자에게 경로정보를 제공하는 것이다. 실내 내비게이션 서비스를 제공하기 위해서는 이동식 단말기의 현재위치를 정확하게 파악하는 것이 중요하므로, 이동식 단말기의 정확한 위치 측정을 파악하기 위한 연구 및 기술개발이 현재 활발하게 진행되고 있다.
한편, 전술한 바와 같이 실내 공간이 복잡해짐에 따라 전자지도상에 위치를 표시하는 것만으로 원하는 목적지를 찾거나 이동하는데 어려움이 있을 수 있다.
종래에는 하기 선행기술문헌에 개시된 바와 같이, 실외 지역 즉, 도로나 지형, 지물 등 해당 지역의 정보를 담고 있는 전자지도를 제공하고, 이와 동시에 도로나 지형, 지물 등을 시각적으로 더욱 쉽게 인식할 수 있도록, 전자지도상에 해당 지역의 실제 사진을 표시해주는 파노라마 사진 맵핑 서비스가 제공된다.
그러나, 실내에는 아직까지 이와 같은 기술이나 서비스가 제공되고 있지 않고 있다. 실내에 이와 같은 기술을 적용하기 위해서는 아래와 같은 문제점이 있다.
실외에서 파노라마 사진 맵핑 서비스를 제공하기 위해서는 사진 촬영 작업을 통해 획득되는 각각의 영상 프레임의 GPS(Global Positioning System) 좌표를 이용하여 해당 사진을 전자지도 상의 정확한 위치에 올려놓게 되는데, 실내에서는 GPS 좌표 정보를 이용할 수 없을뿐더러 좁은 지역에서의 위치 정확도를 요구하는 실내에서는 부적합하다.
한편, 상기 선행기술문헌의 경우 단말기를 구비하는 사용자의 진행방향과 단말기에 표시된 파노라마 사진의 동기화가 되어 있지 않은 문제점이 있다. 실내의 경우 점포나 시설 등의 공간 밀집도가 크기 때문에 시각적으로 정확한 위치 인식을 하기 위해서는 진행방향과 파노라마 사진의 동기화가 필요하다. 종래 기술의 경우 사용자가 단말기에 표시된 해당 지점의 파노라마 사진에서 진행방향 및 주변정보를 보기 위해서는 입력수단(터치입력, 마우스 등)을 조작하여 위치를 지정해서 보아야 하는 불편한 문제점이 발생한다.
KR 10-2011-0055287 A (2011.05.25. 공개)
본 발명은 상기와 같은 점을 감안하여 안출된 것으로써 그 해결 과제는, 이동통신 단말기에 실내 내비게이션 서비스를 제공할 때 실내 전자지도상에 현재 위치를 표시해주는 동시에 현재 위치의 실제 파노라마 사진을 함께 표시해주는 실내 내비게이션 및 파노라마 사진 맵핑 제공 시스템 및 그 방법을 제공하는데 있다.
또한, 실내 전자지도상에 현재 위치를 표시해주고 또한 실제 파노라마 사진을 함께 표시해줄 때, 파노라마 사진의 방향을 사용자(단말기)의 진행방향과 일치시켜 동기화시켜주는 실내 내비게이션 및 파노라마 사진 맵핑 제공 시스템 및 그 방법을 제공하는데 있다.
상기 과제의 해결 수단으로 본 발명에 따른 실내 내비게이션 및 파노라마 사진 맵핑 제공 방법은, a) 미리 저장된 실내 전자지도에 관리자의 설정에 의해 노드/링크를 선정하는 단계; b) 상기 선정된 각 노드 지점과 대응되는 실내 위치에서 측정자의 조작에 의해 측정용 이동통신 단말기 및 촬영장치가 측위 정보를 수집 및 촬영하고, 측위 정보 및 촬영 이미지를 측량 서버에 전송하는 단계; c) 측량 서버로부터 측위 정보 및 촬영 이미지를 전송받은 측량 이미지 후처리 서버가 파노라마 사진을 생성하여 저장한 후 서비스 서버에 전송하는 단계; d) 실내에서 서비스용 이동통신 단말기가 현재위치를 측정하고 측위 정보를 서비스 서버에 전송하는 단계; 및, e) 서비스 서버가 상기 서비스용 이동통신 단말기의 현재위치에 대응하는 해당위치의 파노라마 사진을 검색하여, 상기 현재위치에 대응되는 해당위치의 파노라마 사진을 현재위치가 표시된 실내 전자지도와 함께 상기 서비스용 이동통신 단말기에 표시하는 단계;를 포함한다.
또한, 상기 d) 단계에서 서비스용 이동통신 단말기는 요우각(yaw angle)을 포함하는 자세각을 더 측정하여 이 측정 정보를 서비스 서버에 전송하고, 상기 e) 단계에서 상기 서비스 서버는 서비스용 이동통신 단말기의 요우각(yaw angle)과 대응되게 파노라마 사진의 방향을 동기화하여 상기 서비스용 이동통신 단말기에 표시한다.
한편, 상기 과제의 해결 수단으로 본 발명에 따른 실내 내비게이션 및 파노라마 사진 맵핑 제공 시스템은, 설정된 실내의 각 노드/링크에서의 무선통신 신호의 세기를 나타내는 핑거프린트(fingerprint) 정보가 저장되는 무선통신지도 데이터베이스와, 상기 노드/링크에서의 자기장의 세기를 나타내는 핑거프린트 정보가 저장되는 자기장지도 데이터베이스와, 실내 전자지도가 저장되는 실내 전자지도 데이터베이스 및 상기 노드/링크에서의 파노라마 사진이 저장되는 파노라마 사진 데이터베이스를 포함하는 서비스 서버; 및, 상기 서비스 서버로부터 무선통신지도 정보, 자기장지도 정보를 수신하여 실내에서 현재위치를 측정하고, 상기 현재위치 측위 정보를 상기 서비스 서버로 송신하는 서비스용 이동통신 단말기;를 포함한다. 여기서 상기 서비스 서버는 상기 서비스용 이동통신 단말기의 현재위치에 대응하는 해당위치의 파노라마 사진을 현재위치가 표시된 실내 전자지도와 함께 상기 서비스용 이동통신 단말기에 표시하는 것을 특징으로 하는 실내 내비게이션 및 파노라마 사진 맵핑 제공 시스템.
또한, 상기 서비스용 이동통신 단말기는 요우각(yaw angle)을 포함하는 자세각을 더 측정하여 이 측정 정보를 서비스 서버에 전송하고, 상기 서비스 서버는 서비스용 이동통신 단말기의 요우각(yaw angle)과 대응되게 파노라마 사진의 방향을 동기화하여 상기 서비스용 이동통신 단말기에 표시한다.
본 발명에 의하면 실내 내비게이션 서비스를 제공할 때 실내 전자지도상에 현재위치를 표시해주는 것뿐만 아니라, 현재위치에 대응되는 파노라마 사진을 실내 전자지도와 함께 한 화면에 표시해주므로, 사용자는 현재의 위치를 정확하게 인식할 수 있어 사용자 편의성이 향상되고 목적지를 쉽게 찾을 수 있는 효과가 있다.
또한, 본 발명에 의하면 실내 전자지도상에 현재위치에 대응되는 파노라마 사진을 이동통신 단말기에 함께 표시해줄 때, 파노라마 사진의 방향을 사용자의 진행 방향과 일치시켜 표시해주므로, 사용자는 현재의 위치를 더욱 쉽고 정확하게 인식할 수 있어 실내에서 목적지를 더욱 쉽고 편리하게 찾을 수 있는 효과가 있다.
도 1은 본 발명의 실시예에 따른 실내 내비게이션 및 파노라마 사진 맵핑 제공 시스템의 블록 구성도,
도 2는 실내 내비게이션 및 파노라마 사진 맵핑 제공 방법을 설명하기 위한 흐름도,
도 3 내지 도 9는 본 발명의 실시예에 따른 실내 내비게이션 및 파노라마 사진 맵핑 제공 시스템 및 방법을 구체적으로 설명하기 위한 도면이다.
본 발명의 상기와 같은 목적, 특징 및 다른 장점들은 첨부도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명함으로써 더욱 명백해질 것이다. 이하 첨부된 도면을 참조하여 본 발명의 실시예에 따른 실내 내비게이션 및 파노라마 사진 맵핑 제공 시스템 및 그 방법 대해 상세히 설명하기로 한다.
도 1을 참조하면, 본 발명의 실시예에 따른 실내 내비게이션 및 파노라마 사진 맵핑 제공 시스템(100)은, 측정용 이동통신 단말기(110), 촬영 장치(120), 측량 서버(130), 이미지 후처리 서버(140), 서비스 서버(150) 및 서비스용 이동통신 단말기(160)를 포함한다.
측정용 이동통신 단말기(110)는 실내 전자지도에서 작성된 노드/링크와 대응되는 실내 위치에서, 측정자의 조작에 의해 측위 정보를 수집하게 된다. 이동통신 단말기는 통신이 가능한 휴대용 장치로 스마트폰, 태블릿PC 등이 될 수 있다. 측정용 이동통신 단말기(110)에는 공지된 각종 센서 및 측정 수단 예를 들어, 가속도 센서, 각속도 센서, 자기장 센서, 자이로 센서, 무선통신모듈(wifi, GPS, 블루투스 등) 등을 구비하고 있어, 일정 위치에서 측위 정보를 수집할 수 있게 된다. 측정용 이동통신 단말기(110)는 일정 위치에서 수집된 측위 정보를 측량 서버(130)에 전달하게 된다.
촬영 장치(120)는 실내 전자지도에서 작성된 노드/링크와 대응되는 실내 위치에서, 측정자의 조작에 의해 각 위치에서의 촬영을 수행하도록 한다. 촬영 장치(120)에 의해 획득된 이미지는 측량 서버(130)로 전송된다.
측량 서버(130)에는 2D 또는 3D의 실내 전자지도가 저장된다. 한편, 측량 서버(130)는 실내 전자지도를 측정용 이동통신 단말기(110)에 전송하여 측위 작업을 수행하도록 하고, 또한 서비스 서버(150)에도 전송한다. 실내 전자지도에는 관리자의 설정에 의해 노드/링크가 선정된다. 또한 측량 서버(130)에는 상기 선정한 노드/ 링크에서 측정용 이동통신 단말기(110) 및 촬영 장치(120)가 수집한 측위 정보 및 촬영 이미지가 저장되고, 이를 이미지 후처리 서버(140) 및 서비스 서버(150)로 전송한다.
이미지 후처리 서버(140)는 상기 측량 서버(130)로부터 각 노드 지점에서의 촬영 이미지, 촬영 로그, 측위 정보를 각각 받게 되며, 이를 통해 파노라마 사진을 생성하게 된다. 한편, 이미지 후처리 서버(140)에서는 상기 각 노드 지점을 연결하는 링크에서의 측위 데이터를 생성하게 된다. 이미지 후처리 서버(140)는 생성된 파노라마 사진 및 측량 서버(130)로부터 받은 측위 정보를 포함하는 각종 정보를 서비스 서버(150)로 전송한다.
서비스용 이동통신 단말기(160)는 측정용 이동통신 단말기(110)와 마찬가지로 각종 센서 및 측정 수단 예를 들어, 가속도 센서, 각속도 센서, 자기장 센서, 무선통신모듈(wifi, GPS, 블루투스 등) 등을 구비하여 현재위치를 측정하게 된다. 즉, 서비스용 이동통신 단말기(160)는 서비스 서버(150)로부터 제공받은 후술할 각종 지도정보를 제공받아 현재위치를 측정(계산)할 수 있고, 실내 전자지도에 현재의 위치 또는 이동경로 등을 화편에 실시간으로 표시할 수 있다.
또한, 서비스용 이동통신 단말기(160)는 단말기의 자세각을 구할 수 있다. 자세각은 roll angle(φ), pitch angle(φ), yaw angle(ψ) 3종류가 있는데, 이러한 자세각은 가속도 센서에서 검출된 가속도를 이용하여 계산된 지구 중력 벡터 값과 자기장 센서로부터 검출된 자기장 벡터 값 및 각속도 센서로부터 검출된 각속도를 좌표변환과 수치적분을 통해 얻은 값을 이용하여 구하게 된다.
한편, 서비스용 이동통신 단말기(160)는 상기 위치 측정 정보 및 자세각 정보를 서비스 서버(150)에 전송된다.
서비스 서버(150)는 서비스용 이동통신 단말기(160)로부터 받은 위치 정보 및 자세각 정보를 이용하여 현재위치에 대응하는 지점을 전자지도에 표시하는 동시에 파노라마 이미지를 같이 서비스용 이동통신 단말기(160)에 표시하도록 한다.
서비스 서버(150)에는 실내의 지도 정보를 저장, 갱신, 제공하기 위한 각종 데이터베이스를 구비한다. 즉, 실내의 각 위치에서의 무선통신 신호의 세기를 나타내는 핑거프린트(fingerprint) 정보가 저장되는 무선통신지도 데이터베이스, 실내의 각 위치에서의 자기장의 세기를 나타내는 핑거프린트 정보가 저장되는 자기장지도 데이터베이스, 실내 전자지도가 저장되는 실내지도 데이터베이스, 파노라마 사진이 저장되는 파노라마 사진 데이터베이스 등을 포함한다.
이하 도 2 내지 도 8을 참조하여, 상기 구성을 갖는 본 발명에 따른 실내 내비게이션 및 파노라마 사진 맵핑 시스템의 구체적인 동작 및 본 발명에 따른 실내 내비게이션 및 파노라마 사진 맵핑 제공 방법에 대해 설명하기로 한다.
먼저, 도 3을 참조하면 사전 작업으로 본 발명에 따른 시스템 및 방법이 적용되는 실내 공간상의 실내 전자지도(170)를 작성하고 이를 측량 서버(130)에 저장하게 된다(S210).
그 후, 측량 서버(130)는 저장된 실내 전자지도(170)에 관리자의 설정에 의해 노드/링크를 선정하게 된다(S230). 도 4는 실내 전자지도(170)에 노드/링크가 표시된 예를 나타낸 것이다. '노드(node)'는 원형, 사각형과 같은 일정의 문양을 사용할 수 있는데 본 실시예에서는 원형의 점을 사용하였다. 그리고, '링크'는 서로 이웃하는 두 노드를 잇는 직선을 나타낸다. 각 노드는 대략 거리 폭의 중앙 지점에서 선택되며, 따라서 링크는 거리 폭의 중심선을 나타내게 된다.
파노라마 사진은 전,후,좌,우 4장으로 분할 촬영된 사진을 이어 붙여 완성하는데, 누락없이 자연스럽게 이어지는 파노라마 사진을 제작하기 위해서는 일정한 거리마다 빼놓지 않고 대상물을 촬영해야 한다. 따라서, 파노라마 사진은 상호 이웃하는 파노라마 사진 간에 일정 간격의 촬영지점을 갖게 되고, 수집된 파노라마 사진을 촬영지점을 따라 전자지도상에 나열하게 되면 직선상에 위치하게 될 것이다. 여기서 일정 간격의 촬영지점은 상기 노드에 해당 된다.
노드/링크는 실내에서 이용자가 주로 이동하는 동선 위주로 작성되는 것이 바람직하다. 대부분의 이웃하는 노드는 서로 등간격인 것이 보통이나 교차로나 모퉁이, 계단이나 에스컬레이트 등의 경우 반드시 등각격이 아닐 수도 있다. 관리자 또는 작업자는 실내 현장에 직접 가서 상기 노드/링크 위치를 실사하고 수정이 필요한 경우 수정을 할 수 있다.
그 후 실내의 현장 위치에서 측위 작업을 수행하는데, 측위 작업을 수행하기 전에, 측정용 이동통신 단말기(110)는 먼저 상기 노드/링크에서의 사전 데이터를 수집하게 된다(S250). 여기서 사전 데이터는 노드/링크에서의 주변 WIFI, BLE(Bluetooth Low Energy) 등의 무선통신 신호와, 자기장 정보를 의미한다.
사전 데이터 수집 후, 상기 선정된 각 노드 지점과 대응되는 실내의 현장 위치에서, 측정자(관리자 또는 작업자)의 조작에 의해 측정용 이동통신 단말기(110)와 촬영 장치(120)는 측위 정보 수집 및 촬영을 하게 된다(S270). 그리고 이러한 측위 정보 및 촬영 이미지는 측량 서버(130)에 전송하여 업로드시킨다(S290).
측정용 이동통신 단말기(110)에는 측정을 위한 앱이 설치되어 있으며, 앱을 실행하는 경우, 도 5에 도시된 바와 같이 노드/링크가 표시된 실내 전자지도가 단말기에 표시된다. 측정자는 측정을 하고자 하는 위치의 노드/링크(182,184)를 선택하고, 해당 노드(위치)에서 측위 정보를 수집하게 된다. 측정자가 측정 명령을 입력하는 경우, 측정용 이동통신 단말기(110)는 현재 위치에서의 무선통신 신호 및 자기장을 측정하게 된다.
한편, 위와 같은 측정은 위치 정확도를 높이기 위해 각 노드지점에서 4번의 측정을 수행하게 되고, 그 측정방법은 현재위치에서 전, 후, 좌, 우로 축회전하면서 각각 측정하게 된다. 즉, 도 6에 도시된 바와 같이 예를 들어 기준 방향을 바라보는 각도가 0°인 경우, 축회전하면서 0°, 90°, 180°, 270°곳에서 각각 전파 정보를 측정하게 된다. 한편, 측위 및 촬영시 각 노드에서의 기준 방향은 동일한 방향으로 설정하도록 한다.
이와 같이 각 노드 지점의 사방에서 전파를 측정하므로 무선통신 신호 및 자기장의 데이터 수집의 정확성이 높아질 수 있는 이점이 있다. 한편, 위치 정확성을 더욱 높이기 위해 측정된 신호의 오차를 최소화해야 하므로, 4번의 측정을 모두 완료하면 4개의 측정값들 중 이상 값을 제외하여 나머지 측정값을 측위 값으로 사용하게 된다. 여기서 이상 값은 전파의 잡음 오차나 외란 오차 등을 의미하는 것으로써, 이러한 오차 등을 제거하여 측정 데이터값의 오차를 최소화할 수 있게 된다. 이상 값을 판단 및 제거하는 방법은 예를 들면, 전파 신호세기 중 평균값과 표준 편차를 구하고 특정 표준 편차를 벗어나는 신호를 이상 값으로 판단하여 이를 제거하게 된다.
상기와 같이 이상 값이 제외된 평균 값이 측위 정보값이 되며, 이러한 측위 정보값은 측량 서버(130)에 전송되어 데이터베이스에 저장된다.
또한, 측정자의 조작에 의해 촬영 장치(120)는 상기 측위를 수행한 해당 노드 지점에서 촬영을 하게 되는데, 파노라마 사진 제작을 위하여 위치 측정과 마찬가지로 촬영 역시 해당 위치에서 0°, 90°, 180°, 270°(전,후,좌,우) 축회전하여 사방에서 각각 촬영을 하여 이미지를 획득하게 된다.
촬영 장치(120)는 전기적 제어 신호 즉, 자동초점 신호와 캡쳐 신호로 이루어진 촬영 신호에 의한 자동 촬영이 가능하도록 디지털 카메라를 사용하는 것이 바람직하다. 이러한 촬영 이미지 역시 측량 서버(130)에 전송된다. 도시되지 않았으나 전, 후, 좌, 우 사방을 동시에 촬영하도록, 촬영 장치(120)는 하나의 지지물에 전, 후, 좌, 우 4 개의 카메라가 설치되는 것이 적용될 수 있다.
따라서, 측량 서버(130)에 전송되는 정보는 각 노드에서의 노드 데이터, 촬영 로그 데이터(촬영된 일자와 시간 정보, 방위각 정보)를 포함하는 촬영 이미지 데이터, 측위 정보가 포함되어 전송된다.
그 후, 측량 서버(130)는 이러한 데이터들의 검토 및 테스트를 하여 유효성을 검증하고 수정한 후, 이미지 후처리 서버(140)로 전송한다.
이미지 후처리 서버(140)는 촬영 이미지의 방위각을 일치시키면서 파노라마 사진을 생성하여 저장한 후, 서비스 서버(150)에 전송하게 된다(S310).
파노라마 사진은 각 노드 지점에서 전,후,좌,우 4장으로 분할 촬영된 사진을 이어 붙여 완성되는데, 이미지 후처리 서버(140)는 작업자의 조작에 의해 각 노드 지점에서의 분할된 4장의 사진을 자연스럽게 이어 붙이는 작업을 하여 파노라마 사진을 만들게 된다. 파노라마 사진 작업은 스티칭(stiching), 블러링(bluring), 방위각 일치 및 보정, 슬라이싱(slicing) 등의 과정을 거쳐 만들어지게 된다. 한편, 전술한 바와 같이 한 노드에서의 파노라마 사진은 상호 이웃하는 노드에서의 파노라마 사진과 자연스럽게 이어지게 된다.
여기서, 이미지 후처리 서버(140)가 파노라마 사진을 만들 때, 각 노드의 파노라마 사진의 방위각을 일치 및 보정시키도록 하는 것이 중요하다. 예를 들어, 전자지도 상에서 북쪽을 기준 방향(0°)으로 했을 경우, 전술한 바와 같이 촬영지점인 각 노드는 거리 폭의 중앙 지점에서 선택되므로, 방위각은 거리 폭의 중앙을 기준으로 수정해서 일치시켜야 한다.
이와 같이, 이미지 후처리 서버(140)가 각 노드/링크에서 파노라마 사진을 완성하면, 파노라마 사진 및 측량 서버(130)로로부터 받은 노드 데이터, 촬영 로그 데이터, 측위 정보 등을 서비스 서버(150)에 전송하게 되고, 서비스 서버(150)는 실내 내비게이션 및 파노라마 사진 맵핑 서비스를 사용자에게 제공하게 된다. 이하 구체적으로 살펴보기로 한다.
서비스용 이동통신 단말기(160)를 소지한 사용자가 실내에 들어서 서비스 앱을 실행하게 되면, 서비스용 이동통신 단말기(160)는 현재위치와 자세각을 측정하고(S330), 이를 서비스 서버(150)에 전송하게 된다.
먼저, 현재위치 측위는 주변의 무선통신 신호 및 자기장을 측정하게 되는데, 서비스용 이동통신 단말기(160)는 이렇게 측정된 무선통신 신호 및 자기장 세기를 측정한 후, 측정 데이터값을 메모리부에 일시 저장하고 이를 서비스 서버(150)에 전송한다. 정보를 수신한 서비스 서버(150)는 데이터베이스를 스캔하여 수신된 측정 데이터값과 유사한 데이터를 가지는 노드/링크를 검색하여 현재위치를 알 수 있고, 이러한 측위 정보를 서비스용 이동통신 단말기(160)에 보내게 된다. 서비스용 이동통신 단말기(160)는 이러한 정보를 받아 현재위치를 측정(계산)하고 실내 전자지도에 위치를 표기하게 된다.
실내 위치를 측위하는 방법은 다양한 방식이 적용될 수 있으며 본 발명은 특정의 측위 방식에 한정되지 않는데, 본 발명의 실시예에서는 예를 들어 본 발명의 출원인에 의해 출원되어 등록된 대한민국 등록특허공보 제1523147호의 측위 방식을 사용할 수 있다.
현재 사용자의 위치 즉, 서비스용 이동통신 단말기(160)의 위치가 측정되면, 서비스 서버(150)는 서비스용 이동통신 단말기(160)의 현재위치에 대응되는 해당지점의 파노라마 사진(190)을 검색하여, 서비스용 이동통신 단말기(160)에 전자지도와 함께 파노라마 사진을 표시하도록 한다(S350). 즉, 도 7에 도시된 바와 같이, 실내 전자지도(170)에 현재 위치(192)를 원형의 점으로 표시해주는 동시에, 현재 위치에 대응되는 파노라마 사진(160)을 서비스용 이동통신 단말기(160) 화면에 같이 표시해주게 된다.
본 실시예에서는 화면에 파노라마 사진(190)이 위에, 실내 전자지도(170)가 아래에 배치된 것이 예시되어 있으나, 본 발명의 범위는 특정의 배치에 한정되지 않으며 한 화면에 같이 배치되면 족하다. 한편, 서비스 서버(150)가 실내 전자지도를 서비스용 이동통신 단말기(160)에 실시간으로 제공해줄 수 있지만, 서비스 앱을 통해 실내 전자지도는 미리 서비스용 이동통신 단말기(160)에 제공될 수 있다.
한편, 본 발명에 의하면, 파노라마 사진을 제공할 때 파노라마 사진의 방향과 현재 사용자의 진행 방향(사용자가 바라보는 방향)을 일치시켜 제공해준다, 즉, 서비스 서버(150)는 서비스용 이동통신 단말기(160)의 진행 방향과 파노라마 사진의 방향을 동기화(일치)하여(S370), 상기 동기화된 파노라마 사진을 실내 전자지도와 같이 상기 서비스용 이동통신 단말기(160)에 표시해준다(S390).
이를 위해 상기 'S330' 단계에서 현재위치를 측정할 때 단말기의 자세각도 측정해야 하는데, 자세각 중 요우각(yaw angle,ψ) 을 측정하게 된다.
도 8을 참조하면, 서비스용 이동통신 단말기(160)의 자세각은 roll angle(φ), pitch angle(φ), yaw angle(ψ) 3종류가 있는데, 이러한 자세각은 전술한 바와 같이 가속도 센서에서 검출된 가속도를 이용하여 계산된 지구 중력 벡터 값과 자기장 센서로부터 검출된 자기장 벡터 값 및 각속도 센서로부터 검출된 각속도를 좌표변환과 수치적분을 통해 얻은 값을 이용하여 구하게 된다.
이렇게 구해진 자세각 중 관심있는 것은 서비스용 이동통신 단말기(160)의 진행방향과 관련된 요우각(yaw angle)이다. 따라서, 측정된 자세각 중 요우각(yaw angle)과 대응되게 회전된 파노라마 사진을 동기화하여 서비스용 이동통신 단말기(160)에 표시해준다. 본 발명의 명세서에서 사용되는 요우각(yaw angle)은 단말기가 Z축(Yaw Axis)의 기준방향(0°)으로부터의 회전각을 의미하는 것으로 이해될 수 있다.
예를 들어, 도 9에 도시된 바와 같이 서비스용 이동통신 단말기(160)를 기준방향으로부터 우측으로 45°회전시키는 경우 요우각(yaw angle, ψ)은 45°로 측정되고, 서비스 서버(150)는 해당 지점에서의 검색된 파노라마 사진 중 기준 방향에서 45°회전된 파노라마 사진을 단말기에 표시하게 된다.
따라서, 사용자는 현재 바라보는 방향과 동일한 파노라마 사진을 실내 전자지도와 함께 제공받을 수 있게 된다.
여기서, 사용자가 현재 바라보는 방향과 서비스용 이동통신 단말기(160)의 진행 방향이 반드시 일치하지 않을 수 있으나(예를 들어 사용자가 정면을 바라보면서 서비스용 이동통신 단말기만을 좌우로 회전시키는 경우), 서비스용 이동통신 단말기를 회전시키는 경우는 사용자가 단말기를 회전시키는 방향으로 바라본다는 개연성이 충분하고 또한 그러한 의도가 다분하다고 봐야 하므로, 본 발명의 명세서에서는 사용자가 현재 바라보는 방향과 서비스용 이동통신 단말기의 진행 방향이 일치하는 것으로 가정하기로 한다.
여기서 '진행 방향'의 의미는 사용자(휴대용 이동통신 단말기)가 전진하기 위해 바라보는 정면 방향의 의미로 해석될 수 있다. 진행 방향과 요우각(yaw angle)을 측정하기 위한 기준방향은 비슷한 의미로 혼동될 수 있으나, 기준방향은 미리 설정되어 변하지 않게 되나 진행방향은 휴대용 단말기의 위치에 따라 수시로 변하게 되므로 서로 다른 의미를 갖는 것으로 이해되어야 한다.
한편, 다시 도 7을 참조하면 서비스용 이동통신 단말기(160)에 표시되는 실내 전자지도에는, 현재위치(192)가 표시되는 동시에 서비스용 이동통신 단말기(160)의 진행방향을 나타내는 일정 표식(194)이 현재위치(192)로부터 표시된다. 본 실시예에서 상기 일정 표식(194)은 부채꼴 모양을 가지나 본 발명의 범위는 특정 모양에 한정되지 않으며, 예를 들어 화살표 모양 등이 적용될 수 있다.
또한, 도 9에 도시된 바와 같이 상기 일정 표식(194)은 상기 파노라마 사진(190)의 방향과 함께 연동하도록, 서비스용 이동통신 단말기(160)의 요우각(yaw angle)과 대응되게 회전하여 실내 전자지도(170)에 표시된다. 즉, 진행 방향에 맞추어서 파노라마 사진과 실내 전자지도 상의 일정표식이 같이 연동하여 화면에 표시되게 된다,
이와 같이, 본 발명에 의하면 실내 내비게이션 서비스를 제공할 때 실내 전자지도상에 현재위치를 표시해주는 것뿐만 아니라, 현재위치에 대응되는 파노라마 사진을 실내 전자지도와 함께 한 화면에 표시해주므로, 사용자는 현재의 위치를 정확하게 인식할 수 있는 이점이 있다. 또한, 실내 전자지도상에 현재위치에 대응되는 파노라마 사진을 단말기에 함께 표시해줄 때, 사용자(단말기)가 바라보는 방향(진행방향)과 동일한 파노라마 사진을 표시해주므로, 사용자는 현재의 위치를 더욱 쉽고 정확하게 인식할 수 있어 실내에서 목적지를 더욱 쉽고 편리하게 찾을 수 있는 이점이 있다.
이상에서 본 발명의 바람직한 실시예에 대하여 설명하였으나 본 발명은 상술한 특정의 실시예에 한정되지 아니한다. 즉, 본 발명이 속하는 기술분야에서 통상의 지식을 가지는 자라면 첨부된 특허청구범위의 사상 및 범주를 일탈함이 없이 본 발명에 대한 다수의 변경 및 수정이 가능하며, 그러한 모든 적절한 변경 및 수정의 균등물들도 본 발명의 범위에 속하는 것으로 간주되어야 할 것이다.
110. 측정용 이동통신 단말기 120. 촬영 장치
130. 측량 서버 140. 이미지 후처리 서버
150. 서비스 서버 160. 서비스용 이동통신 단말기
170. 실내 전자지도 190. 파노라마 사진

Claims (7)

  1. a) 미리 저장된 실내 전자지도에 관리자의 설정에 의해 노드/링크를 선정하는 단계;
    b) 상기 선정된 각 노드 지점과 대응되는 실내 위치에서 측정자의 조작에 의해 측정용 이동통신 단말기 및 촬영장치가 측위 정보를 수집 및 촬영하고, 측위 정보 및 촬영 이미지를 측량 서버에 전송하는 단계;
    c) 측량 서버로부터 측위 정보 및 촬영 이미지를 전송받은 측량 이미지 후처리 서버가 파노라마 사진을 생성하여 저장한 후 서비스 서버에 전송하는 단계;
    d) 실내에서 서비스용 이동통신 단말기가 현재위치를 측정하고 측위 정보를 서비스 서버에 전송하는 단계; 및,
    e) 서비스 서버가 상기 서비스용 이동통신 단말기의 현재위치에 대응하는 해당위치의 파노라마 사진을 검색하여, 상기 현재위치에 대응되는 해당위치의 파노라마 사진을 현재위치가 표시된 실내 전자지도와 함께 상기 서비스용 이동통신 단말기에 표시하는 단계;를 포함하는 것을 특징으로 하는 실내 내비게이션 및 파노라마 사진 맵핑 제공 방법.
  2. 제 1 항에 있어서,
    상기 d) 단계에서 서비스용 이동통신 단말기는 요우각(yaw angle)을 포함하는 자세각을 더 측정하여 이 측정 정보를 서비스 서버에 전송하고,
    상기 e) 단계에서 상기 서비스 서버는 서비스용 이동통신 단말기의 요우각(yaw angle)과 대응되게 파노라마 사진의 방향을 동기화하여 상기 서비스용 이동통신 단말기에 표시하는 것을 특징으로 하는 실내 내비게이션 및 파노라마 사진 맵핑 제공 방법.
  3. 제 2 항에 있어서,
    상기 e) 단계에서 상기 서비스용 이동통신 단말기에 표시되는 실내 전자지도에는, 현재위치와 함께 이동통신 단말기의 진행방향을 나타내는 일정 표식이 현재위치로부터 표시되고,
    상기 일정 표식은 상기 파노라마 사진과 함께 방향이 연동하도록 상기 서비스용 이동통신 단말기의 요우각(yaw angle)과 대응되게 회전하여 실내 전자지도에 표시되는 것을 특징으로 하는 실내 내비게이션 및 파노라마 사진 맵핑 제공 방법.
  4. 제 1 항에 있어서,
    상기 b) 단계에서 상기 측정용 이동통신 단말기 및 촬영 장치는 각 노드 지점에서 전, 후, 좌, 우 축회전하여 4군데에서 측위 및 촬영을 하며,
    상기 측정용 이동통신 단말기는 상기 전, 후, 좌, 우 4군데에서 측정된 무선통신 신호 및 자기장 세기를 이용하여 측위 정보를 수집하는 것을 특징으로 하는 실내 내비게이션 및 파노라마 사진 맵핑 제공 방법.
  5. 설정된 실내의 각 노드/링크에서의 무선통신 신호의 세기를 나타내는 핑거프린트(fingerprint) 정보가 저장되는 무선통신지도 데이터베이스와, 상기 노드/링크에서의 자기장의 세기를 나타내는 핑거프린트 정보가 저장되는 자기장지도 데이터베이스와, 실내 전자지도가 저장되는 실내 전자지도 데이터베이스 및 상기 노드/링크에서의 파노라마 사진이 저장되는 파노라마 사진 데이터베이스를 포함하는 서비스 서버; 및,
    상기 서비스 서버로부터 무선통신지도 정보, 자기장지도 정보를 수신하여 실내에서 현재위치를 측정하고, 상기 현재위치 측위 정보를 상기 서비스 서버로 송신하는 서비스용 이동통신 단말기;를 포함하며,
    상기 서비스 서버는 상기 서비스용 이동통신 단말기의 현재위치에 대응하는 해당위치의 파노라마 사진을 현재위치가 표시된 실내 전자지도와 함께 상기 서비스용 이동통신 단말기에 표시하는 것을 특징으로 하는 실내 내비게이션 및 파노라마 사진 맵핑 제공 시스템.
  6. 제 5 항에 있어서,
    상기 서비스용 이동통신 단말기는 요우각(yaw angle)을 포함하는 자세각을 더 측정하여 이 측정 정보를 서비스 서버에 전송하고,
    상기 서비스 서버는 서비스용 이동통신 단말기의 요우각(yaw angle)과 대응되게 파노라마 사진의 방향을 동기화하여 상기 서비스용 이동통신 단말기에 표시하는 것을 특징으로 하는 실내 내비게이션 및 파노라마 사진 맵핑 제공 시스템.
  7. 제 6 항에 있어서,
    상기 서비스용 이동통신 단말기에 표시되는 실내 전자지도에는, 현재위치와 함께 이동통신 단말기의 진행 방향을 나타내는 일정 표식이 현재위치로부터 표시되고,
    상기 일정 표식은 상기 파노라마 사진과 함께 방향이 연동하도록 상기 서비스용 이동통신 단말기의 요우각(yaw angle)과 대응되게 회전하여 실내 전자지도에 표시되는 것을 특징으로 하는 실내 내비게이션 및 파노라마 사진 맵핑 제공 시스템.
KR1020160014840A 2016-02-05 2016-02-05 실내 내비게이션 및 파노라마 사진 맵핑 제공 시스템 및 그 방법 Ceased KR20170094030A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160014840A KR20170094030A (ko) 2016-02-05 2016-02-05 실내 내비게이션 및 파노라마 사진 맵핑 제공 시스템 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160014840A KR20170094030A (ko) 2016-02-05 2016-02-05 실내 내비게이션 및 파노라마 사진 맵핑 제공 시스템 및 그 방법

Publications (1)

Publication Number Publication Date
KR20170094030A true KR20170094030A (ko) 2017-08-17

Family

ID=59753067

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160014840A Ceased KR20170094030A (ko) 2016-02-05 2016-02-05 실내 내비게이션 및 파노라마 사진 맵핑 제공 시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR20170094030A (ko)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108512888A (zh) * 2017-12-28 2018-09-07 达闼科技（北京）有限公司 一种信息标注方法、云端服务器、系统、电子设备及计算机程序产品
CN109141432A (zh) * 2018-09-19 2019-01-04 西安科技大学 一种基于影像空间和全景辅助的室内定位导航方法
KR20190077717A (ko) * 2017-12-26 2019-07-04 성균관대학교산학협력단 무선 통신 시스템에서 단말 위치를 추정하는 방법 및 이를 위한 장치
KR20190089690A (ko) * 2018-01-22 2019-07-31 네이버 주식회사 거리뷰 정보 제공 방법 및 장치
KR20200005266A (ko) * 2018-07-06 2020-01-15 주식회사 싸인랩 실시간 위치 추적 시스템
KR102084756B1 (ko) * 2018-10-30 2020-03-04 한동대학교 산학협력단 Slam 공간 지도의 완성도 판단 방법
KR20200074602A (ko) 2018-12-17 2020-06-25 주식회사 제윤메디컬 개미 집단 최적화 알고리즘을 이용한 최적 이동 경로 제공 서버 및 방법
KR20200074601A (ko) 2018-12-17 2020-06-25 주식회사 제윤메디컬 실내 네비게이션을 위한 최적 이동 경로 생성 서버 및 방법
WO2020145653A1 (ko) * 2019-01-09 2020-07-16 삼성전자 주식회사 이미지의 촬영 장소를 추천하는 전자 장치 및 방법

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190077717A (ko) * 2017-12-26 2019-07-04 성균관대학교산학협력단 무선 통신 시스템에서 단말 위치를 추정하는 방법 및 이를 위한 장치
CN108512888A (zh) * 2017-12-28 2018-09-07 达闼科技（北京）有限公司 一种信息标注方法、云端服务器、系统、电子设备及计算机程序产品
KR20190089690A (ko) * 2018-01-22 2019-07-31 네이버 주식회사 거리뷰 정보 제공 방법 및 장치
KR20200005266A (ko) * 2018-07-06 2020-01-15 주식회사 싸인랩 실시간 위치 추적 시스템
CN109141432A (zh) * 2018-09-19 2019-01-04 西安科技大学 一种基于影像空间和全景辅助的室内定位导航方法
KR102084756B1 (ko) * 2018-10-30 2020-03-04 한동대학교 산학협력단 Slam 공간 지도의 완성도 판단 방법
KR20200074602A (ko) 2018-12-17 2020-06-25 주식회사 제윤메디컬 개미 집단 최적화 알고리즘을 이용한 최적 이동 경로 제공 서버 및 방법
KR20200074601A (ko) 2018-12-17 2020-06-25 주식회사 제윤메디컬 실내 네비게이션을 위한 최적 이동 경로 생성 서버 및 방법
WO2020145653A1 (ko) * 2019-01-09 2020-07-16 삼성전자 주식회사 이미지의 촬영 장소를 추천하는 전자 장치 및 방법
US12200353B2 (en) 2019-01-09 2025-01-14 Samsung Electronics Co., Ltd. Electronic device and method for providing position and shooting information for recommending image capturing place

Similar Documents

Publication Publication Date Title
US11477374B2 (en) Three dimensional image capture system for imaging building facades using a digital camera, a near-infrared camera, and laser range finder
CN1788188B (zh) 拍摄图像显示方法及拍摄图像显示装置
JP6854164B2 (ja) 測量データ処理装置、測量データ処理方法、測量データ処理システムおよび測量データ処理用プログラム
US8897482B2 (en) Stereo photogrammetry from a single station using a surveying instrument with an eccentric camera
JP4560128B1 (ja) 地図画像統合データベース生成システム及び地図画像統合データベース生成プログラム
JP4977339B2 (ja) 地理データ収集装置
KR101285360B1 (ko) 증강현실을 이용한 관심 지점 표시 장치 및 방법
EP2154542B1 (en) GPS-installed all-azimuth camera and spatial data collecting device
CN102338639B (zh) 信息处理设备和信息处理方法
CN104280036B (zh) 一种交通信息的检测与定位方法、装置及电子设备
KR101444685B1 (ko) 영상기반 멀티센서 데이터를 이용한 차량의 위치자세 결정 방법 및 장치
JP2016057108A (ja) 演算装置、演算システム、演算方法およびプログラム
US11796682B2 (en) Methods for geospatial positioning and portable positioning devices thereof
JP4077385B2 (ja) 画像処理を用いたグローバル座標取得装置
KR101308744B1 (ko) 항공촬영 영상의 지형대비 기준점 합성형 공간영상도화 시스템
CN113820735A (zh) 位置信息的确定方法、位置测量设备、终端及存储介质
KR101011813B1 (ko) 인접된 항공사진들 간의 중첩지역 표시장치
JP6930840B2 (ja) 測量システム
US20120026324A1 (en) Image capturing terminal, data processing terminal, image capturing method, and data processing method
WO2018214401A1 (zh) 移动平台、飞行体、支持装置、便携式终端、摄像辅助方法、程序以及记录介质
JP6773473B2 (ja) 測量情報管理装置および測量情報管理方法
Hussein et al. Evaluation of the accuracy of direct georeferencing of smartphones for use in some urban planning applications within smart cities
EP3132279A1 (en) A target determining method and system
KR200488998Y1 (ko) 실내 지도 구축 장치
CN109032330A (zh) 无缝桥接ar装置和ar系统

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20160205

PA0201 Request for examination
PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20170914

Patent event code: PE09021S01D

E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20180627

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20170914

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I