KR20160077678A - Bus Operation Guiding System - Google Patents

Bus Operation Guiding System Download PDF

Info

Publication number
KR20160077678A
KR20160077678A KR1020140187867A KR20140187867A KR20160077678A KR 20160077678 A KR20160077678 A KR 20160077678A KR 1020140187867 A KR1020140187867 A KR 1020140187867A KR 20140187867 A KR20140187867 A KR 20140187867A KR 20160077678 A KR20160077678 A KR 20160077678A
Authority
KR
South Korea
Prior art keywords
bus
image
map data
information
map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020140187867A
Other languages
Korean (ko)
Other versions
KR101647626B1 (en
Inventor
모형규
Original Assignee
(주)에이텍티앤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)에이텍티앤 filed Critical (주)에이텍티앤
Priority to KR1020140187867A priority Critical patent/KR101647626B1/en
Publication of KR20160077678A publication Critical patent/KR20160077678A/en
Application granted granted Critical
Publication of KR101647626B1 publication Critical patent/KR101647626B1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0968—Systems involving transmission of navigation instructions to the vehicle
    • G08G1/096805—Systems involving transmission of navigation instructions to the vehicle where the transmitted instructions are used to compute a route
    • G08G1/096811—Systems involving transmission of navigation instructions to the vehicle where the transmitted instructions are used to compute a route where the route is computed offboard
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P3/00—Measuring linear or angular speed; Measuring differences of linear or angular speeds
    • G01P3/36—Devices characterised by the use of optical means, e.g. using infrared, visible, or ultraviolet light
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/13—Receivers
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/40—Business processes related to the transportation industry
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0968—Systems involving transmission of navigation instructions to the vehicle
    • G08G1/0969—Systems involving transmission of navigation instructions to the vehicle having a display in the form of a map
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B29/00—Maps; Plans; Charts; Diagrams, e.g. route diagram
    • G09B29/003—Maps

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Educational Technology (AREA)
  • Electromagnetism (AREA)
  • Power Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)

Abstract

본 발명의 버스 운행 안내 시스템은, GPS 위성으로부터의 GPS 좌표, 버스 ECU/DTG로부터의 버스 차량의 속도, 가속도, 선회각 정보 및 자이로센서로부터의 버스 차량의 경사도 정보를 전송받아 시간 정보를 포함한 센싱 데이터를 수집하는 버스 운행 단말기; 및 상기 버스 운행 단말기로부터 전송되는 센싱 데이터와 맵 데이터를 매칭하여 상기 버스 차량의 상기 GPS 좌표별 3D 맵 데이터를 생성하여 관리하는 중앙 관리 센터;를 포함할 수 있다.The bus operation guidance system of the present invention receives GPS system coordinates from a GPS satellite, speed of a bus vehicle from a bus ECU / DTG, acceleration, turning angle information, and tilt information of a bus vehicle from a gyro sensor, A bus operating terminal for collecting data; And a central management center for generating and managing 3D map data for each GPS coordinate of the bus vehicle by matching the sensing data transmitted from the bus operating terminal and the map data.

Description

버스 운행 안내 시스템{Bus Operation Guiding System}{Bus Operation Guiding System}

본 발명은 버스 운행 안내 시스템에 관한 것으로, 더 구체적으로는 버스 차량에 구비된 센서 및 카메라를 통해 수집된 정보, GPS 정보 및 버스 차량의 ECU/DTG로부터 전달된 정보를 종합하여 3D 노선 정보를 생성하여 운전자에게 안내할 수 있는 버스 운행 안내 시스템에 관한 것이다.
More particularly, the present invention relates to a system and method for generating 3D route information by synthesizing information collected through sensors and cameras provided in a bus vehicle, GPS information, and information transmitted from an ECU / DTG of a bus vehicle And to guide the driver to the bus operation guidance system.

일반적으로, 버스는 지형이나 지역, 시간에 상관없이 가장 대중적인 교통수단의 하나로서 사용되고 있다. 이와 같이 버스는 가장 대중적인 교통수단이지만 환경적인 부분을 감안할 경우, 타 대중 교통수단 예를 들어 열차, 비행기, 배 등의 대중 교통수단에 비하여 환경에 영향을 미치는 비중이 가장 크다 할 수 있다.
In general, buses are used as one of the most popular means of transportation, regardless of terrain, area, or time. As such, buses are the most popular means of transportation, but given the environmental aspects, they can be the largest contributor to the environment, as compared to other forms of public transportation, such as trains, airplanes, and boats.

최근에는 전반적인 소득 수준의 향상으로 자가용의 보급률이 크게 증가하고 있지만 대중 교통 수단 특히 그 중에서 버스, 전철, 철도 등의 교통 수단의 의존도는 여전히 높은 상태이다.
In recent years, although the penetration rate of automobiles has greatly increased due to the improvement of the overall income level, the dependency of public transportation, especially buses, trains and railways, is still high.

한편, 이와 같은 대중교통 서비스를 제공하는 대중교통 사업자는 버스 노선을 체계적으로 관리하고 버스 운전자에게 활용도 높은 노선 정보를 제공함으로써 보다 향상된 서비르를 제공하고자 하는 노력을 계속하고 있다.
On the other hand, public transportation companies that provide such public transportation services continue to strive to provide improved service by systematically managing bus routes and providing high-utilization route information to bus drivers.

종래에는 노선의 주요지점(대개의 경우 정류장)에 설치된 중간배차기가 버스에 구비된 운행기록기에게 선행하는 버스 및 후행하는 버스와의 거리 및 시간 간격에 대한 정보만을 제공하여, 앞차와의 배차간격만을 일정하게 유지하였다. 또한, 종래에는 운행 노선에서의 고도, 급커브 구간, 요철 구간과 같은 운행 정보가 운전자의 경험에 전적으로 의지하였는 바, 이와 같은 운행 노선의 다양한 정보를 체계적으로 관리하여야 하는 필요성이 대두되었다.
In the prior art, only the information on the distance and the time interval between the preceding bus and the following bus is provided to the bus recorder provided in the bus at the main point (usually the bus stop) of the route, . In addition, conventionally, since operating information such as altitude, rapid curve section, and irregularity section on a service route relied entirely on the experience of the driver, it became necessary to systematically manage various information of the service route.

한국공개특허 제2011-0027873호(출원일 : 2009.09.11)Korea Patent Publication No. 2011-0027873 (filed on September 11, 2009)

본 발명의 목적은 버스 차량에 구비된 센서 및 카메라를 통해 수집된 정보, GPS 정보 및 버스 차량의 ECU/DTG로부터 전달된 정보를 종합하여 3D 노선 정보를 생성하여 운전자에게 제공할 수 있는 버스 운행 안내 시스템을 제공하는 것이다.
An object of the present invention is to provide a bus operation guide capable of generating 3D route information by collecting information collected through a sensor and a camera provided in a bus vehicle, GPS information, and information transmitted from an ECU / DTG of a bus vehicle, System.

본 발명의 버스 운행 안내 시스템은, GPS 위성으로부터의 GPS 좌표, 버스 ECU/DTG로부터의 버스 차량의 속도, 가속도, 선회각 정보 및 자이로센서로부터의 버스 차량의 경사도 정보를 전송받아 시간 정보를 포함한 센싱 데이터를 수집하는 버스 운행 단말기; 및 상기 버스 운행 단말기로부터 전송되는 센싱 데이터와 맵 데이터를 매칭하여 상기 버스 차량의 상기 GPS 좌표별 3D 맵 데이터를 생성하여 관리하는 중앙 관리 센터;를 포함할 수 있다.
The bus operation guidance system of the present invention receives GPS system coordinates from a GPS satellite, speed of a bus vehicle from a bus ECU / DTG, acceleration, turning angle information, and tilt information of a bus vehicle from a gyro sensor, A bus operating terminal for collecting data; And a central management center for generating and managing 3D map data for each GPS coordinate of the bus vehicle by matching the sensing data transmitted from the bus operating terminal and the map data.

여기서, 상기 버스 운행 단말기는, 상기 중앙 관리 센터로부터 전송된 3D 맵 데이터를 표시하여 안내하며, 상기 3D 맵 데이터는 시각 및 음성으로 표시될 수 있다.
Here, the bus driving terminal may display and guide 3D map data transmitted from the central management center, and the 3D map data may be displayed by time and voice.

또한, 상기 버스 운행 안내 시스템은, 상기 버스 차량의 속도, 가속도 및 선회각의 정보를 상기 버스 차량에 구비된 ECU/DTG로부터 수집하고, 상기 버스 차량의 주변 영상을 상기 버스 차량에 구비된 영상 카메라로부터 수집할 수 있다.
Also, the bus operation guidance system collects information on the speed, acceleration, and turning angle of the bus vehicle from an ECU / DTG provided in the bus vehicle, and transmits a peripheral image of the bus vehicle to a video camera Lt; / RTI >

또한, 상기 버스 운행 단말기는, 상기 버스 차량의 경사도 정보를 수집하는 자이로센서 및 GPS 좌표를 수집하는 GPS 센서를 포함한 센서부; 상기 영상 카메라의 영상 및 상기 3D 맵 데이터를 시각적으로 표시하는 영상 표시부 및 음성으로 표시하는 음성 표시부를 포함한 안내부; 상기 센싱 데이터를 상기 중앙 관리 센터로 무선 송신하고 상기 3D 맵 데이터를 무선 수신하는 통신부; 및 상기 시간 정보를 포함한 센싱 데이터를 생성하는 데이터 생성부 및 상기 영상 카메라의 영상과 상기 3D 맵 데이터를 매칭하여 합성하는 영상 매칭부를 포함하는 제어부;를 포함할 수 있다.
The bus operating terminal may further include: a sensor unit including a gyro sensor for collecting tilt information of the bus vehicle and a GPS sensor for collecting GPS coordinates; An image display unit for visually displaying the image of the image camera and the 3D map data, and a voice display unit for displaying the image by voice; A communication unit wirelessly transmitting the sensing data to the central management center and wirelessly receiving the 3D map data; And a control unit including a data generating unit for generating sensing data including the time information, and an image matching unit for matching and combining the image of the image camera and the 3D map data.

또한, 상기 중앙 관리 센터는, 지도 정보 및 3D 맵 데이터를 저장하는 맵 데이터베이스; 및 상기 버스 운행 단말기로부터 전송된 센싱 데이터와 상기 지도 정보를 매칭하여 상기 3D 맵 데이터를 생성하는 맵 매칭부;를 포함할 수 있다.
The central management center may include a map database for storing map information and 3D map data; And a map matching unit for matching the sensing data transmitted from the bus operating terminal with the map information to generate the 3D map data.

또한, 상기 안내부는 상기 영상 카메라의 영상 및 상기 3D 맵 데이터를 동시에 표시하거나, 상기 안내부는 상기 영상 카메라의 영상과 상기 3D 맵 데이터가 합성된 영상을 표시할 수 있다.
Also, the guide unit may display the image of the image camera and the 3D map data at the same time, or the guide unit may display the image of the image camera and the 3D map data.

또한, 상기 3D 맵 데이터는 상기 버스 차량의 운행 노선의 경사도 또는 고도 정보, 과속 방지턱, 급커브 구역과 같은 도로 상태 정보를 포함할 수 있다.
In addition, the 3D map data may include road state information such as an inclination or altitude information of a driving route of the bus vehicle, a speed limit jaw, and a steep curve area.

도 1은 본 발명의 실시예에 따른 버스 운행 안내 시스템의 개략도; 및
도 2는 도 1의 버스 운행 안내 시스템의 세부 구성도;이다.1 is a schematic diagram of a bus operation guidance system according to an embodiment of the present invention; And
FIG. 2 is a detailed configuration diagram of the bus operation guidance system of FIG. 1; FIG.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예를 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예는 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.BRIEF DESCRIPTION OF THE DRAWINGS The advantages and features of the present invention, and how to accomplish them, will become apparent by reference to the embodiments described in detail below with reference to the accompanying drawings. The present invention may, however, be embodied in many different forms and should not be construed as being limited to the embodiments set forth herein. Rather, these embodiments are provided so that this disclosure will be thorough and complete, and will fully convey the concept of the invention to those skilled in the art. Is provided to fully convey the scope of the invention to those skilled in the art, and the invention is only defined by the scope of the claims. Like reference numerals refer to like elements throughout the specification.

따라서, 몇몇 실시예에서, 잘 알려진 공정 단계들, 공지된 구조 및 공지된 기술들은 본 발명이 모호하게 해석되는 것을 피하기 위하여 구체적으로 설명되지 않는다.Thus, in some embodiments, well known process steps, known structures, and known techniques are not specifically described to avoid an undesirable interpretation of the present invention.

본 명세서에서 사용된 용어는 실시예를 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다" 및/또는 "포함하는"은 언급된 구성요소, 단계 및/또는 동작 이외의 하나 이상의 다른 구성요소, 단계 및/또는 동작의 존재 또는 추가를 배제하지 않는 의미로 사용한다. 그리고, "및/또는"은 언급된 아이템들의 각각 및 하나 이상의 모든 조합을 포함한다.The terminology used herein is for the purpose of illustrating embodiments and is not intended to be limiting of the invention. In the present specification, the singular form includes plural forms unless otherwise specified in the specification. Used in the sense of the description does not exclude the presence or addition of one or more other components, steps and / or operations other than the stated components, steps and / or operations. do. And "and / or" include each and any combination of one or more of the mentioned items.

또한, 본 명세서에서 기술된 실시예는 본 발명의 이상적인 예시도인 사시도, 단면도, 측면도 및/또는 개략도들을 참고하여 설명될 것이다. 따라서, 제조 기술 및/또는 허용 오차 등에 의해 예시도의 형태가 변형될 수 있다. 따라서, 본 발명의 실시예는 도시된 특정 형태로 제한되는 것이 아니라 제조 공정에 따라 생성되는 형태의 변화도 포함하는 것이다. 또한, 본 발명에 도시된 각 도면에 있어서 각 구성 요소들은 설명의 편의를 고려하여 다소 확대 또는 축소되어 도시된 것일 수 있다.
In addition, the embodiments described herein will be described with reference to perspective, sectional, side view, and / or schematic views that are ideal illustrations of the present invention. Thus, the shape of the illustrations may be modified by manufacturing techniques and / or tolerances. Accordingly, the embodiments of the present invention are not limited to the specific forms shown, but also include changes in the forms that are produced according to the manufacturing process. In addition, in the drawings of the present invention, each constituent element may be somewhat enlarged or reduced in view of convenience of explanation.

이하, 첨부한 도면을 참조로 본 발명의 실시예에 따른 버스 운행 안내 시스템(100)에 대해 상세하게 설명하도록 한다.
Hereinafter, a bus operation guidance system 100 according to an embodiment of the present invention will be described in detail with reference to the accompanying drawings.

도 1에 도시한 바와 같이, 본 발명의 실시예에 따른 버스 운행 안내 시스템(100)은 버스 차량(10)에 구비된 버스 운행 단말기(110), 영상 카메라(120) 및 중앙 관리 센터(130)를 포함할 수 있으며, 버스 차량(10)에 구비된 버스 운행 단말기(110)는 GPS 위성(20)으로부터 버스 차량(10)의 위치 좌표를, 센서부(111)로부터 버스 차량(10)의 속도, 가속도, 선회각, 경사각 정보를, 영상 카메라(120)로부터 영상 정보를 수집하여, 버스 차량(10)의 운전자에게 운행 안내 정보를 제공할 수 있다.
1, a bus operation guidance system 100 according to an embodiment of the present invention includes a bus operation terminal 110, a video camera 120, and a central management center 130 provided in a bus vehicle 10, And the bus driving terminal 110 provided in the bus vehicle 10 can measure the position coordinates of the bus vehicle 10 from the GPS satellite 20 from the sensor unit 111 to the speed of the bus vehicle 10 The acceleration information, the turning angle, and the tilt angle information from the image camera 120 to provide driving guidance information to the driver of the bus vehicle 10.

버스 운행 단말기(110)는 버스 차량의 위치 좌표, 속도, 가속도, 선회각, 경사각 정보를 상용 무선통신망의 기지국(30)을 통해 원격지의 중앙 관리 센터(130)로 전송할 수 있으며, 원격지의 중앙 관리 센터(130)로부터 현재 버스 차량(10)의 위치에 대응하여 제공되는 운행 안내 정보를 수신할 수 있다.
The bus operation terminal 110 can transmit the position coordinates, speed, acceleration, turning angle, and tilt information of the bus vehicle to the central management center 130 of the remote location via the base station 30 of the commercial wireless communication network, And can receive the driving guidance information provided from the center 130 in correspondence with the position of the current bus vehicle 10.

영상 카메라(120)는 버스 차량(10)의 전방의 실시간 영상 또는 버스 차량의 전후좌우 방향의 실시간 영상을 수집하기 위한 것으로, 버스 운행 단말기(110)에 구비된 영상 표시부(113a)를 통해 버스 차량(10) 주변의 실시간 영상을 운전자에게 제공할 수 있다.
The video camera 120 is for collecting a real time image in front of the bus vehicle 10 or a real time image in the front, back, left and right directions of the bus vehicle. The video camera 120 is connected to the bus vehicle 10 through a video display unit 113a provided in the bus operating terminal 110. [ The real time image of the surroundings of the vehicle 10 can be provided to the driver.

중앙 관리 센터(130)는 버스 운행 단말기(110)로부터 전송된 정보와 운행 노선의 맵 데이터를 매칭하여, 운행 노선별 3차원(3D) 맵 매칭을 실시한 후, 3차원 맵을 종합적으로 관리할 수 있으며, 필요한 경우 버스 운행 단말기(110)로 해당 버스 차량(10)의 위치에 대응하여 3차원 맵을 전송할 수 있다.
The central management center 130 matches the map data of the operation route with the information transmitted from the bus operation terminal 110 to perform three-dimensional (3D) map matching for each route and then manages the three- Dimensional map in response to the position of the bus vehicle 10 to the bus driving terminal 110 if necessary.

중앙 관리 센터(130)에서 생성되는 3차원 맵은 버스 차량(10)의 운행 노선을 나타내는 맵과 GPS 센서(111a)를 통해 얻어진 좌표 및 이 좌표에서의 차량 속도, 차량 가속도, 자이로센서의 경사도, 휠 센서의 휠 각도 변화량을 종합적으로 매칭하여, 해당 좌표에서의 경사도, 요철, 급커브 구간, 제한 속도 및 교통사고나 도로 공사 등의 돌발적으로 발생된 돌발사건이 실시간 표시될 수 있다.
The three-dimensional map generated by the central management center 130 includes a map indicating the route of the bus vehicle 10, coordinates obtained through the GPS sensor 111a, vehicle speed, vehicle acceleration, tilt angle of the gyro sensor, The wheel angle change amounts of the wheel sensors are comprehensively matched so that the incidents, irregularities, rapid curve sections, limit speeds, and accidental incidents such as traffic accidents or roadworks in the coordinates can be displayed in real time.

상술한 구성을 갖는 본 발명의 실시예에 따른 버스 운행 안내 시스템(100)은 도 2를 참조로 더 구체적으로 설명하기로 한다. 도 2에 도시한 바와 같이, 본 발명의 실시예에 따른 버스 운행 안내 시스템(100)은 버스 운행 단말기(110), 영상 카메라(120) 및 중앙 관리 센터(130)를 포함할 수 있다.
The bus operation guidance system 100 according to the embodiment of the present invention having the above-described configuration will be described in more detail with reference to FIG. 2, the bus operation guidance system 100 according to the embodiment of the present invention may include a bus operation terminal 110, a video camera 120, and a central management center 130.

버스 운행 단말기(110)는 버스 차량의 노선 운행 데이터를 수집하여 중앙 관리 센터(130)로 전송하고 중앙 관리 센터(130)로부터 전송된 3차원 맵, 버스 차량(10)의 주변 영상 및 경고 음성을 표시하기 위한 것으로, 센서부(111), 버스 운행 단말기(110)와 중앙 관리 센터(130) 사이의 무선 통신을 수행하기 위한 통신부(112), 안내부(113) 및 제어부(114)를 포함할 수 있다.
The bus operation terminal 110 collects route operation data of the bus vehicle and transmits the data to the central management center 130. The three-dimensional map transmitted from the central management center 130, the surrounding image of the bus vehicle 10, A communication unit 112 for performing wireless communication between the sensor unit 111 and the bus operation terminal 110 and the central management center 130, a guide unit 113 and a control unit 114 .

센서부(111)는 버스 차량(10)의 위치 및 경사도를 측정하기 위한 것으로, 버스 차량의 위치를 측정하도록 GPS 위성으로부터 버스 차량(10)의 위치 좌표를 수신받는 GPS 센서(111a) 및 자이로센서(111b)를 포함할 수 있다. The sensor unit 111 is for measuring the position and the inclination of the bus vehicle 10 and includes a GPS sensor 111a and a gyro sensor 111a for receiving the positional coordinates of the bus vehicle 10 from the GPS satellites to measure the position of the bus vehicle. Lt; RTI ID = 0.0 > 111b. ≪ / RTI >

GPS 센서(111a)는 GPS 위성으로부터 수신된 항법메시지와 위성 신호를 분석하여 위성의 궤도정보, 상태, 위성시계 보정값을 계산하여 자신의 위치를 삼각측량법을 이용하여 일정 범위 내로 계산한다. The GPS sensor 111a analyzes the navigation message and the satellite signal received from the GPS satellite, calculates the orbit information, the state, and the satellite clock correction value of the satellite, and calculates its own position within a certain range using the triangulation method.

자이로센서(111b)는 버스 차량(10)의 상하 회전 각도를 센싱하여 버스 차량(10)의 경사도를 측정하기 위한 것으로, 이와 같은 자이로센서(111b)를 통해 운행 노선의 경사도, 도로의 상태, 과속방지턱이나 요철 등이 탐지될 수 있다.
The gyro sensor 111b senses the vertical turning angle of the bus vehicle 10 to measure the inclination of the bus vehicle 10. The gyro sensor 111b detects the inclination of the route, Bumps or irregularities may be detected.

안내부(113)는 버스 차량(10)을 운행하는 운전자에게 영상, 3D 맵 및 음성 경고를 표시하여 안내하기 위한 것으로, 영상 표시부(113a)와 음성 표시부(113b)를 포함할 수 있다.The guide unit 113 is for displaying a video, a 3D map, and a voice warning to the driver who runs the bus vehicle 10, and may include a video display unit 113a and a voice display unit 113b.

영상 표시부(113a)는 영상 카메라(120)를 통해 수집된 버스 차량(10) 주변의 영상을 실시간 표시함과 동시에, 중앙 관리 센터(130)를 통해 전송되는 실시간 3D 맵 정보를 표시할 수 있다.The video display unit 113a displays real time 3D map information transmitted through the central management center 130 while displaying the video around the bus vehicle 10 collected through the video camera 120 in real time.

한편, 영상 표시부(113a)에 표시되는 영상은 제어부(114)의 영상 매칭부(114b)에 의해 제어되는데, 본 실시예에서 영상 표시부(113a)는 실시간 주변 영상과 3D 맵을 표시하도록 LCD 디스플레이 장치를 제어할 수 있으며, 영상 표시부(113a)에서 표시되는 실시간 주변 영상은 영상 매칭부(114b)에 의해 실시간 주변 영상에 중앙 관리 센터(130)로부터 전송되는 다양한 3D 맵 정보가 매칭되어 표시될 수 있다.The image displayed on the image display unit 113a is controlled by the image matching unit 114b of the control unit 114. In this embodiment, the image display unit 113a displays the real- And the real-time peripheral image displayed on the image display unit 113a may be displayed by matching the various 3D map information transmitted from the central management center 130 to the real-time peripheral image by the image matching unit 114b .

즉, 실시간 주변 영상과 운행 노선의 방향, 운행 노선의 경사각, 커브각, 운행 노선의 도로 상태나 전방 사고 상황 등이 실시간 주변 영상에 합성되어 영상 표시부(113a)에 표시될 수 있다.That is, the direction of the real-time surrounding image and the running route, the inclination angle of the running route, the curve angle, the road state of the running route, the forward accident situation, and the like can be combined with the real-time peripheral image and displayed on the image display unit 113a.

음성 표시부(113b)는 운전 중인 운전자에게 음성 경고 메시지를 전달하기 위한 것으로, 현재 버스 차량(10)의 속도, 전방 운행 노선의 경사각, 급커브 구간, 위험 구역 등이 음성으로 표시될 수 있다.
The voice display unit 113b is for transmitting a voice warning message to the driver in operation. The voice display unit 113b can display the speed of the bus vehicle 10, the inclination angle of the forward driving route, the rapid curve section, and the dangerous area.

제어부(114)는 버스 운행 단말기(110)를 전체적으로 제어하기 위한 것으로, 기능적으로 구분하면 중앙 관리 센터(130)와의 통신 제어, 안내부(113)의 영상 및 음성 표시 제어 및 센서부(111) 및 버스 차량(10)의 ECU/DTG(40)로부터 전달되는 센싱 데이터를 종합하여 데이터를 생성하는 데이터 생성 제어 기능을 수행할 수 있다.The control unit 114 is for controlling the bus operating terminal 110 as a whole and is functionally divided to perform communication control with the central management center 130, video and audio display control of the guidance unit 113, It is possible to perform a data generation control function of synthesizing the sensing data transmitted from the ECU / DTG 40 of the bus vehicle 10 to generate data.

이를 위해 제어부(114)는 데이터 생성부(114a) 및 영상 매칭부(114b)를 포함할 수 있다.For this, the control unit 114 may include a data generation unit 114a and an image matching unit 114b.

데이터 생성부(114a)는 버스 차량(10)의 운행 동안에 센싱되는 다양한 센싱 데이터를 시간 정보를 포함하여 종합하기 위한 것으로, 센서부(111)의 GPS 센서(111a)에서 전달되는 GPS 좌표값, 자이로센서(111b)에서 전달되는 현재 차량의 경사각, 버스 차량(10)의 ECU/DTG(40)로부터 전달되는 센싱 데이터를 종합할 수 있다. ECU/DTG(40)로부터 전달되는 센싱 데이터는 버스 차량(10)에 설치된 다양한 센서를 통해 수집될 수 있으며, 구체적으로는 버스 차량(10)의 속도를 센싱하는 속도 센서(41), 버스 차량(10)의 선회각을 측정하는 휠 센서(42) 및 버스 차량(10)의 가속도를 측정하는 가속도 센서(43)로부터 센싱 데이터를 수집할 수 있다.
The data generator 114a is used for synthesizing various sensing data sensed during the operation of the bus vehicle 10 including time information and includes a GPS coordinate value transmitted from the GPS sensor 111a of the sensor unit 111, The inclination angle of the current vehicle transmitted from the sensor 111b and the sensing data transmitted from the ECU / DTG 40 of the bus vehicle 10 can be synthesized. The sensing data transmitted from the ECU / DTG 40 can be collected through various sensors installed in the bus vehicle 10 and specifically includes a speed sensor 41 for sensing the speed of the bus vehicle 10, The wheel sensor 42 for measuring the turning angle of the bus vehicle 10 and the acceleration sensor 43 for measuring the acceleration of the bus vehicle 10 can collect the sensing data.

영상 카메라(120)는 버스 차량(10)의 전방의 실시간 영상 또는 버스 차량의 전후좌우 방향의 실시간 영상을 수집하기 위한 것으로, 영상 카메라(120)에서 수집된 실시간 영상은 버스 운행 단말기(110)의 제어부(114)의 영상 매칭부(114b)에 전달될 수 있다. 영상 카메라(120)에서 수집된 영상은 영상 표시부(113a)를 통해 직접 표시될 수 있고, 또는 영상 매칭부(114b)에서 중앙 관리 센터(130)로부터 전송된 3D 맵 데이터와 매칭되어 3D 맵 데이터를 포함한 영상이 표시될 수 있다.
The video camera 120 is for collecting a real time image in front of the bus vehicle 10 or a real time image in the front, rear, left, and right directions of the bus vehicle. And may be transmitted to the image matching unit 114b of the control unit 114. [ The image collected by the image camera 120 may be directly displayed through the image display unit 113a or may be matched with the 3D map data transmitted from the central management center 130 in the image matching unit 114b, Images including the images can be displayed.

중앙 관리 센터(130)는 버스 운행 단말기(110)로부터 전송된 정보와 운행 노선의 맵 데이터를 매칭하여, 운행 노선별 3차원(3D) 맵 매칭을 실시한 후, 3차원 맵을 생성하여 종합적으로 관리할 수 있으며, 필요한 경우 버스 운행 단말기(110)로 해당 버스 차량(10)의 위치에 대응하여 3차원 맵을 전송할 수 있다. 이를 위해 중앙 관리 센터(130)는 맵 매칭부(131) 및 맵 데이터베이스(132)를 포함할 수 있다.
The central management center 130 matches the information transmitted from the bus operating terminal 110 with the map data of the operation route, performs three-dimensional (3D) map matching for each route, generates a three- Dimensional map in response to the position of the bus vehicle 10 to the bus driving terminal 110, if necessary. For this, the central management center 130 may include a map matching unit 131 and a map database 132.

맵 매칭부(131)는 버스 운행 단말기(110)로부터 전송되는 버스 차량(10)의 위치 좌표, 속도, 가속도, 버스 차량(10)의 경사 및 고도 정보를 맵 데이터베이스(132)에 저장된 운행 노선 맵 데이터와 매칭하여 3D 맵 데이터를 생성할 수 있다. 맵 매칭부(131)에서 생성되는 3차원 맵은 버스 차량(10)의 운행 노선을 나타내는 맵과 GPS 센서(111a)를 통해 얻어진 좌표 및 이 좌표에서의 차량 속도, 차량 가속도, 자이로센서의 경사도, 휠 센서의 휠 각도 변화량을 종합적으로 매칭하여, 해당 좌표에서의 경사도, 요철, 급커브 구간, 제한 속도 및 교통사고나 도로 공사 등의 돌발적으로 발생된 돌발사건이 실시간 표시될 수 있다.The map matching unit 131 maps the position coordinates, speed, acceleration of the bus vehicle 10, inclination and altitude information of the bus vehicle 10 transmitted from the bus driving terminal 110 to the operation route map It is possible to generate 3D map data by matching with data. The three-dimensional map generated by the map matching unit 131 includes a map indicating the route of the bus vehicle 10, coordinates obtained through the GPS sensor 111a, vehicle speed, vehicle acceleration, tilt angle of the gyro sensor, The wheel angle change amounts of the wheel sensors are comprehensively matched so that the incidents, irregularities, rapid curve sections, limit speeds, and accidental incidents such as traffic accidents or roadworks in the coordinates can be displayed in real time.

맵 데이터베이스(132)는 버스 차량(10)의 운행 노선 맵 데이터 및 생성된 3D 맵 데이터를 저장할 수 있으며, 중앙 관리 센터(130)에서 버스 운행 단말기(110)의 현재 위치 좌표에 대응하는 3D 맵 데이터를 버스 운행 단말기(110)에 전송할 경우, 위치 좌표에 대응하는 3D 맵 데이터를 검색하여 전송할 수 있다.
The map database 132 may store the driving route map data of the bus vehicle 10 and the generated 3D map data and may store 3D map data corresponding to the current position coordinates of the bus driving terminal 110 in the central management center 130. [ The 3D map data corresponding to the position coordinates can be searched and transmitted.

이상, 본 발명의 실시예에 대하여 설명하였으나, 해당 기술 분야에서 통상의 지식을 가진 자라면 특허청구범위에 기재된 본 발명의 사상으로부터 벗어나지 않는 범위 내에서, 구성 요소의 부가, 변경, 삭제 또는 추가 등에 의해 본 발명을 다양하게 수정 및 변경시킬 수 있을 것이며, 이 또한 본 발명의 권리범위 내에 포함된다고 할 것이다.
While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed embodiments, but, on the contrary, It will be understood by those skilled in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined by the appended claims.

10 : 버스 차량
20 : GPS 위성
30 : 기지국
40 : ECU/DTG
100 : 버스 운행 안내 시스템10: Bus car
20: GPS satellite
30: base station
40: ECU / DTG
100: Bus service guide system

Claims (8)

GPS 위성으로부터의 GPS 좌표, 버스 ECU/DTG로부터의 버스 차량의 속도, 가속도, 선회각 정보 및 자이로센서로부터의 버스 차량의 경사도 정보를 전송받아 시간 정보를 포함한 센싱 데이터를 수집하는 버스 운행 단말기; 및
상기 버스 운행 단말기로부터 전송되는 센싱 데이터와 맵 데이터를 매칭하여 상기 버스 차량의 상기 GPS 좌표별 3D 맵 데이터를 생성하여 관리하는 중앙 관리 센터;를 포함하는 버스 운행 안내 시스템.
A bus operating terminal for receiving sensing data including time information by receiving GPS coordinates from the GPS satellites, speed of the bus vehicle from the bus ECU / DTG, acceleration, turning angle information, and tilt information of the bus vehicle from the gyro sensor; And
And a central management center for generating and managing 3D map data for each of the GPS coordinates of the bus vehicle by matching the sensing data transmitted from the bus operating terminal with the map data.
제1항에 있어서,
상기 버스 운행 단말기는,
상기 중앙 관리 센터로부터 전송된 3D 맵 데이터를 표시하여 안내하며, 상기 3D 맵 데이터는 시각 및 음성으로 표시되는 것을 특징으로 하는 버스 운행 안내 시스템.
The method according to claim 1,
The bus operating terminal,
And displays and guides the 3D map data transmitted from the central management center, and the 3D map data is displayed in time and voice.
제1항에 있어서,
상기 버스 운행 안내 시스템은, 상기 버스 차량의 속도, 가속도 및 선회각의 정보를 상기 버스 차량에 구비된 ECU/DTG로부터 수집하고, 상기 버스 차량의 주변 영상을 상기 버스 차량에 구비된 영상 카메라로부터 수집하는 것을 특징으로 하는 버스 운행 안내 시스템.
The method according to claim 1,
The bus navigation guidance system collects information on the speed, acceleration, and turning angle of the bus vehicle from an ECU / DTG provided in the bus vehicle, and collects peripheral images of the bus vehicle from an image camera provided in the bus vehicle And the bus operation guidance system.
제1항에 있어서,
상기 버스 운행 단말기는,
상기 버스 차량의 경사도 정보를 수집하는 자이로센서 및 GPS 좌표를 수집하는 GPS 센서를 포함한 센서부; 상기 영상 카메라의 영상 및 상기 3D 맵 데이터를 시각적으로 표시하는 영상 표시부 및 음성으로 표시하는 음성 표시부를 포함한 안내부; 상기 센싱 데이터를 상기 중앙 관리 센터로 무선 송신하고 상기 3D 맵 데이터를 무선 수신하는 통신부; 및 상기 시간 정보를 포함한 센싱 데이터를 생성하는 데이터 생성부 및 상기 영상 카메라의 영상과 상기 3D 맵 데이터를 매칭하여 합성하는 영상 매칭부를 포함하는 제어부;를 포함하는 것을 특징으로 하는 버스 운행 안내 시스템.
The method according to claim 1,
The bus operating terminal,
A sensor unit including a gyro sensor for collecting gradient information of the bus vehicle and a GPS sensor for collecting GPS coordinates; An image display unit for visually displaying the image of the image camera and the 3D map data, and a voice display unit for displaying the image by voice; A communication unit wirelessly transmitting the sensing data to the central management center and wirelessly receiving the 3D map data; And a controller for generating sensing data including the time information and an image matching unit for matching and combining the image of the image camera and the 3D map data.
제1항에 있어서,
상기 중앙 관리 센터는,
지도 정보 및 3D 맵 데이터를 저장하는 맵 데이터베이스; 및 상기 버스 운행 단말기로부터 전송된 센싱 데이터와 상기 지도 정보를 매칭하여 상기 3D 맵 데이터를 생성하는 맵 매칭부;를 포함하는 것을 특징으로 하는 버스 운행 안내 시스템.
The method according to claim 1,
The central management center,
A map database storing map information and 3D map data; And a map matching unit for matching the sensing data transmitted from the bus operating terminal with the map information to generate the 3D map data.
제1항에 있어서,
상기 안내부는 상기 영상 카메라의 영상 및 상기 3D 맵 데이터를 동시에 표시하는 것을 특징으로 하는 버스 운행 안내 시스템.
The method according to claim 1,
Wherein the guide unit simultaneously displays the image of the image camera and the 3D map data.
제1항에 있어서,
상기 안내부는 상기 영상 카메라의 영상과 상기 3D 맵 데이터가 합성된 영상을 표시하는 것을 특징으로 하는 버스 운행 안내 시스템.
The method according to claim 1,
Wherein the guide unit displays an image obtained by combining the image of the image camera and the 3D map data.
제1항에 있어서,
상기 3D 맵 데이터는 상기 버스 차량의 운행 노선의 경사도 또는 고도 정보, 과속 방지턱, 급커브 구역과 같은 도로 상태 정보를 포함하는 것을 특징으로 하는 버스 운행 안내 시스템.
The method according to claim 1,
Wherein the 3D map data includes road state information such as an inclination or altitude information of a driving route of the bus vehicle, a speed limit bass, and a steep curve area.
KR1020140187867A 2014-12-24 2014-12-24 Bus Operation Guiding System Active KR101647626B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140187867A KR101647626B1 (en) 2014-12-24 2014-12-24 Bus Operation Guiding System

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140187867A KR101647626B1 (en) 2014-12-24 2014-12-24 Bus Operation Guiding System

Publications (2)

Publication Number Publication Date
KR20160077678A true KR20160077678A (en) 2016-07-04
KR101647626B1 KR101647626B1 (en) 2016-08-11

Family

ID=56501097

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140187867A Active KR101647626B1 (en) 2014-12-24 2014-12-24 Bus Operation Guiding System

Country Status (1)

Country Link
KR (1) KR101647626B1 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107871399A (en) * 2016-12-27 2018-04-03 珠海市杰理科技股份有限公司 Vehicle automatic driving system and method
CN110517548A (en) * 2019-08-26 2019-11-29 北京星际元会展有限公司 Satellite positioning experience apparatus
CN112269845A (en) * 2020-10-22 2021-01-26 东南大学 Method for quickly matching electronic road map and bus route facing to different source data
KR102530581B1 (en) * 2021-12-03 2023-05-10 아주대학교산학협력단 Apparatus for hydrogen electric vehicle monitoring for predict abnormal or dangerous situations and method thereof
KR20240155587A (en) * 2023-04-20 2024-10-29 (주) 더아이엠씨 Analysis Method for Risky Bus Driving Behavior Based on Real-Time Location Information

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1089978A (en) * 1996-09-19 1998-04-10 Toshiba Corp Navigation apparatus and video data display method in the same
JP2002133591A (en) * 2000-10-27 2002-05-10 Denso Corp Vehicle operation system and vehicle operation method
KR100941171B1 (en) * 2009-04-06 2010-02-10 (주)경봉 Apparatus for and method of displaying arrival time of bus in bus information system
JP2010238021A (en) * 2009-03-31 2010-10-21 Zenrin Datacom Co Ltd Vehicle operation management system and operation management method, vehicle terminal, and operation management device
KR20110027873A (en) 2009-09-11 2011-03-17 강동훈 Bus operation information system equipped with transportation card charging function

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1089978A (en) * 1996-09-19 1998-04-10 Toshiba Corp Navigation apparatus and video data display method in the same
JP2002133591A (en) * 2000-10-27 2002-05-10 Denso Corp Vehicle operation system and vehicle operation method
JP2010238021A (en) * 2009-03-31 2010-10-21 Zenrin Datacom Co Ltd Vehicle operation management system and operation management method, vehicle terminal, and operation management device
KR100941171B1 (en) * 2009-04-06 2010-02-10 (주)경봉 Apparatus for and method of displaying arrival time of bus in bus information system
KR20110027873A (en) 2009-09-11 2011-03-17 강동훈 Bus operation information system equipped with transportation card charging function

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107871399A (en) * 2016-12-27 2018-04-03 珠海市杰理科技股份有限公司 Vehicle automatic driving system and method
CN110517548A (en) * 2019-08-26 2019-11-29 北京星际元会展有限公司 Satellite positioning experience apparatus
CN112269845A (en) * 2020-10-22 2021-01-26 东南大学 Method for quickly matching electronic road map and bus route facing to different source data
CN112269845B (en) * 2020-10-22 2021-06-22 东南大学 A fast matching method of electronic road map and bus route for heterogeneous data
KR102530581B1 (en) * 2021-12-03 2023-05-10 아주대학교산학협력단 Apparatus for hydrogen electric vehicle monitoring for predict abnormal or dangerous situations and method thereof
KR20240155587A (en) * 2023-04-20 2024-10-29 (주) 더아이엠씨 Analysis Method for Risky Bus Driving Behavior Based on Real-Time Location Information

Also Published As

Publication number Publication date
KR101647626B1 (en) 2016-08-11

Similar Documents

Publication Publication Date Title
US10120378B2 (en) Vehicle automated driving system
US10005391B2 (en) Information presentation system
US10331139B2 (en) Navigation device for autonomously driving vehicle
US20230304821A1 (en) Digital signage platform providing device, operating method thereof, and system including digital signage platform providing device
KR102331025B1 (en) Image information acquisition device, vehicle and method for controlling thereof
JP7620440B2 (en) Autonomous Driving Assistance System
US20190193738A1 (en) Vehicle and Control Method Thereof
US9638530B2 (en) System and method for distribution of 3D sound
JP5898539B2 (en) Vehicle driving support system
KR101979276B1 (en) User interface apparatus for vehicle and Vehicle
CN105806358B (en) Method and device for driving prompt
JP5327025B2 (en) Vehicle travel guidance device, vehicle travel guidance method, and computer program
US12233714B2 (en) Information processing apparatus, information processing method, and mobile body apparatus
JP2005098853A (en) Map data updating method and map data updating apparatus
KR101647626B1 (en) Bus Operation Guiding System
KR101979277B1 (en) User interface apparatus for vehicle and Vehicle
JP2015191256A (en) Risk degree determination device, risk degree determination method and risk degree determination program
JP2013124957A (en) Navigation system using portable information terminal
CN102445210A (en) Navigation system and method for target navigation of motor vehicle
KR101281629B1 (en) Driving guidance system using sensors
CN103292785B (en) Car-mounted device
US11193784B2 (en) End of trip sequence
CN116630577B (en) AR information display method, vehicle and device under real-time moving live-action
JP2017182418A (en) Driving assisting device and driving support system
CN113218410A (en) System and method for vehicle navigation using terrain text recognition

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

PN2301 Change of applicant

St.27 status event code: A-3-3-R10-R11-asn-PN2301

R19-X000 Request for party data change rejected

St.27 status event code: A-3-3-R10-R19-oth-X000

N231 Notification of change of applicant
PN2301 Change of applicant

St.27 status event code: A-3-3-R10-R13-asn-PN2301

St.27 status event code: A-3-3-R10-R11-asn-PN2301

R17-X000 Change to representative recorded

St.27 status event code: A-3-3-R10-R17-oth-X000

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

P22-X000 Classification modified

St.27 status event code: A-2-2-P10-P22-nap-X000

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

FPAY Annual fee payment

Payment date: 20190703

Year of fee payment: 4

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 5

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 6

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 7

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

P14-X000 Amendment of ip right document requested

St.27 status event code: A-5-5-P10-P14-nap-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

P14-X000 Amendment of ip right document requested

St.27 status event code: A-5-5-P10-P14-nap-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 8

P14-X000 Amendment of ip right document requested

St.27 status event code: A-5-5-P10-P14-nap-X000

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 9

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 10

P14 Amendment of ip right document requested

Free format text: ST27 STATUS EVENT CODE: A-5-5-P10-P14-NAP-X000 (AS PROVIDED BY THE NATIONAL OFFICE)

P14-X000 Amendment of ip right document requested

St.27 status event code: A-5-5-P10-P14-nap-X000