KR20200080976A - Ai 기반 노치 필터의 파라미터 설정 장치 및 방법 - Google Patents

Ai 기반 노치 필터의 파라미터 설정 장치 및 방법 Download PDF

Info

Publication number
KR20200080976A
KR20200080976A KR1020180171017A KR20180171017A KR20200080976A KR 20200080976 A KR20200080976 A KR 20200080976A KR 1020180171017 A KR1020180171017 A KR 1020180171017A KR 20180171017 A KR20180171017 A KR 20180171017A KR 20200080976 A KR20200080976 A KR 20200080976A
Authority
KR
South Korea
Prior art keywords
notch filter
parameter
notch
setting
controller
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020180171017A
Other languages
English (en)
Other versions
KR102215752B1 (ko
Inventor
조동일
오태호
김태일
이상훈
Original Assignee
서울대학교산학협력단
알에스오토메이션주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서울대학교산학협력단, 알에스오토메이션주식회사 filed Critical 서울대학교산학협력단
Priority to KR1020180171017A priority Critical patent/KR102215752B1/ko
Publication of KR20200080976A publication Critical patent/KR20200080976A/ko
Application granted granted Critical
Publication of KR102215752B1 publication Critical patent/KR102215752B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0218—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults
    • G05B23/0221—Preprocessing measurements, e.g. data collection rate adjustment; Standardization of measurements; Time series or signal analysis, e.g. frequency analysis or wavelets; Trustworthiness of measurements; Indexes therefor; Measurements using easily measured parameters to estimate parameters difficult to measure; Virtual sensor creation; De-noising; Sensor fusion; Unconventional preprocessing inherently present in specific fault detection methods like PCA-based methods
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/0265—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03H—IMPEDANCE NETWORKS, e.g. RESONANT CIRCUITS; RESONATORS
    • H03H7/00—Multiple-port networks comprising only passive electrical elements as network components
    • H03H7/01—Frequency selective two-port networks
    • H03H7/0115—Frequency selective two-port networks comprising only inductors and capacitors
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03H—IMPEDANCE NETWORKS, e.g. RESONANT CIRCUITS; RESONATORS
    • H03H9/00—Networks comprising electromechanical or electro-acoustic elements; Electromechanical resonators
    • H03H9/15—Constructional features of resonators consisting of piezoelectric or electrostrictive material
    • H03H9/205—Constructional features of resonators consisting of piezoelectric or electrostrictive material having multiple resonators

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Power Engineering (AREA)
  • Acoustics & Sound (AREA)
  • Feedback Control In General (AREA)

Abstract

제어기, 제어 대상 및 상기 제어기와 상기 제어 대상 사이에 위치하여 상기 제어기의 제어 신호의 공진 성분을 제거하는 노치 필터를 포함하는 서보 시스템에 적용되는 노치필터 파라미터 설정 장치가 제공된다. 노치필터 파라미터 설정 장치는 상기 제어 대상에 입력되는 입력 신호, 상기 제어 대상에서 출력되는 출력 신호 및 상기 제어기의 파라미터를 수신하고, 상기 입력 신호, 상기 출력 신호 및 상기 제어기의 파라미터를 기초로 상기 서보 시스템의 주파수 응답을 계산하여 전처리된 데이터를 생성하는 데이터 전처리부; 및 상기 전처리된 데이터를 이용하여 강화 학습 기반의 인공 신경망을 통해 노치 필터 파라미터를 설정하는 파라미터 설정부를 포함한다.

Description

AI 기반 노치 필터의 파라미터 설정 장치 및 방법{Device and method for notch filter parameter setting based on AI}
본 발명은 서보 시스템의 주파수 응답을 기계학습에 사용되는 형태로 변환하고, 강화학습 방법을 통해 인공 신경망을 학습시켜 복수개의 노치 필터 파라미터를 설정하는 방법 및 장치에 관한 것이다.
[국가지원 연구개발에 대한 설명]
본 연구는 중소벤처기업부 월드클래스300 (WC300) 사업(스마트머신/협업로봇 유연 대응을 위한 로봇모션 제어 솔루션 개발, 과제 고유번호: S2563339)의 지원에 의하여 이루어진 것이다.
서보 시스템은 물체의 위치 ·방위 ·자세 등의 변위를 제어량(출력)으로 하고, 목표값(입력)의 임의의 변화에 추종하도록 한 제어 시스템을 말한다. 이러한 서보 시스템에 입력 신호에서 특성 주파수 대역 성분을 제외한 신호를 출력시키는 필터인 노치 필터가 적용된 바 있다. 서보 시스템에서는 전류 명령에 노치 필터를 적용하여 공진을 유발하는 주파수 성분을 제거하여 시스템의 공진 영향을 감소시킨다.
도 1은 노치 필터가 적용된 종래 서보 시스템(20)의 블록도이다. 도 1을 참조하면, 서보 시스템(20)은 제어기(210), 제어 대상(220), 엔코더(230) 및 노치 필터(240)를 포함한다. 제어기(210)는 제어 대상(220) 제어를 위한 전류 명령을 발생한다. 엔코더(230)는 제어 대상(220)의 회전각을 측정하여 그 결과를 제어기(210)에 피드백으로 제공한다. 이후 제어기(210)는 레퍼런스 및 피드백 정보를 이용하여 제어 대상(220)를 제어한다.
여기서 노치 필터(240)는 제어기에서 출력되는 전류 명령을 필터링하여 노치 주파수에 해당하는 공진 성분을 제거한다. 시스템의 특성에 따라 복수개의 공진 성분을 제거하기 위하여 복수개의 노치 필터를 사용할 수 있다. 노치 필터(240)의 파라미터를 적절하게 설정하면 노치 필터(240)를 통과한 전류가 모터에 공진 현상을 유발하지 않는다. 하지만 노치 필터(240)를 설정할 경우 노치 필터 1개 당 여러 파라미터를 설정하여야 하며, 복수 개의 노치 필터를 설정할 경우 문제가 더 복잡해져 적절한 노치 필터를 설정하기가 어려운 문제점이 존재한다.
P. Schmid, and T. Rehm, "Notch filter tuning for resonant frequency reduction in dual inertia systems," in Conference Record of the 1999 IEEE Industry Applications Conference, pp. 1730-1734, 1999.
본 발명은 상술한 문제점을 해결하기 위해 안출된 것으로, AI 기반으로 노치 필터의 파라미터를 설정하는 방법, 장치 및 이를 포함하는 서보 시스템을 제공한다.
본 발명의 일 실시예에 따른 노치필터 파라미터 설정 장치는 제어기, 제어 대상 및 상기 제어기와 상기 제어 대상 사이에 위치하여 상기 제어기의 제어 신호의 공진 성분을 제거하는 노치 필터를 포함하는 서보 시스템에 적용되는 노치필터 파라미터 설정 장치로서, 상기 제어 대상에 입력되는 입력 신호, 상기 제어 대상에서 출력되는 출력 신호 및 상기 제어기의 파라미터를 수신하고, 상기 입력 신호, 상기 출력 신호 및 상기 제어기의 파라미터를 기초로 상기 서보 시스템의 주파수 응답을 계산하여 전처리된 데이터를 생성하는 데이터 전처리부; 및 상기 전처리된 데이터를 이용하여 강화 학습 기반의 인공 신경망을 통해 노치 필터 파라미터를 설정하는 파라미터 설정부를 포함한다.
본 발명의 다른 실시예에 따른 노치필터 파라미터 설정 방법은 제어기, 제어 대상 및 상기 제어기와 상기 제어 대상 사이에 위치하여 상기 제어기의 제어 신호의 공진 성분을 제거하는 노치 필터를 포함하는 서보 시스템에 적용되는 노치필터 파라미터 설정 장치의 노치필터 파라미터 설정 방법으로, 상기 제어 대상에 입력되는 입력 신호, 상기 제어 대상에서 출력되는 출력 신호 및 상기 제어기의 파라미터를 수신하고, 상기 입력 신호, 상기 출력 신호 및 상기 제어기의 파라미터를 기초로 상기 서보 시스템의 주파수 응답을 계산하여 전처리된 데이터를 생성하는 단계; 및 상기 전처리된 데이터를 이용하여 강화 학습 기반의 인공 신경망을 통해 노치 필터 파라미터를 설정하는 단계를 포함한다.
본 발명의 또 다른 실시예에 따른 컴퓨터 프로그램은 하드웨어와 결합되어 상기 노치필터 파라미터 설정 방법을 실행하도록 매체에 저장된다.
본 발명의 일 실시예에 따른 노치필터 파라미터 설정 장치 및 방법은 제어 대상의 입력 신호, 출력 신호 및 제어기의 파라미터를 이용하여, 주파수 응답(보드 플롯 데이터)을 계산하고, DQN 기계학습 방법을 이용하여 주파수 응답(보드 플롯 데이터)을 기초로 노치 필터의 파라미터가 자동으로 설정될 수 있다.
도 1은 노치 필터가 적용된 종래의 서보 시스템의 블록도이다.
도 2는 본 발명의 일 실시예에 따른 서보 시스템의 블록도이다.
도 3은 본 발명의 일 실시예에 따른 파라미터 설정 장치의 블록도이다.
도 4는 본 발명의 일 실시예에 따른 파라미터 설정부의 블록도이다.
도 5는 본 발명의 일 실시예에 따른 네트워크 저장부의 블록도이다.
도 6은 본 발명의 일 실시예에 따른 노치필터 파라미터 설정 방법의 순서도이다.
도 7은 본 발명의 일 실시예에 따른 노치 필터 파라미터를 설정하는 단계의 순서도이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 명세서에서 사용되는 용어는 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 결정한 용어도 있으며, 이 경우 해당되는 명세서의 설명 부분에서 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는, 단순한 용어의 명칭이 아닌 그 용어가 가지는 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 한다.
도 2는 본 발명의 일 실시예에 따른 서보 시스템의 블록도이다. 도 3은 본 발명의 일 실시예에 따른 파라미터 설정 장치의 블록도이다. 도 4는 본 발명의 일 실시예에 따른 파라미터 설정부의 블록도이다. 도 5는 본 발명의 일 실시예에 따른 네트워크 저장부의 블록도이다.
도 2 내지 도 5를 참조하면, 본 발명의 일 실시예에 따른 서보 시스템(10)은 파라미터 설정 장치(100), 제어기(110), 제어 대상(120), 엔코더(130) 및 노치 필터(140)를 포함한다. 제어기(110)는 제어 대상(120) 제어를 위한 전류 명령을 발생한다. 엔코더(130)는 제어 대상(120)의 회전각을 측정하여 그 결과를 제어기(110)에 피드백 신호로 제공한다. 이후 제어기(110)는 레퍼런스 및 피드백 정보를 이용하여 제어 대상(120)를 제어한다. 제어 대상(120)는 서보 시스템(10)에서 제어될 제어 대상으로, 제어 대상, 플랜트 에 해당한다. 노치 필터(140)는 제어기에서 출력되는 전류 명령(S1)을 필터링 하여 노치 주파수에 해당하는 공진 성분을 제거한다. 즉, 노치 필터(140)를 통과하여 공진 성분이 제거된 전류 명령이 제어 대상(120)에 제공된다. 파라미터 설정 장치(100)는 AI 기반으로 노치 필터(140)의 파라미터를 설정하여 노치 필터(140)에 제공한다. 본 발명의 일 실시예에 따른 파라미터 설정 장치(100)는 AI 기반 방법 중 인공 신경망을 이용한 강화학습 방법을 통해 노치 필터(140)의 파라미터를 설정하여 제공할 수 있다. 인공 신경망을 이용한 강화학습 방법은 복잡한 시스템에서도 스스로 시스템을 학습하면서 선택 가능한 행동들 중 보상을 최대화 하는 행동을 선택할 수 있는 바, 노치 필터 파라미터를 보다 효율적으로 설정할 수 있다. 다만, 본 발명의 AI 기반 노치 필터 파라미터 설정 방법이 상술한 방법에 한정되는 것은 아니다.
본 발명의 일 실시예에 따른 노치 필터(140)는 하기 수학식 1로 표현되는 전달 함수로 설계될 수 있다.
[수학식 1]
Figure pat00001
(여기서,
Figure pat00002
는 라플라스 연산자(Laplace operator),
Figure pat00003
은 노치 필터 주파수(notch frequency),
Figure pat00004
는 노치 필터 깊이(notch depth parameter),
Figure pat00005
는 노치 필터 너비(notch width parameter)이다.)
여기서, 노치 필터 주파수(notch frequency), 노치 필터 깊이(notch depth parameter), 노치 필터 너비(notch width parameter)는 노치 필터(140)의 제어 파라미터로, 노치 필터 파라미터의 설정의 대상에 해당한다. 즉, 노치 필터(140)의 제어 파라미터의 개수는 3개일 수 있으나, 이에 한정되는 것은 아니다. 노치 필터(140)의 제어 파라미터의 개수는 설계 조건에 따라 변동될 수 있다.
파라미터 설정 장치(100)는 AI 기반 방법 중 인공 신경망을 이용한 강화학습 방법을 통해 조절된 노치 필터 주파수(notch frequency), 노치 필터 깊이(notch depth parameter), 노치 필터 너비(notch width parameter)를 노치 필터(140)로 제공할 수 있다. 여기서, 노치 필터(140)는 복수개로 서보 시스템(10)에 구비될 수 있으며, 파라미터 설정 장치(100)는 복수의 노치 필터(140) 각각에 대한 파라미터를 설정하여 제공할 수 있다. 이하, 파라미터 설정 장치(100)의 구성 및 기능에 대해 보다 상세히 설명하도록 한다.
파라미터 설정 장치(100)는 데이터 전처리부(101) 및 파라미터 설정부(102)를 포함한다.
데이터 전처리부(101)는 공진 성분이 제거된 전류 명령, 엔코더(130)에서 제공되는 피드백 신호 및 제어기(110)의 파라미터를 입력받고, 서보 시스템(100)의 주파수 응답을 계산한다. 여기서, 공진 성분이 제거된 전류 명령은 제어 대상(120)에 입력되는 입력 신호이며, 엔코더(130)에서 제공되는 피드백 신호는 제어 대상(120)에서 출력되는 출력 신호에 해당한다. 데이터 전처리부(101)는 제어 대상(120)의 입력 신호, 제어 대상(120)의 출력 신호, 제어기(110)의 파라미터를 입력받으며, 서보 시스템(100)의 주파수 응답에 해당하는 보드 플롯(bode plot) 데이터를 생성할 수 있다. 즉, 파라미터 설정 장치(100)는 서보 시스템(100)의 보드 플롯 데이터를 이용하여 노치 필터(140)의 파라미터 설정을 수행할 수 있다. 또한, 데이터 전처리부(101)는 기계 학습에 사용되는 형태로 상기 주파수 응답을 변환할 수 있다. 데이터 전처리부(101)는 주파수 응답(보드 플롯 데이터)를 파라미터 설정부(102)에 처리될 수 있는 데이터 크기로 변경하는 작업을 더 수행할 수 있다. 예시적으로, 데이터 전처리부(101)는 데이터의 크기가 클 경우 주파수 성분을 샘플링 하여 데이터 크기로 변경하는 방법 또는 이전에 사용하던 일련의 데이터를 묶어서 하나의 데이터로 처리 하는 방법을 사용할 수 있다. 데이터 크기가 조정된 보드 플롯 데이터, 즉 전처리된 데이터는 파라미터 설정부(102)에 제공된다.
파라미터 설정부(102)는 전처리된 데이터를 이용하여 노치 필터 파라미터를 생성한다. 파라미터 설정부(102)는 강화 학습(reinforcement learning) 기반의 인공 신경망을 이용한다. 예컨대, DQN을 사용할 수 있다. DQN은 Q-학습(learning) 기술에 인공신경망을 추가하여 더 넓은 상태 공간 상에서 강화 학습을 진행하는 알고리즘이다. DQN은 개별 Q 값을 저장하는 것이 아닌, Q 값을 결정하는 함수(Q 함수)를 추정한다. DQN은 상기 Q 함수에 현재 상태를 입력으로 주고 Q 값을 결과값으로 추출한다. 여기서, 현재 상태는 상기 전처리된 데이터이고, Q 값은 노치 필터 파라미터를 업데이트 하기 위하여 사용되는 값일 수 있다. 파라미터 설정부(102)는 가치 네트워크를 사용하여 결정된 Q 값을 결정하는 함수를 정기적인 훈련 기간마다 학습한다. 파라미터 설정부(102)는 저장 장치에 저장한 행동과 보상값을 이용하여 훈련 기간에 강화 학습을 수행하고, 노치 필터 파라미터를 업데이트 할 수 있다.
구체적으로, 파라미터 설정부(102)는 네트워크 저장부(1020), 파라미터 업데이트부(1022), 보상 계산부(1024), 기계 학습부(1026) 및 완료 조건 판단부(1028)을 포함한다.
네트워크 저장부(1020)는 전처리된 데이터를 입력받아 노치 필터 파라미터를 업데이트 하기 위해 사용되는 Q 값(Q-value)을 파라미터 업데이트부(1022)에 출력한다. 네트워크 저장부(1020)에서 출력되는 출력 데이터는 후술할 기계 학습부(1026)에서 수행될 행동을 위해 사용될 수 있다. 출력하는 파라미터로서 노치 필터 1개 당 상기 수학식 1의
Figure pat00006
,
Figure pat00007
및
Figure pat00008
를 사용할 수 있다.
네트워크 저장부(1020)는 인공 신경망으로 구성될 수 있다. DQN은 세 개 레이어(layer) 이상의 인공신경망을 사용하여 Q 값을 결정하는 함수(Q 함수)를 근사할 수 있다. 즉, 네트워크 저장부(1020)는 입력(전처리된 데이터)과 출력(Q 값)의 관계를 가지는 수학적 함수를 근사화할 수 있다. 도 4는 네트워크 저장부(1020)의 일 예를 나타내는 블록도이다. 도 4에 도시된 바와 같이, 네트워크 저장부(1020)는 입력층(1020A), 은닉층(1020B), 출력층(1020C)으로 구성된다. 은닉층(1020B)은 컨볼루션 계층, 완전 연결 계층으로 구성될 수 있으며, 인공신경망을 사용하여 Q 값을 결정하는 함수(Q 함수)를 근사할 수 있다. 입력층(1020A), 출력층(1020C) 및 은닉층(1020B)의 개수 등은 해결하고자 하는 과제 또는 근사하고자 하는 함수의 종류에 따라 다르게 구성될 수 있다. 입력층(1020A)의 크기는 전처리된 데이터의 크기와 동일하고 출력층(1020C)의 크기는 노치 필터 파라미터를 조절하는 행동의 개수와 동일하다.
파라미터 업데이트부(1022)는 네트워크 저장부(1020)로부터 입력받은 Q 값을 바탕으로 노치 필터 파라미터를 업데이트 할 수 있다.
보상 계산부(1024)는 파라미터 업데이트부(1022)로부터 입력받은 노치 필터 파라미터를 바탕으로 보상값(
Figure pat00009
)을 계산할 수 있다. 보상값(
Figure pat00010
)은 기계 학습부(1026)에서 수행할 강화 학습을 위한 데이터일 수 있다. 보상값(
Figure pat00011
)은 노치 필터 파라미터를 상기 서보 시스템의 주파수 응답에 적용하여 얻을 수 있는 이득 여유, 위상 여유일 수 있으나, 이에 한정되는 것은 아니다.
기계 학습부(1026)는 보상값을 고려한 강화 학습 방법을 적용함으로써 인공신경망을 업데이트할 수 있다. 기계 학습부(1026)는 하기 수학식 2로 표현되는 Q-학습을 수행할 수 있다.
<수학식 2>
Figure pat00012
(여기서,
Figure pat00013
는 Q 함수,
Figure pat00014
는 상태(state),
Figure pat00015
는 행동(action),
Figure pat00016
은 보상값,
Figure pat00017
는 할인율(discount factor)이다. 할인율은 0에서 1 사이의 값을 가지며, 0에 가까우면 현재, 1에 가까우면 미래에 대한 보상의 중요성을 강조하는 수치이다.)
Q-학습이란 기본적으로 환경(environment), 에이전트(agent), 상태(state), 행동(action), 보상(reward)으로 구성된 강화 학습 알고리즘이다. 먼저 에이전트가 행동을 취함으로써 에이전트는 새로운 상태로 움직일 수 있다. 에이전트가 취한 행동에 대해 환경으로부터 보상을 받게 된다. 결국 에이전트의 최종 목표는 보상을 최대로 받아,
Figure pat00018
가 최대값을 가질 수 있도록 노치 필터 파라미터를 업데이트 하는 것이다. 파라미터 업데이트부(1022)에서
Figure pat00019
가 최대가 되는 행동(
Figure pat00020
)를 선택할 수 있으며, 이러한 행동(
Figure pat00021
)은 노치 필터 파라미터인 노치 필터 주파수(notch frequency), 노치 필터 깊이(notch depth parameter), 노치 필터 너비(notch width parameter) 중 적어도 하나를 조절하는 행동일 수 있다. 즉, 강화 학습 방법은 상기 Q 함수가 최대가 되는 행동을 선택하는 것으로, 상기 행동은 상기 노치 필터 파라미터를 조절하는 행동을 포함할 수 있다. 여기서, 노치 필터가 복수로 구성되는 경우, 복수의 노치 필터 중 적어도 하나의 파라미터를 조절하는 것을 포함할 수 있다. 파라미터 업데이트부(1022)에서 현재 상태(
Figure pat00022
)에 대한
Figure pat00023
가 최대가 되도록 노치 필터의 파라미터가 설정될 수 있다.
완료 조건 판단부(1028)는 파라미터의 설정을 완료하는 조건을 판단하고, 미리 설정된 조건이 만족되는 경우, 파라미터의 설정을 완료하고, 현재 설정된 노치 필터의 파라미터를 노치 필터(140)에 제공할 수 있다. 완료 조건 판단부(1028)은 완료 조건을 판단하기 위하여 기게 학습부(1024)의 학습 시간, 상기 보상값(
Figure pat00024
) 또는 네트워크 저장부(1020)의 업데이트 횟수를 고려할 수 있다. 또한, 완료 조건 판단부(1028)는 완료 조건을 판단하기 위하여 기계 학습부(1026)의 학습 시간, 보상값(
Figure pat00025
) 또는 네트워크 저장부(1020)의 업데이트 횟수를 저장하는 메모리를 더 포함할 수 있다.
완료 조건 판단부(1028)에서 파라미터 설정이 완료되지 않은 것으로 판단되는 경우, 상술한 과정이 반복될 수 있다. 즉, 현재 설정된 파라미터를 도출하기 위한 Q 함수를 다시 도출할 수 있으며, 파라미터 업데이트부(1022)는 다시 도출된 Q 함수를 이용하여 노치 필터 파라미터를 업데이트 할 수 있다. 보상 계산부(1024)는 현재 입력받은 노치 필터 파라미터를 바탕으로 보상값(
Figure pat00026
)을 다시 계산할 수 있다. 기계 학습부(1026)는 제공받은 보상값(
Figure pat00027
), Q 함수, 설정된 파라미터를 학습하고, 인공신경망을 업데이트할 수 있다. 기계 학습부(1026)는, 인공신경망을 업데이트하기 위하여 경사 하강법(gradient descent) 혹은 경사 하강법의 변형 방법을 적용할 수도 있다.
본 발명의 일 실시예에 따른 파라미터 설정 장치(100)는 제어 대상의 입력 신호, 출력 신호 및 제어기의 파라미터를 이용하여, 주파수 응답(보드 플롯 데이터)을 계산하고 DQN 기계학습 방법을 이용하여 주파수 응답(보드 플롯 데이터)을 기초로 노치 필터의 파라미터가 자동으로 설정될 수 있다.
이하, 본 발명의 다른 실시예에 따른 노치필터 파라미터 설정 방법에 대해 설명한다.
도 6은 본 발명의 다른 실시예에 따른 노치필터 파라미터 설정 방법의 순서도이다. 도 7은 본 발명의 다른 실시예에 따른 노치 필터 파라미터를 설정하는 단계의 순서도이다.
본 실시예에 따른 노치필터 파라미터 설정 방법은 상술한 도 2 내지 도 5에서 설명한 노치필터 파라미터 설정 장치(100)에 적용되는 파라미터 설정 방법일 수 있다. 즉, 제어기, 제어 대상 및 상기 제어기와 상기 제어 대상 사이에 위치하여 상기 제어기의 제어 신호의 공진 성분을 제거하는 노치 필터를 포함하는 서보 시스템에 적용되는 파라미터 설정 장치의 파라미터 설정 방법에 해당하며, 본 실시예의 설명을 위해 도 2 내지 도 5의 노치 필터의 파라미터 설정 장치가 참고될 수 있다.
도 6 및 도 7을 참조하면, 본 발명의 다른 실시예에 따른 노치필터 파라미터 설정 방법은 서보 시스템의 주파수 응답을 계산하여 전처리된 데이터를 생성하는 단계(S100) 및 강화 학습 기반의 인공 신경망을 통해 노치 필터 파라미터를 설정하는 단계(S110)를 포함한다.
먼저, 서보 시스템의 주파수 응답을 계산하여 전처리된 데이터를 생성한다 (S100).
서보 시스템의 주파수 응답을 계산하여 전처리된 데이터를 생성하는 단계(S100)는 파라미터 설정 장치의 데이터 전처리부(101)에서 수행될 수 있다. 데이터 전처리부(101)는 제어 대상(120)의 입력 신호, 제어 대상(120)의 출력 신호, 제어기(110)의 파라미터를 입력받으며, 서보 시스템(100)의 주파수 응답에 해당하는 보드 플롯(bode plot) 데이터를 생성할 수 있다. 데이터 전처리부(101)는 기계 학습에 사용되는 형태로 상기 주파수 응답을 변환할 수 있다. 데이터 전처리부(101)는 주파수 응답(보드 플롯 데이터)를 파라미터 설정부(102)에 처리될 수 있는 데이터 크기로 변경하는 작업을 더 수행할 수 있다. 예시적으로, 데이터 전처리부(101)는 데이터의 크기가 클 경우 주파수 성분을 샘플링 하여 데이터 크기로 변경하는 방법 또는 이전에 사용하던 일련의 데이터를 묶어서 하나의 데이터로 처리 하는 방법을 사용할 수 있다.
강화 학습 기반의 인공 신경망을 통해 노치 필터 파라미터를 설정한다(S110).
강화 학습 기반의 인공 신경망을 통해 노치 필터 파라미터를 설정하는 단계(S110)는 파라미터 설정부(102)에서 수행될 수 있다. 파라미터 설정부(102)는 강화 학습(reinforcement learning) 기반의 인공 신경망, DQN을 사용하여 노치 필터 파라미터를 설정할 수 있다. 파라미터 설정부(102)는 인공신경망을 사용하여 결정된 Q 값을 결정하는 함수(Q 함수)를 정기적인 훈련 기간마다 학습한다. 파라미터 설정부(102)는 저장 장치에 저장한 행동과 보상값을 이용하여 훈련 기간에 강화 학습을 수행하고, 노치 필터 파라미터를 업데이트 할 수 있다.
구체적으로, 강화 학습 기반의 인공 신경망을 통해 노치 필터 파라미터를 설정하는 단계(S110)는 전처리된 데이터를 입력받아 Q 값을 출력하고 상기 Q 값을 이용하여 상기 노치 필터 파라미터를 업데이트하는 단계(S112); 상기 노치 필터 파라미터를 바탕으로 보상값을 계산하는 단계(S114); 상기 보상값을 고려한 강화 학습 방법을 통해 상기 인공신경망을 업데이트하는 단계(S116); 및 상기 노치 필터 파라미터의 설정 완료 여부를 판단하는 단계(S118)을 포함한다.
전처리된 데이터를 입력받아 Q 값을 출력하고 상기 Q 값을 이용하여 상기 노치 필터 파라미터를 업데이트하는 단계(S112)는 네트워크 저장부(1020) 및 파라미터 업데이트부(1022)에서 수행된다. 네트워크 저장부(1020)는 인공 신경망으로 구성될 수 있다. DQN은 세 개 레이어(layer) 이상의 가치 네트워크를 사용하여 Q 값을 결정하는 함수(Q 함수)를 근사할 수 있다. 즉, 네트워크 저장부(1020)는 입력(전처리된 데이터)과 출력(Q 값)의 관계를 가지는 수학적 함수인 Q 함수를 추정할 수 있다. 파라미터 업데이트부(1022)는 네트워크 저장부(1020)로부터 입력받은 Q 값을 바탕으로 노치 필터 파라미터를 업데이트 할 수 있다.
노치 필터 파라미터를 바탕으로 보상값을 계산하는 단계(S114)는 보상 계산부(1024)에서 수행된다. 보상값(
Figure pat00028
)은 강화 학습을 위한 데이터일 수 있다. 보상값(
Figure pat00029
)은 노치 필터 파라미터를 상기 서보 시스템의 주파수 응답에 적용하여 얻을 수 있는 이득 여유, 위상 여유일 수 있으나, 이에 한정되는 것은 아니다.
보상값을 고려한 강화 학습 방법을 통해 상기 인공신경망을 업데이트하는 단계(S116)는 기계 학습부(1026)에서 수행된다. 기계 학습부(1026)는 보상값을 고려한 강화 학습 방법을 적용함으로써 인공신경망을 업데이트할 수 있다. 강화 학습 방법은 상기 특성 상태(
Figure pat00030
)에서 Q 값이 최대가 되는 행동을 선택하는 것으로, 상기 행동은 상기 노치 필터 파라미터를 조절하는 행동을 포함할 수 있다. 여기서, 노치 필터가 복수로 구성되는 경우, 복수의 노치 필터 중 적어도 하나의 파라미터를 조절하는 것을 포함할 수 있다.
노치 필터 파라미터의 설정 완료 여부를 판단하는 단계(S118)은 완료 조건 판단부(1028)에서 수행된다. 완료 조건 판단부(1028)는 파라미터의 설정을 완료하는 조건을 판단하고, 미리 설정된 조건이 만족되는 경우, 파라미터의 설정을 완료하고, 현재 설정된 노치 필터의 파라미터를 노치 필터(140)에 제공할 수 있다. 완료 조건 판단부(1028)은 완료 조건을 판단하기 위하여 기게 학습부(1024)의 학습 시간, 상기 보상값(
Figure pat00031
) 또는 네트워크 저장부(1020)의 업데이트 횟수를 고려할 수 있다. 또한, 완료 조건 판단부(1028)는 완료 조건을 판단하기 위하여 기계 학습부(1026)의 학습 시간, 보상값(
Figure pat00032
) 또는 네트워크 저장부(1020)의 업데이트 횟수를 저장하는 메모리를 더 포함할 수 있다. 완료 조건 판단부(1028)에서 파라미터 설정이 완료되지 않은 것으로 판단되는 경우, 상술한 과정이 반복될 수 있다. 즉, 현재 설정된 파라미터를 도출하기 위한 Q 함수를 다시 도출할 수 있으며, 파라미터 업데이트부(1022)는 다시 도출된 Q 함수를 이용하여 노치 필터 파라미터를 업데이트 할 수 있다. 보상 계산부(1024)는 현재 입력받은 노치 필터 파라미터를 바탕으로 보상값(
Figure pat00033
)을 다시 계산할 수 있다. 기계 학습부(1026)는 제공받은 보상값(
Figure pat00034
), Q 함수, 설정된 파라미터를 학습하고, 인공신경망을 업데이트할 수 있다. 기계 학습부(1026)는, 인공신경망을 업데이트하기 위하여 경사 하강법(gradient descent) 혹은 경사 하강법의 변형 방법을 적용할 수도 있다.
이상에서 설명한 실시예들에 따른 노치 필터의 파라미터 설정방법에 의한 동작은, 적어도 부분적으로 컴퓨터 프로그램으로 구현되고 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다. 실시예들에 따른 노치 필터의 파라미터 설정방법에 의한 동작을 구현하기 위한 프로그램이 기록되고 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수도 있다. 또한, 본 실시예를 구현하기 위한 기능적인 프로그램, 코드 및 코드 세그먼트(segment)들은 본 실시예가 속하는 기술 분야의 통상의 기술자에 의해 용이하게 이해될 수 있을 것이다.
이상에서는 실시예들을 참조하여 설명하였지만 본 발명은 이러한 실시예들 또는 도면에 의해 한정되는 것으로 해석되어서는 안 되며, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
10: 서보 시스템
100: 파라미터 설정 장치
101: 데이터 전처리부
102: 파라미터 설정부
1020: 네트워크 저장부
1022: 파라미터 업데이트부
1024: 보상 계산부
1026: 기계 학습부
1028: 완료 조건 판단부
110: 제어기
120: 제어 대상
130: 엔코더
140: 노치 필터

Claims (11)

  1. 제어기, 제어 대상 및 상기 제어기와 상기 제어 대상 사이에 위치하여 상기 제어기의 제어 신호의 공진 성분을 제거하는 노치 필터를 포함하는 서보 시스템에 적용되는 노치필터 파라미터 설정 장치로서,
    상기 제어 대상에 입력되는 입력 신호, 상기 제어 대상에서 출력되는 출력 신호 및 상기 제어기의 파라미터를 수신하고, 상기 입력 신호, 상기 출력 신호 및 상기 제어기의 파라미터를 기초로 상기 서보 시스템의 주파수 응답을 계산하여 전처리된 데이터를 생성하는 데이터 전처리부; 및
    상기 전처리된 데이터를 이용하여 강화 학습 기반의 인공 신경망을 통해 노치 필터 파라미터를 설정하는 파라미터 설정부를 포함하는 것을 특징으로 하는 노치필터 파라미터 설정 장치.
  2. 제1 항에 있어서,
    상기 파라미터 설정부는,
    상기 전처리된 데이터를 입력받아 상기 노치 필터 파라미터를 업데이트 하기위한 Q 값을 출력하고, 상기 Q 값을 결정하는 Q 함수를 추정하는 인공 신경망으로 구성된 네트워크 저장부;
    상기 네트워크 저장부로부터 제공된 Q 값을 바탕으로 노치 필터 파라미터를 업데이트하는 파라미터 업데이트부;
    상기 파라미터 업데이트부에서 제공된 상기 노치 필터 파라미터를 바탕으로 보상값을 계산하는 보상 계산부;
    상기 보상값을 고려한 강화 학습 방법을 통해 상기 인공신경망을 업데이트하는 기계 학습부; 및
    상기 파라미터의 설정을 완료하는 조건을 판단하고, 미리 설정된 조건이 만족되는 경우, 파라미터의 설정을 완료하고, 현재 설정된 노치 필터의 파라미터를 상기 노치 필터에 제공하는 완료 조건 판단부를 포함하는 것을 특징으로 하는 노치필터 파라미터 설정 장치.
  3. 제2 항에 있어서,
    상기 강화 학습 방법은 상기 Q 함수가 최대가 되는 행동을 선택하는 것으로, 상기 행동은 상기 노치 필터 파라미터를 조절하는 것을 포함하는 노치필터 파라미터 설정 장치.
  4. 제3 항에 있어서,
    상기 노치 필터는 노치 필터 주파수(notch frequency), 노치 필터 깊이(notch depth parameter) 및 노치 필터 너비(notch width parameter)를 상기 노치 필터 파라미터로 포함하며,
    상기 행동은 상기 노치 필터 주파수, 상기 노치 필터 깊이, 상기 노치 필터 너비 중 적어도 하나를 조절하는 것을 포함하는 노치필터 파라미터 설정 장치.
  5. 제3 항에 있어서,
    상기 노치 필터는 상기 서보 시스템에 복수로 구성되며,
    상기 노치필터 파라미터 설정 장치는 상기 복수의 노치 필터 각각의 파라미터를 설정하는 것을 특징으로 하는 노치필터 파라미터 설정 장치.
  6. 제어기, 제어 대상 및 상기 제어기와 상기 제어 대상 사이에 위치하여 상기 제어기의 제어 신호의 공진 성분을 제거하는 노치 필터를 포함하는 서보 시스템에 적용되는 노치필터 파라미터 설정 장치의 노치필터 파라미터 설정 방법으로,
    상기 제어 대상에 입력되는 입력 신호, 상기 제어 대상에서 출력되는 출력 신호 및 상기 제어기의 파라미터를 수신하고, 상기 입력 신호, 상기 출력 신호 및 상기 제어기의 파라미터를 기초로 상기 서보 시스템의 주파수 응답을 계산하여 전처리된 데이터를 생성하는 단계; 및
    상기 전처리된 데이터를 이용하여 강화 학습 기반의 인공 신경망을 통해 노치 필터 파라미터를 설정하는 단계를 포함하는 노치필터 파라미터 설정 방법.
  7. 제6 항에 있어서,
    상기 노치 필터 파라미터를 설정하는 단계는,
    상기 전처리된 데이터를 입력받아 Q 값을 출력하고 상기 Q 값을 이용하여 상기 노치 필터 파라미터를 업데이트하는 단계;
    상기 노치 필터 파라미터를 바탕으로 보상값을 계산하는 단계;
    상기 보상값을 고려한 강화 학습 방법을 통해 상기 인공신경망을 업데이트하는 단계; 및
    상기 노치 필터 파라미터의 설정 완료 여부를 판단하는 단계를 포함하고,
    상기 노치 필터 파라미터의 설정 완료 여부를 판단하는 단계는 상기 파라미터의 설정을 완료하는 조건을 판단하고, 미리 설정된 조건이 만족되는 경우, 파라미터의 설정을 완료하고 현재 설정된 노치 필터의 파라미터를 상기 노치 필터에 제공하며, 미리 설정된 조건이 만족되지 않는 경우, 상기 Q 함수를 추정하는 단계, 보상값을 계산하는 단계 및 노치 필터 파라미터를 업데이트하는 단계를 반복 수행하는 것을 특징으로 하는 노치필터 파라미터 설정 방법.
  8. 제7 항에 있어서,
    상기 강화 학습 방법은 상기 Q 함수가 최대가 되는 행동을 선택하는 것으로, 상기 행동은 상기 노치 필터 파라미터를 조절하는 행동을 포함하는 노치필터 파라미터 설정 방법.
  9. 제7 항에 있어서,
    상기 노치 필터는 노치 필터 주파수(notch frequency), 노치 필터 깊이(notch depth parameter) 및 노치 필터 너비(notch width parameter)를 상기 노치 필터 파라미터로 포함하며,
    상기 행동은 상기 노치 필터 주파수, 상기 노치 필터 깊이, 상기 노치 필터 너비 중 적어도 하나를 조절하는 것을 포함하는 노치필터 파라미터 설정 방법.
  10. 제7 항에 있어서,
    상기 노치 필터는 상기 서보 시스템에 복수로 구성되며,
    상기 노치필터 파라미터 설정 장치는 상기 복수의 노치 필터 각각의 파라미터를 설정하는 것을 특징으로 하는 노치필터 파라미터 설정 방법.
  11. 하드웨어와 결합되어 제6항 내지 제10항 중 어느 한 항에 따른 노치필터 파라미터 설정 방법을 실행하도록 매체에 저장된 컴퓨터 프로그램.
KR1020180171017A 2018-12-27 2018-12-27 Ai 기반 노치 필터의 파라미터 설정 장치 및 방법 Active KR102215752B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180171017A KR102215752B1 (ko) 2018-12-27 2018-12-27 Ai 기반 노치 필터의 파라미터 설정 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180171017A KR102215752B1 (ko) 2018-12-27 2018-12-27 Ai 기반 노치 필터의 파라미터 설정 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20200080976A true KR20200080976A (ko) 2020-07-07
KR102215752B1 KR102215752B1 (ko) 2021-02-17

Family

ID=71603414

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180171017A Active KR102215752B1 (ko) 2018-12-27 2018-12-27 Ai 기반 노치 필터의 파라미터 설정 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102215752B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240085773A (ko) * 2022-12-08 2024-06-17 한국전자기술연구원 강화학습 기반 sc-fdma 시스템의 papr 감소 장치
CN119420319A (zh) * 2024-11-04 2025-02-11 武汉博畅通信设备有限责任公司 一种数控电调陷波器及选数控制方法
CN121217095A (zh) * 2025-11-27 2025-12-26 成都星象科技有限公司 一种抗干扰电调陷波器运行控制方法及系统
CN121454319A (zh) * 2026-01-05 2026-02-03 宁波舜宇光电软件开发有限公司 用于频率响应分析测试的测试方法、装置、设备及介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150134323A (ko) * 2013-03-29 2015-12-01 파나소닉 아이피 매니지먼트 가부시키가이샤 모터 구동 장치의 서보 조정 방법
KR101757267B1 (ko) * 2015-07-02 2017-07-13 서울대학교산학협력단 적응 노치 필터를 이용한 서보 시스템의 자동 공진 억제 장치 및 그 방법
JP2018195018A (ja) * 2017-05-16 2018-12-06 ファナック株式会社 機械学習装置、サーボ制御システム及び機械学習方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150134323A (ko) * 2013-03-29 2015-12-01 파나소닉 아이피 매니지먼트 가부시키가이샤 모터 구동 장치의 서보 조정 방법
KR101757267B1 (ko) * 2015-07-02 2017-07-13 서울대학교산학협력단 적응 노치 필터를 이용한 서보 시스템의 자동 공진 억제 장치 및 그 방법
JP2018195018A (ja) * 2017-05-16 2018-12-06 ファナック株式会社 機械学習装置、サーボ制御システム及び機械学習方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
P. Schmid, and T. Rehm, "Notch filter tuning for resonant frequency reduction in dual inertia systems," in Conference Record of the 1999 IEEE Industry Applications Conference, pp. 1730-1734, 1999.

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240085773A (ko) * 2022-12-08 2024-06-17 한국전자기술연구원 강화학습 기반 sc-fdma 시스템의 papr 감소 장치
CN119420319A (zh) * 2024-11-04 2025-02-11 武汉博畅通信设备有限责任公司 一种数控电调陷波器及选数控制方法
CN121217095A (zh) * 2025-11-27 2025-12-26 成都星象科技有限公司 一种抗干扰电调陷波器运行控制方法及系统
CN121454319A (zh) * 2026-01-05 2026-02-03 宁波舜宇光电软件开发有限公司 用于频率响应分析测试的测试方法、装置、设备及介质

Also Published As

Publication number Publication date
KR102215752B1 (ko) 2021-02-17

Similar Documents

Publication Publication Date Title
Prasad et al. Optimal control of nonlinear inverted pendulum system using PID controller and LQR: performance analysis without and with disturbance input
JP6514257B2 (ja) 機械学習装置、サーボ制御装置、サーボ制御システム、及び機械学習方法
KR20200080976A (ko) Ai 기반 노치 필터의 파라미터 설정 장치 및 방법
Tatjewski Advanced control of industrial processes: structures and algorithms
Stogiannos et al. Model predictive control for systems with fast dynamics using inverse neural models
KR102035389B1 (ko) 히스토리 데이터 기반 뉴럴 네트워크 학습을 통한 공정 제어 방법 및 시스템
KR102577188B1 (ko) 목표 시스템에 대한 제어 시스템 생성
KR20180024092A (ko) Pid 게인 자동 튜닝 방법
DE102013100434A1 (de) Kompensieren von Sollwertänderungen in einer nicht-periodisch aktualisierten Steuereinrichtung
KR20180032453A (ko) 인공 신경망을 이용한 pid 제어기 게인 조정 시스템 및 방법
Baltieri et al. A probabilistic interpretation of PID controllers using active inference
CN115922696A (zh) 机器人力控方法、装置、电子设备及可读存储介质
CN114193458B (zh) 一种基于高斯过程在线学习的机器人控制方法
EP3918531A1 (en) Model-free control of dynamical systems with deep reservoir computing
JP2021015526A (ja) 情報処理装置
CN119045332B (zh) 一种基于观测器的多智能体系统最优协同控制方法
KR102240723B1 (ko) 위치 예측부를 포함하는 제어기 및 이의 제어 방법
CN111077772B (zh) 基于伺服驱动的跟踪控制方法、装置和计算机设备
del Rosal Model-free predictive controller using double-sided kernels for system identification
Astrom Robust and adaptive pole placement
KR102605858B1 (ko) Pid 제어 방법 및 장치
CN117351449B (zh) 基于极坐标加权的道路可通行区域边界优化方法
Nguyen Least-squares parameter identification
CN120170738A (zh) 一种机械臂视觉伺服跟踪方法、设备、介质、产品及机器人
Cotsaftis Exponentially stable and robust control for dynamical systems

Legal Events

Date Code Title Description
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

PN2301 Change of applicant

St.27 status event code: A-3-3-R10-R13-asn-PN2301

St.27 status event code: A-3-3-R10-R11-asn-PN2301

D13-X000 Search requested

St.27 status event code: A-1-2-D10-D13-srh-X000

D14-X000 Search report completed

St.27 status event code: A-1-2-D10-D14-srh-X000

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

PN2301 Change of applicant

St.27 status event code: A-3-3-R10-R13-asn-PN2301

St.27 status event code: A-3-3-R10-R11-asn-PN2301

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

P14-X000 Amendment of ip right document requested

St.27 status event code: A-5-5-P10-P14-nap-X000

P14-X000 Amendment of ip right document requested

St.27 status event code: A-5-5-P10-P14-nap-X000

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 5

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 6

R18 Changes to party contact information recorded

Free format text: ST27 STATUS EVENT CODE: A-5-5-R10-R18-OTH-X000 (AS PROVIDED BY THE NATIONAL OFFICE)

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

U11 Full renewal or maintenance fee paid

Free format text: ST27 STATUS EVENT CODE: A-4-4-U10-U11-OTH-PR1001 (AS PROVIDED BY THE NATIONAL OFFICE)

Year of fee payment: 6