KR19990077283A - 이미지 처리 장치 - Google Patents

이미지 처리 장치 Download PDF

Info

Publication number
KR19990077283A
KR19990077283A KR1019980705429A KR19980705429A KR19990077283A KR 19990077283 A KR19990077283 A KR 19990077283A KR 1019980705429 A KR1019980705429 A KR 1019980705429A KR 19980705429 A KR19980705429 A KR 19980705429A KR 19990077283 A KR19990077283 A KR 19990077283A
Authority
KR
South Korea
Prior art keywords
image
data
article
input
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1019980705429A
Other languages
English (en)
Other versions
KR100319469B1 (ko
Inventor
노리요시 가츠무라
히로아키 다카츠토
Original Assignee
가시오 가즈오
가시오게산키 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가시오 가즈오, 가시오게산키 가부시키가이샤 filed Critical 가시오 가즈오
Publication of KR19990077283A publication Critical patent/KR19990077283A/ko
Application granted granted Critical
Publication of KR100319469B1 publication Critical patent/KR100319469B1/ko
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Library & Information Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Processing Or Creating Images (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 디지털 카메라와 같은 이미지 입력 장치로부터 이미지 입력을 처리하기 위한 이미지 입력 장치다. 이미지 입력 장치로부터 물품의 이미지를 받았을 때, 이 이미지 처리 장치는 물품의 색깔과 크기를 식별하고, 이미지와 대응하는 식별된 색깔과 크기를 나타내는 여러 개의 데이터를 저장한다. 검색 데이터로서 색깔과 크기가 지정되었을 때, 그 장치는 지정된 내용과 대응하는 이미지에 대한 이미지 메모리를 검색하고 그것들을 리스트의 형태로 표시한다. 물품이 이미지화 되었을 때, 그 물품의 특징을 나타내는 여러 개의 이미지 데이터는 그 이미지에 대하여 추가되고 저장된다. 특징 데이터가 지정될 때, 어떤 찾고자하는 물품의 이미 지은 즉시 많은 이미지으부터 찾을 수 있다.

Description

이미지 처리 장치
택배서비스라 불리는 캐리어서비스에서, 컴퓨터 통신 시스템이 일반적으로 화물의 안전을 확보하고 고속 운용을 실현하는데 도입된다.
도 9는 캐리어서비스에서 화물의 흐름을 도식적으로 보여준다. 발송인(91)의 화물은 화물집합중개인(92)에 수집된다. 캐리어가 그 화물을 가지러 화물집합중개인(92)에게 왔을 때 그/그녀는 그/그녀가 휴대하고 있는 휴대용 터미널에 그 화물의 데이터를 입력한다. 그 다음에, 화물은 유출사무소(93)로 운반된다. 이 경우에 휴대용 터미널에 있는 화물 데이터는 유출사무소(93)에 설치되어 있는 개인용 컴퓨터에 기록된다. 이 화물데이터는 유출사무소(93)으로부터 주사무소에 있는 호스트컴퓨터(98)로 전송된다. 화물은 연속적으로 유출센터(94), 유입센타(95),및 유입사무소(96)로 운반되고 수취인(97)에게 배달된다. 화물이 유출센타(94), 유입센타(95), 및 유입사무소(96)로 운반 될 때마다 화물 데이터는 주 사무소에 있는 호스트 컴퓨터(98)로 전송된다. 화물이 수취인(97)에게 배달 될 때까지 화물데이터에 기초하여 주사무소에 있는 호스트 컴퓨터(98)는 화물에 관한 취급을 추적하는 일을 행한다.
예를 들어, 기재된 수취인의 주소나 이름이 틀렸다면, 화물은 수취인에게 배달될 수 없다. 이런 경우에 이 화물은 유입사무소(96)로 되돌아가고 발송인(91) 또는 수취인(97)이 이 화물에 대해 문의 할 때까지 거기에 보관된다. 이 화물에 관한 문의가 있다면 주사무소에 있는 호스트 컴퓨터(98)에 의해 관리되는 화물 추적 데이터를 이용해서 화물을 조사한다. 그래서 "수신인 미확인" 화물을 발견하고 그것을 수취인에게 배달한다.
상기 화물에 대한 문의를 받았을 때, 주 사무소에 있는 호스트 컴퓨터(98)는 발송인(91)에게 넘겨진 전표번호를 가진 화물추적데이터를 조사하여 "수신인 미확인" 화물을 발견한다. 그러나 발송인(91)이 받은 전표를 잃어버리거나 버려버리면 오퍼레이터는 보관소로 가야만 한다. 즉, 그 화물을 찾아내는데 많은 시간이 걸리게 된다. 그래서 이런 경우에 오퍼레이터는 즉시 답변을 보낼 수 없고 나중에 문의자와 접촉해야 한다. 게다가 오랜 조사 뒤에 그 화물을 발견 못할지도 모른다. 결과적으로 문제점은 보안과 빠른 작동뿐만 아니라 신뢰성에도 있다.
본 발명의 목적은 이미지의 특징을 분석하고 특징 데이터에 기초해서 원하는 물품의 이미지를 신속히 찾기 위해 그 이미지와 대응하는 특징을 나타내는 특징 데이터를 저장하는 것이다.
본 발명은 디지털 카메라와 같은 이미지 입력장치로부터 이미지 입력을 처리하는 이미지처리장치에 관한 것이다.
명세서의 일부를 구성하고 여기에 포함된 동봉도면은 본 발명의 현재 바람직한 실시 예를 설명하고 상기한 일반적인 설명과 하기한 바람직한 실시예의 상세한 설명과 함께, 본 발명의 원리를 설명한다.
도 1은 본 발명에 따른 이미지처리장치의 일실시예를 포함하는 컴퓨터 통신 시스템의 전체 배치를 도시하는 도면.
도 2는 도 1에서의 터미널 장치(TM)의 배치를 도시하는 도면.
도 3은 도 2에서의 저장 장치(3)의 주요한 배치를 도시하는 도면.
도 4는 도 3에서의 이미지 데이터 저장섹션(PT)의 배치를 도시하는 도면.
도 5a와 5b는 이미지 입력 처리를 도시하는 순서도.
도 6은 이미지 입력 처리에서 샘플 디스플레이를 도시하는 도면.
도 7a에서 7c는 이미지 검색 처리를 도시하는 순서도.
도 8a에서 8c는 이미지검색처리에서 샘플 디스플레이도.
도 9는 종래의 캐리어 서비스에서 배달 화물의 흐름을 도시하는 도면.
본 발명에 따라, 물품의 이미지를 입력하는 이미지입력수단;
이미지입력수단으로부터 입력된 물품의 이미지에 기초하는 물품의 특징을 분석하고, 분석결과를 나타내는 특징데이터를 얻는 분석 수단;
분석 수단에 의해 얻어진 특징데이터를 이미지입력장치로부터 입력된 이미지에 더하고 특징데이터와 이미지를 서로 대응하게 저장하는 이미지저장수단;
검색에 사용되는 특징데이터를 지정하기 위한 지정수단; 및
지정수단에 의해 지정된 특징데이터와 대응하는 이미지에 관한 이미지 저장수단을 찾고 그 이미지를 출력하는 탐색수단을 포함하는, 입력이미지를 처리하기 위한 화상처리 장치가 제공된다.
그러므로 본 발명에 의하면 물품의 이미지특징이 분석되고 이 특징을 나타내는 여러 개의 특징데이터가 이미지에 대응하여 저장된다. 이런 운영으로, 원하는 물품의 이미지가 특징데이터에 기초하여 신속히 검색될 수 있다. 그러므로, 이미지들에 기초하여 북수의 물품으로부터 원하는 물품을, 단지 미리 물품들을 이미지 화함으로써, 신속히 분류할 수 있다.
추가된 본 발명의 목적과 장점은 다음의 서술에서 나타나고 부분적으로 서술로부터 명확해질 것이고 본 발명의 실행에 의해 이해 될 것이다.
본 발명의 목적과 장점은 첨부된 청구범위에서 특별히 지적된 수단들과 조합에 의해 실현되고 얻어질 수 있다.
본 발명의 일 실시예가 도 1에서 8c와 관련하여 아래에 설명될 것이다.
도 1은 도식적으로 캐리어 서비스에서 구축되고 본 발명의 일 실시예에 따른 이미지 처리 장치를 포함하는 컴퓨터 통신 시스템의 부분의 배치를 도시한다. 국내 센터들과 사무소들을 관리하기 위해 주사무소에 설치된 호스트 컴퓨터(HT)는 공중전화선을 통해 유출 센터, 유입센터, 유입 사무소 등에 설치된 터미널 장치들(개인용 컴퓨터)과 데이터를 교환하고 각각의 터미널 장치(TM)로부터 전송되는 데이터를 수집/관리한다.
도 2는 각 센터들과 사무실들에 설치된 터미널 장치(TM)의 전체 배치를 도시하는 블록도이다.
CPU(1)는 프로그램 기억장치(도시되지 않음)에 저장된 각종 프로그램에 대응하는 터미널 장치(TM)의 전반적인 작동을 조정하는 중앙처리장치이다. 저장장치(3)는 프로그램, 데이터 등이 저장되는 저장매체(4)를 갖는다. 이 저장매체(4)는 자기 또는 광학 저장 매체 또는 반도체 기억장치이다. 이 저장매체(4)는 저장 장치(3)에서 영구히 또는 분리될 수 있게 설치된다. 저장매체(4)에 저장된 프로그램, 데이터 등은 통신선 등을 통해 연결된 또 다른 장치로부터 수신되고 저장된다. 대신에, 저장 매체(4)를 갖는 저장장치(3)는 저장 매체(4)에 저장된 프로그램과 데이터가 통신 선을 통해 사용되도록 통신 선 등을 통해 연결된 또 다른 장치에 설치될 수 있다. 프로그램과 데이터가 통신 제어 섹션(5)을 지나서 다른 장치로부터 전송될 때, CPU(1)는 프로그램과 데이터를 수신하고 그것들을 저장 장치(3)에 저장한다. 게다가, 입력 장치(6), 디스플레이 장치(7), 및 이미지 입력 장치(8)는 CPU(1)에 주변장치로서 연결된다. CPU(1)는 이 장치들의 입/출력 작동을 제어한다.
이미지 입력 장치(8)는 키보드와 지시 장치를 갖는다. 다양한 종래 키들이 키보드 위에 있는데, 이는 문자 스트링 데이터와 명령어들을 입력하는데 이용된다. 이런 경우에, 입력 장치(6)로부터 입력된 문자 스트링 데이터는 디스플레이 장치(7)에 디스플레이/출력되거나 RAM(2)에 저장된다. 입력 장치(6)로부터 이미지 입력 명령을 받으면, CPU(1)는 입력 장치(8)로부터 이미지 데이터를 수신하고 그것을 RAM(2)에 저장한다. 이미지 입력 장치(8)는 고체상태 이미지 픽업 요소 (CCD 이미지 센서 등)를 갖는 전자 스틸 카메라 (디지털 카메라)이고, 터미널 장치(TM)에 분리될 수 있도록 연결된다. 이미지 입력 장치(8)는 어떤 물건 ("수신인 미확인" 화물의 내용)을 색깔 이미지로 이미지화하고 그것을 내부 이미지 기억 장치에 저장/홀드한다. CPU(1)는 이미지 입력 장치(8)로부터 이미지를 가지고와서 디스플레이 장치(7)에 디스플레이/출력하거나 일시적으로 RAM(2)에 저장한다. 이미지 입력 장치(8)는 시계 기능을 갖는다. 그러므로 이미지 입력 장치(8)가 "수신인 미확인" 화물을 이미지화할 때, 시계 기능에 의해 얻어진 현재 날짜 데이터가 이미지에 대응하게 이미지 입력 장치(8)에 있는 이미지 기억장치에 저장된다.
도 3은 저장 장치(3)의 부분을 도시한다. 이 저장 장치(3)는 색깔 데이터 테이블(CT), 크기 데이터 테이블(ST), 및 이미지 데이터 저장 섹션(PT)을 갖는다. 색깔 데이터 테이블(CT)은 영구히 다양한 색깔 데이터를 저장하는데 이용된다. CPU(1)는 이미지의 색깔을 결정하기 위해 이미지 입력 장치(8)로부터 가져온 이미지를 색깔 데이터 테이블(CT)의 내용과 비교한다. 이런 경우에, 이 이미지의 주된 색깔 (영역에서 눈에 띄고 가장 자극적인 색깔)은 그것의 이미지 색깔로 결정된다. 이 이미지의 색깔을 결정하는데 있어서, 불그스름하거나 푸르스름한 색깔과 같은 유사한 색깔이 결정될 수 있다. 크기 데이터 테이블(ST)은 다양한 크기를 나타내는 데이터를 영구히 저장하는데에 이용된다. 예를 들어, 정사각형과 직사각형 패턴처럼 복수 타입의 틀 패턴이 크기를 나타내는 데이터로 저장된다. CPU(1)는 화상의 크기를 결정하기 위해서 이미지 입력 장치 8로부터 가져온 이미지 크기를 크기 데이터 테이블(ST)의 내용과 비교한다. 이런 경우에, 각 물품은 각 물품으로부터 거의 같은 거리 (약 1m)에서 이미지 입력 장치(8)에 의해 이미지화된다. 이미지 데이터 저장 섹션(PT)은 이미지 입력 장치(8)로부터 입력된 이미지를 저장하는데 이용된다. 다양한 연결 데이터가 이미지 데이터 저당 섹션(PT)에 있는 이미지와 대응하도록 설정된 색깔 데이터 테이블(CT), 크기 데이터 테이블(ST), 및 이미지 저장 섹션(PT)의 내용들이 저장 장치(3)에서 RAM(2)으로 기록된다.
도 4는 이미지 데이터 저장 섹션(PT)의 배치를 도시한다.
이미지 데이터 저장 섹션(PT)은 "물품 이름", "색", "크기", "날짜", "이미지", 및 "다른 특징"을 저장하도록 설계된다. 이런 경우에, "물품 이름"은 각 "수신인 미확인" 화물의 타입을 나타낸다. 입력장치(6)로부터 입력된 문자 스트링 데이터(물품 이름)는 각 이미지에 대응하는 연결 데이터로 이미지 데이터 저장 섹션(PT)에 저장된다. 게다가, "색깔" 과 "크기"는 이미지를 분석하고 분석 결과를 색깔 데이터 테이블(CT), 크기 데이터 테이블(ST)의 내용과 비교함으로써 자동적으로 결정되는 데이터다. 이 데이터는 각각의 이미지들에 대응하는 여러 개의 연결 데이터로서 이미지 데이터 저장 섹션(PT)에 저장된다. "날짜"는 각 "수신인 미확인" 화물이 이미지화 되었을 때의 날짜를 나타낸다. CPU(1)는 이미지 입력 장치(8)로부터 이미지에 대응하는 날짜 데이터를 불러오고 그것을 이미지 데이터 저장 섹션(PT)에 저장한다. 물론 "다른 특징"을 나타내는 데이터는 문자 스트링 데이터로서 입력 장치(6)로부터 임의로 입력된다. 예를 들어, 화물의 외관 특징 즉,"패턴", "물질", 그리고 "형상"을 나타내는 데이터는 각 이미지들에 대응하는 여러 개의 연결 데이터로서 이미지 데이터 저장 섹션(PT)에 저장된다.
이 터미널 장치(TM)의 작동은 도 5a 와 5b 및 도 7a, 7b, 및 7c의 순서도와 관련하여 나중에 설명될 것이다. 이 순서도에서 설명되는 기능들을 수행하는데 필요한 프로그램들은 CPU(1)에 의해 판독될 수 있는 프로그램 코드 형태로 저장 매체(4)에 저장된다. 그리고 이 프로그램들의 내용은 RAM(2)에 있는 프로그램 기억 장치에 기록된다.
"수신인 미확인" 화물을 보관하는데 있어서, 오퍼레이터는 그 화물에서 물품을 추출해서 거의 같은 거리에서 이미지 입력 장치(8)를 가지고 있는 물품을 이미지화 한다. 오퍼레이터는 이미지 입력 장치(8)가 터미널 장치(TM)에 연결돼 있는 동안 입력 장치(6)를 통해 이미지 입력 명령을 입력한다. 그때 도 5a 및 5b의 순서도에 대응하여 조작이 수행/시작된다.
좀더 자세히 말하자면, CPU(1)는 이미지 입력 장치(8)으로부터 1-프레임 이미지를 판독하고 (스텝 A1), 그것을 이미지 데이터 저장 섹션(PT)에 저장한다 (스텝 A2). CPU(1)는 0이미지를 분석하고 그 분석 결과를 색깔 데이터 표(CT)의 내용과 비교한다(스텝 3). 예를 들어, 3-색깔 패턴 이미지와 같은 이미지의 주된 색깔이 비교의 결과로서 결정될 수 없다면 (스텝 A4에서 NO), 안내 디스플레이는 오퍼레이터에게 이미지 색깔을 입력/지정하도록 요구하는 수행을 한다. 색깔 데이터가 이 프롬프트에 답하여 입력되어지면 (스텝 A5), 그 색깔 데이터는 이미지 데이터 저장 섹션(PT)에 이미지에 대응하는 연결 데이터로서 설정된다 (스텝 A6). 이미지의 주된 색깔이 비교돼서 결정될 수 있다면 (스텝 A4에서 YES), 결정된 색깔 데이터는 이미지에 대응하는 연결 데이터로 이미지 데이터 저장 섹션(PT)에 설정된다 (스텝 A7).
계속해서, CPU(1)는 크기 데이터 테이블(ST)의 내용과 비교해서 그 이미지의 크기를 결정한다 (스텝 A8). 이런 경우에, 예를 들어, 그 이미지가 너무 크거나 작아서 그 이미지의 크기를 결정할 수 없다면 (스텝 A9에서 NO), 오퍼레이터에게 크기 데이터를 입력하라고 요구하는 메시지가 디스플레이된다. 크기 데이터가 이 프롬프트에 응답하여 입력되었다면 (스텝 A10), 그 크기 데이터가 이미지 데이터 저장 섹션(PT)에서 설정된다 (스텝 A11). 그 이미지의 크기가 결정될 수 있다면 (스텝 A9에서 YES), 그 결정된 크기 데이터가 데이터 저장 섹션(PT)에 설정된다. (스텝 A12).
이미지 데이터 저장 섹션(PT)에서 이미지에 대응하는 여러 개의 연결 데이터로서의 이미지의 색깔과 크기의 세팅이 이런 방식으로 완성 될 때, 그 흐름은 이미지화된 날짜를 가져와서 그 이미지에 대응하는 연결 데이터로서 이미지 데이터 저장 섹션(PT)에서 그것을 설정하기 위해 도 5b의 스텝 A13으로 나아간다. 그 후에, 오퍼레이터에게 입력 장치(6)를 가지고 물품 이름을 입력하라는 메시지가 화면에 디스플레이된다. 이 프롬프트에 응답하여 물품 이름이 입력되면 (스텝 A14), 그 물품 이름은 이미지 데이터 저장 섹션(PT)에 설정된다 (스텝 A15). 그 물품이 더 관찰되어 제품의 패턴, 물질, 모양 등과 연관된 다른 특징이 발견된다면, 그 특징은 다른 특징 데이터로서 입력된다 (스텝 A16). 그 입력 특징 데이터는 이미지 데이터 저장 섹션(PT)에 설정된다 (스텝 A17).
다양한 여러 개의 연결 데이터가 이미지 데이터 저장 섹션(PT)에 그 이미지와 대응하여 설정된 후에, 그 이미지 데이터 저장 섹션(PT)의 내용들은 저장 장치(3)에서 등록/보관되어지고 (스텝 A18), 통신 제어 섹션(5)을 통해 호스트 컴퓨터(HT)로 전송된다 (스텝 A19). 복수의 이미지 프레임이 있다면, 이미지 단위로 이미지 데이터 저장 섹션(PT)에 여러 개의 연결 데이터가 설정되고 저장 장치(3)에 등록/보관되거나 호스트 컴퓨터(HT)로 전송된다. 도 6은 그런 이미지 입력 작동에서 스크린 디스플레이를 도시한다. 연결 데이터가 결정되거나 입력될 때마다, 응답 내용들은 이미지와 함께 화면에 표시/출력된다.
발송인 또는 수취인이 어떤 화물에 관하여 조회했는데 그 발송인이 전표를 분실했다고 가정해보자. 이런 경우에, 안전하게 보관되고 있는 "수신인 미확인" 화물들이 원하는 화물인지를 조사하게된다. 이 때, 이미지로부터 그 화물을 지정하는 조사 과정이 도 7a에서 7c까지의 순서도에 따라 수행된다. 입력 장치(6)으로부터 조사 명령을 받으면, 그 CPU(1)는 저장 장치(3)으로부터 이미지 데이터 저장 섹션(PT)의 내용을 읽은 후 그것들을 RAM(2)으로 옮기고 순서도에 따라 작동된다.
첫째, 오퍼레이터는 발송인이나 수취인에게 그 물품의 이름에 관하여 물어본다. 그리고 그 물품이름을 입력 장치(6)를 통해 입력한다 (스텝 B1). 이 작동에 대응하여, CPU(1)는 이미지 데이터 저장 섹션(PT)을 조사한다 (스텝 B2). 그리고 입력 물품 이름을 갖는 이미지가 있는지를 조사한다 (스텝 B3). 입력 물품 이름을 가진 이미지들이 존재하면, CPU(1)는 리스트의 형태로 디스플레이 스크린에 그것들을 디스플레이한다 (스텝 B4). 도 8a는 "가방"이 물품으로서 입력되어 있는 경우의 스크린 디스플레이를 보여준다. 찾고자하는 이미지가 이 이미지 리스트에 포함되면, 오퍼레이터는 그 이미지에 커서를 옮겨놓고 그것을 선택하여, OK 키를 작동시킨다 (선택 실행키) (스텝 B5).
찾고자하는 이미지를 물품 이름만 가지고 못 찾으면, 입력 장치(6)를 통해 스텝 B6으로 간다. 입력 물품 이름을 가진 이미지가 없다면 (스텝 B3에서 NO), 스텝 B4와 B5는 생략된다. 즉, 모든 이미지들이 선택되고 입력 색깔 데이터로 간다. (스텝 B6).
오퍼레이터가 색깔을 조사하여 입력장치(6)를 통해 색깔 데이터를 입력할때, CPU(1)는 입력 물품 이름을 갖는 이미지에서 현재의 입력 색깔 데이터에 대응하는 이미지를 찾기위해 이미지 데이터 저장 섹션(PT)을 조사한다 (스텝 B7). CPU(1)는 그 입력 색깔을 갖는 이미지가 존재하는지 조사하고 (스텝 B8), 입력 색깔을 가진 이미지가 존재하면, CPU(1)는 오직 그 이미지들을 추출하여 그것들을 리스트형태로 디스플레이한다 (스텝 B9). 도 8b는 이런 경우의 스크린 디스플레이를 도시하는데 여기서 푸른 가방들이 가방들 중에서 추출되고 리스트 형태로 디스플레이된다. 오퍼레이터가 찾고자하는 이미지를 발견할 수 있다면, 그/그녀는 커서를 찾는 이미지의 위치로 옮겨 OK 키를 작동한다 (스텝 B10).
찾고자하는 이미지가 물품이름과 색깔만으로 지정될 수 없다면, 스텝 B11로 가서 입력 장치(6)로 크기 데이터를 입력한다. 이런 경우에, 크기 데이터로 "몇 cm 길이 몇 cm 넓이"와 같은 수치데이터가 입력된다. 스텝 B9에서 NO이면 스텝 B9와 B10은 생략되고 크기 데이터를 입력하는 스텝으로 간다 (스텝 B11).
이런 경우에, CPU(1)는 크기 데이터 테이블(ST)을 입력 크기 데이터에 기초하여 조사한다. 물품 이름과 색깔이 색깔 데이터로 이미 입력되어 있으면, CPU(1)는 그 입력 물품이름과 그 입력 색깔을 갖는 이미지 중에서 현재의 입력 크기를 갖는 이미지들을 찾기 위해 이미지 데이터 저장 섹션(PT)을 검색한다 (스텝 B12). 현재 입력 크기를 갖는 이미지들이 존재한다면 (스텝 B13에서 YES), CPU(1)는 그 이미지들만을 추출하여 리스트의 형태로 그것들을 도시한다 (스텝 B14). 도 8c는 이런 경우의 스크린 디스플레이를 도시한다. 여기서 큰 가방이 파란 가방들 중에서 추출되고 화면에 도시된다. 이 경우에, 한 이미지만이 추출된다. 이 이미지가 원하는 화물과 대응하면, OK 키가 작동된다 (스텝 B15).
파란 가방으로부터 추출된 몇 개의 가방이 있으나 원하는 이미지가 단지 물품 이름, 색깔, 및 크기로 지정될 수 없다면 스텝 B16으로 간다. 스텝 B13에서 NO이면 스텝 B14 와 B15는 생략되고 스텝 B16으로 향한다.
스텝 B16에서, 오퍼레이터는 입력 장치(6)를 통해 날짜 데이터를 입력한다. CPU(1)는 그때 날짜 데이터에 기초하여 이미지 데이터 저장 섹션(PT)을 검색한다 (스텝 B17). 입력 날짜를 갖는 이미지들이 존재한다면 (스텝 B18), CPU(1)는 리스트 형태로 그것들을 디스플레이한다 (스텝 B19). 이 리스트에 원하는 이미지가 존재한다면, 오퍼레이터는 그것을 골라서 OK 키를 작동시킨다 (스텝 B20). 그 찾고자하는 이미지가 존재하지 않으면, 오퍼레이터는 다른 특징 데이터를 입력시킨다 (스텝 b21). 계속해서, 그 이미지 데이터 저장 섹션(PT)은 위에서 설명한 것과 같은 방법으로 입력 특징에 기초하여 검색된다 (스텝 B22). 대응하는 이미지들이 존재하면 (스텝 b23), CPU(1)는 그것들을 리스트 형태로 디스플레이한다 (스텝 B24). OK 키가 이런 경우에도 작동하지 않는다면 (스텝 B25에서 NO), 안내표시는 대응하는 이미지의 부재를 나타내는 것을 수행한다. 즉, 물품 이름, 색깔, 크기, 날짜, 그리고 다른 특징의 입력이 있었는데도 대응하는 이미지가 없다면, 안내표시가 그것을 알려주는 것을 수행한다. OK키가 스텝 B5, B10, B15, B20, 또는 B25에서 작동된다면 스텝 B27로 가서 대응하는 여러 개의 연결 데이터와 함께 이미지 데이터 저장 섹션(PT)로부터 선택/확정된 이미지를 읽어내고 그것들을 나타내고/출력한다.
위에서 설명한 것처럼, "수신인 미확인" 화물을 보관하는데 있어서, 유입 사무소 등에 있어서 오퍼레이터는 이미지 입력 장치(8)를 가지고 그 화물을 이미지화한다. 이 이미지는 터미널 장치(TM)의 이미지 데이터 저장 섹션(PT)에 저장된다. 이런 경우에, 그 이미지의 색깔과 크기는 결정되고 그 이미지에 대응하는 여러 개의 연결 데이터로서 이미지 데이터 저장 섹션(PT)에 설정된다. 게다가, 물품 이름과 입력장치(6) 또는 더욱이 자동적으로 만들어진 날짜 데이터로부터 입력된 특징 데이터는 그 영상에 대응하는 여러 개의 연결 데이터로서 이미지 데이터 저장 섹션(PT)에 설정된다. 오퍼레이터가 물품 이름, 색깔, 크기, 날짜, 그리고 다른 특징을 발송인 또는 수취인으로부터의 문의에 관해 여러 개의 연결 데이터로 입력했을 때, 이미지 데이터 저장 섹션(PT)의 내용은 연결 데이터가 입력될 때마다 검색되고 검색 결과는 이미지의 리스트로 표시된다. 이 경우, 연결 데이터가 입력 될 때마다, 검색 해야할 물품들이 점점 줄어든다. 그러므로 원하는 화물이 쉽게 지정 될 수 있다. 즉, 오퍼레이터는 보관소에 갈 것 없이 즉시 질문에 답할 수 있어 결과적으로 서비스 향상을 가져온다. 게다가, 오퍼레이터는 즉시 전화에 의한 문의를 받는 동안 검색할 수 있는 물품 이름, 색깔, 크기 등을 입력하고 이미지로 결과가 보여진다. 그러므로, 확실한 실수는 효과적으로 예방할 수 있고 확실한 실수로 인해 파생된 실수를 예방할 수 있다.
위에서 서술된 첫 번째 일 실시 예에서, 도 7a 부터 7c까지에서 보여지는 검색 과정은 유입 센터, 유입 사무소 등에 설치된 터미널 장치(TM)에 의해 행해진다. 그러나 이 과정은 주 사무소에 있는 호스트 컴퓨터(HT)에 의해 행해질 수 있다. 이런 경우에, 이미지들과 다양한 여러 개의 연결 데이터를 유입센터 또는 "수신인 미확인" 화물을 보관하고 있는 유입사무소에서 호스트 컴퓨터(HT)로 전송하는데 있어서, 보관소를 나타내는 센터 이름 또는 사무소 이름이 연결 데이터로 추가된다면, 이미지와 함께 표시될 수 있는 보관소를 나타내는 데이터는 OK키의 작동에 관한 처리를 표시하는데 있어서 디스플레이될 수 있다. 이것은 주 사무소가 센터 또는 사무소에 배달 명령을 신속히 줄 수 있게 한다.
본 발명에 의하면, 이미지 처리 장치는 물품의 이미지 특징을 분석하고 특징 데이터에 기초하여 원하는 물품의 이미지에 관해 신속히 검색하기 위해 그 이미지와 대응하는 특징을 나타내는 특징 데이터를 저장한다.

Claims (18)

  1. 물품의 이미지를 입력하기 위한 이미지 입력 수단;
    상기 이미지 입력수단으로 부터 입력되는 물품의 이미지에 근거하여 물품의 특징을 분석하고, 분석결과를 나타내는 특징 데이터를 얻기 위한 분석수단;
    상기 특정데이터와 이미지를 서로 대응하게 저장하기 위한 이미지 저장 수단;
    검색을 위해 사용되는 특징데이터를 지정하기 위한 지정수단;
    상기 지정수단에 의해 지정된 특정데이터에 대응하는 이미지를 상기 이미지 저장수단으로 부터 검색하고, 이 검색된 이미지를 출력하기 위한 검색수단을 포함하는 것을 특징으로 하는 입력 이미지를 처리하기 위한 이미지 처리장치.
  2. 제 1 항에 있어서,
    상기 분석수단이 물품의 색깔을 지시하는 특징데이터를 얻는 것을 특징으로 하는 입력 이미지를 처리하기 위한 이미지 처리장치
  3. 제 1 항에 있어서,
    상기 분석수단이 물품의 크기를 지시하는 특징 데이터를 얻는 것을 특징으로 하는 입력 이미지를 처리하기 위한 이미지 처리장치.
  4. 제 1 항에 있어서,
    상기 검색 수단이 검색된 이미지를 디스플레이 스크린 상에 표시하는 것을 특징으로 하는 입력 이미지를 처리하기 위한 이미지 처리장치.
  5. 제 4 항에 있어서,
    상기 검색 수단이 상기 지정 수단에 의해 지정된 특징 데이터에 대응하는 복수의 이미지를 검색할 때, 상기 검색 수단이 리스트의 형태로 디스플레이 스크린에 복수의 이미지를 나타내는 것을 특징으로 하는 장치.
  6. 제 5 항에 있어서,
    복수의 이미지들이 리스트의 형태로 디스플레이 스크린에 표시된 후에 또하나의 다른 특징 데이터가 상기 지정 수단에 의해 지정될 때, 상기 검색 수단은 상기 또 하나의 다른 특징 데이터에 대응하는 이미지만을 표시하는 것을 특징으로 하는 장치.
  7. 제 1 항에 있어서,
    물품의 특징을 나타내는 데이터를 입력시키기 위한 데이터 입력 수단;
    상기 이미지 저장 장치가 그 이미지와 대응하는 상기 데이터 입력 장치로부터 데이터 입력을 저장하도록 하는 제어 장치를 추가로 포함하는 것을 특징으로 하는 장치.
  8. 제 7 항에 있어서,
    물품의 특징을 나타내는 데이터가 검색 데이터로서 지정될 때, 상기 검색 수단이 검색 데이터에 근거하여 이미지를 위한 상기 이미지 저장 수단을 검색하는 것을 특징으로 하는 장치.
  9. 물품의 입력 이미지에 기초한 물품의 특징을 분석하고, 분석 결과를 나타내는 특징 데이터를 얻기 위한 프로그램 코드;
    서로 대응되는 특징 데이터와 입력 이미지를 저장하기 위한 프로그램 코드;
    검색에 사용되는 특징 데이터를 지정하기 위한 프로그램 코드;
    지정된 특징 데이터와 대응하는 이미지를 위한 복수의 입력 이미지를 검색하고 검색된 이미지를 출력하기 위한 프로그램 코드를 포함하는 것을 특징으로 하는 컴퓨터 판독가능 프로그램 코드를 저장하는 저장 매체.
  10. 물품의 이미지를 입력하기 위한 이미지 입력 수단;
    상기 이미지 입력 수단으로부터 입력된 물품의 이미지에 기초한 물품의 특징을 분석하고 분석결과를 나타내는 특징 데이터를 얻기 위한 분석 수단과, 서로 대응하는 특징 데이터와 이미지를 저장하기 위한 이미지 저장 수단을 포함하는 것을 특징으로 하는 입력 이미지를 처리하는 이미지 처리 장치.
  11. 제 10 항에 있어서,
    상기 분석 수단이 물품의 색깔을 나타내는 특징 데이터를 얻는 것을 특징으로 하는 장치.
  12. 제 10 항에 있어서,
    상기 분석 수단이 물품의 크기를 나타내는 특징 데이터를 얻는 것을 특징으로 하는 장치.
  13. 제 10 항에 있어서,
    검색을 위해 사용되는 특징 데이터를 지정하는 지정수단;
    상기 지정 수단에 의해 지정된 특징 데이터에 대응하는 이미지를 위한 상기 이미지 저장 수단을 검색하고 검색된 이미지를 출력하는 검색 수단을 추가로 포함하는 것을 특징으로 하는 장치.
  14. 제 13 항에 있어서,
    상기 검색 수단이 디스플레이 스크린에서 검색된 이미지를 표시하는 것을 특징으로 하는 장치.
  15. 제 14 항에 있어서,
    상기 검색 수단이 상기 지정 수단에 의해 지정된 특징 데이터와 대응하는 복수의 이미지를 검색할 때, 상기 검색 수단은 리스트의 형태로 디스플레이 스크린 위에 복수의 이미지를 표시하는 것을 특징으로 하는 장치.
  16. 제 15 항에 있어서,
    복수의 이미지들이 리스트의 형태로 디스플레이 스크린에 표시된 후에 또하나의 다른 특징 데이터가 상기 지정 수단에 의해 지정될 때, 상기 검색 수단은 상기 또 하나의 다른 특징 데이터에 대응하는 이미지만을 표시하는 것을 특징으로 하는 장치.
  17. 제 10항 에 있어서,
    물품의 특징을 나타내는 데이터를 입력하기위한 데이터 입력 수단;
    이미지와 대응하는 상기 입력 수단으로부터 상기 이미지 저장 수단이 데이터 입력을 저장하도록 하는 제어 수단을 포함하는 것을 특징으로 하는 장치.
  18. 제 17 항에 있어서,
    물품의 특징을 나타내는 데이터가 검색 데이터로 지정될 때, 상기 검색 수단이 검색 데이터를 근거로 하는 상기 이미지 저장 수단을 검색하는 것을 특징으로 하는 장치.
KR1019980705429A 1996-11-15 1997-11-11 이미지처리장치 Expired - Fee Related KR100319469B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP31860996A JP3658893B2 (ja) 1996-11-15 1996-11-15 宅配荷物管理装置
JP8/318609 1996-11-15
PCT/JP1997/004093 WO1998022888A1 (en) 1996-11-15 1997-11-11 Image processing apparatus

Publications (2)

Publication Number Publication Date
KR19990077283A true KR19990077283A (ko) 1999-10-25
KR100319469B1 KR100319469B1 (ko) 2002-04-22

Family

ID=18101057

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019980705429A Expired - Fee Related KR100319469B1 (ko) 1996-11-15 1997-11-11 이미지처리장치

Country Status (10)

Country Link
US (1) US6424738B1 (ko)
EP (1) EP0877987A1 (ko)
JP (1) JP3658893B2 (ko)
KR (1) KR100319469B1 (ko)
CN (1) CN1129082C (ko)
AU (1) AU715088B2 (ko)
CA (1) CA2241151C (ko)
MY (1) MY120012A (ko)
TW (1) TW384436B (ko)
WO (1) WO1998022888A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010044488A (ko) * 2001-02-27 2001-06-05 이순형 대상물의 특징부위,구체적으로 무늬 화상정보,색깔화상정보,패턴 화상정보,상표 화상정보를 영상 입력장치에의해서 컴퓨터로 전송한후 병합처리된 파일을 통하여원대상물과의 진위 여부를 판별하는 방법.
KR20030046179A (ko) * 2001-12-05 2003-06-12 주식회사 엘지이아이 영상 표시 장치를 이용한 상품 구매 시스템의 운용방법

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6594650B2 (en) * 1998-09-04 2003-07-15 Canon Kabushiki Kaisha File management system and its method and storage medium
US7417640B1 (en) 1999-01-29 2008-08-26 Lg Electronics Inc. Method for dominant color setting of video region and data structure and method of confidence measure extraction
KR100350789B1 (ko) 1999-03-04 2002-08-28 엘지전자 주식회사 이미지 검색시스템의 분위기 칼라 자동추출 및 원래 칼라 조정방법
AU1552101A (en) * 1999-11-30 2001-06-12 Ecchandes Inc. Data acquisition system, artificial eye, vision device, image sensor and associated device
KR100422697B1 (ko) * 1999-12-27 2004-03-12 엘지전자 주식회사 색공간 양자화 묘사자
JP2001337996A (ja) * 2000-05-24 2001-12-07 Canon Inc 画像処理装置及びその制御方法並びに記憶媒体
US6774908B2 (en) * 2000-10-03 2004-08-10 Creative Frontier Inc. System and method for tracking an object in a video and linking information thereto
AT501662B1 (de) * 2001-02-07 2006-12-15 Hoefler Kurt Mag Dipl Ing Dr Vorrichtung zum digitalen abbilden und speichern eines dokumentes
JP4078085B2 (ja) * 2001-03-26 2008-04-23 キヤノン株式会社 変倍画像生成装置、方法、及びそのコンピュータプログラムとコンピュータ読み取り可能な記憶媒体
US7415153B2 (en) * 2002-09-20 2008-08-19 International Business Machines Corporation Color naming, color categorization and describing color composition of images
GB0230271D0 (en) * 2002-12-30 2003-02-05 British Telecomm Data retrieval method and apparatus
JP4865671B2 (ja) 2007-10-17 2012-02-01 シャープ株式会社 情報表示装置及び情報表示システム
CN101871768B (zh) * 2010-05-12 2011-11-09 中国科学院自动化研究所 一种基于单目视觉的行李外观信息自动获取系统及其方法
JP6048093B2 (ja) * 2012-11-28 2016-12-21 ブラザー工業株式会社 制御装置およびコンピュータプログラム
JP6978181B2 (ja) * 2015-07-16 2021-12-08 日本電気株式会社 受け取り支援システム、受け取り支援方法、受け取り支援プログラム、情報処理装置、及び端末装置
US10515265B2 (en) * 2016-12-27 2019-12-24 Captricity, Inc. Generating variations of a known shred
CN107609005B (zh) * 2017-07-24 2020-06-05 中国科学院光电研究院 一种基于机器视觉的物品定位方法及定位装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2915048B2 (ja) * 1989-04-04 1999-07-05 株式会社リコー カラー画像処理装置
JPH0367802A (ja) * 1989-08-02 1991-03-22 Matsushita Electric Ind Co Ltd 荷物追跡システム
JPH0495173A (ja) * 1990-08-07 1992-03-27 Fuji Xerox Co Ltd 特徴識別装置
JPH05242254A (ja) * 1992-02-27 1993-09-21 N T T Data Tsushin Kk 画像処理装置
JPH05242165A (ja) * 1992-02-28 1993-09-21 Mitsubishi Electric Corp 画像データベースシステム
JPH05334409A (ja) * 1992-06-02 1993-12-17 Hitachi Ltd 商品管理システムの商品画像入力方法
JP3083676B2 (ja) * 1993-05-21 2000-09-04 株式会社日立製作所 デ−タファイル装置
JP3142986B2 (ja) * 1993-06-04 2001-03-07 株式会社東芝 文書情報検索装置
JP3031652B2 (ja) * 1993-07-02 2000-04-10 富士通株式会社 データ提供システム
US5513271A (en) * 1993-11-24 1996-04-30 Xerox Corporation Analyzing an image showing a proportioned parts graph
DE69535098T2 (de) * 1994-11-15 2007-04-19 Canon K.K. Verfahren und -vorrichtung zur Suche von Bildern in einer Datenbank
US6014464A (en) * 1997-10-21 2000-01-11 Kurzweil Educational Systems, Inc. Compression/ decompression algorithm for image documents having text graphical and color content

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010044488A (ko) * 2001-02-27 2001-06-05 이순형 대상물의 특징부위,구체적으로 무늬 화상정보,색깔화상정보,패턴 화상정보,상표 화상정보를 영상 입력장치에의해서 컴퓨터로 전송한후 병합처리된 파일을 통하여원대상물과의 진위 여부를 판별하는 방법.
KR20030046179A (ko) * 2001-12-05 2003-06-12 주식회사 엘지이아이 영상 표시 장치를 이용한 상품 구매 시스템의 운용방법

Also Published As

Publication number Publication date
CA2241151A1 (en) 1998-05-28
EP0877987A1 (en) 1998-11-18
CN1129082C (zh) 2003-11-26
WO1998022888A1 (en) 1998-05-28
CA2241151C (en) 2002-01-01
US6424738B1 (en) 2002-07-23
TW384436B (en) 2000-03-11
AU715088B2 (en) 2000-01-13
AU4886997A (en) 1998-06-10
KR100319469B1 (ko) 2002-04-22
MY120012A (en) 2005-08-30
CN1208483A (zh) 1999-02-17
JPH10149434A (ja) 1998-06-02
JP3658893B2 (ja) 2005-06-08

Similar Documents

Publication Publication Date Title
KR100319469B1 (ko) 이미지처리장치
US5367623A (en) Information processing apparatus capable of opening two or more windows on screen, one window containing a page and other windows containing supplemental information
US20070143736A1 (en) Workflow Development Platform
CN110490458A (zh) 一种移动质量管理检查系统
US12400173B2 (en) Information management apparatus and information management program using an inspection result
US12050302B2 (en) Inspection apparatus and inspection program
RU2253519C2 (ru) Видеокодирующая станция для установки для автоматической сортировки почтовых предметов
US7158987B2 (en) Data search system and data search method
CN113298453A (zh) 数据处理方法、系统及电子设备
JP6632674B1 (ja) 検査装置及び検査プログラム
US20200089706A1 (en) Material development assistance system and material development assistance method
JP2000262985A (ja) 自動荷物仕分け方法及びシステム
JPH08131962A (ja) コード入力制御方法
JP2000118637A (ja) 入庫物品の形状で品目を決定する入庫装置
JP2020042860A (ja) 検査装置及び検査プログラム
EP1307033A1 (en) Portable radio telephone
JPS648485A (en) Image retrieving/analyzing work station
CN116618319A (zh) 违禁品快递分拣方法
JPH07271801A (ja) ファイリング装置
JPH10149407A (ja) 商品情報・取引条件のマーク処理システムおよび記録媒体
JPH1153024A (ja) 作業指示・支援システム
JPH10124523A (ja) マルチメディアデータの案内検索方法及び装置
JP2021185531A (ja) 検査装置及び検査プログラム
JPS62154062A (ja) 情報検索装置
JPH0736752A (ja) 情報処理装置

Legal Events

Date Code Title Description
A201 Request for examination
PA0105 International application

St.27 status event code: A-0-1-A10-A15-nap-PA0105

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

R17-X000 Change to representative recorded

St.27 status event code: A-3-3-R10-R17-oth-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

PN2301 Change of applicant

St.27 status event code: A-3-3-R10-R13-asn-PN2301

St.27 status event code: A-3-3-R10-R11-asn-PN2301

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U12-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 5

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 6

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 7

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 8

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 9

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 10

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 11

FPAY Annual fee payment

Payment date: 20121122

Year of fee payment: 12

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 12

FPAY Annual fee payment

Payment date: 20131206

Year of fee payment: 13

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 13

FPAY Annual fee payment

Payment date: 20141212

Year of fee payment: 14

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 14

LAPS Lapse due to unpaid annual fee
PC1903 Unpaid annual fee

St.27 status event code: A-4-4-U10-U13-oth-PC1903

Not in force date: 20151220

Payment event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

PC1903 Unpaid annual fee

St.27 status event code: N-4-6-H10-H13-oth-PC1903

Ip right cessation event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

Not in force date: 20151220

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000