KR20200051165A

KR20200051165A - Internet Explorer에서의 인터넷 정보 처리 자동화 방법

Info

Publication number: KR20200051165A
Application number: KR1020180134158A
Authority: KR
Inventors: 이남규; 이수민; 이수현
Original assignee: 이남규; 이수현; 이수민
Priority date: 2018-11-05
Filing date: 2018-11-05
Publication date: 2020-05-13

Abstract

본 발명은 Iternet Explorer에서 인터넷 정보 처리 자동화 방법에 관한 것으로, 인공 지능 자동차가 네비게이션 정보와 센서 정보를 결합하여 자율 주행을 실시하듯, 컴퓨터 전문 지식이 없는 일반인이 어플리케이션 프로그램의 제어로 구동되는 Internet Explorer에서 필요한 인터넷 정보를 검색하고 차후 해당 정보를 자동으로 검색 또는 등록하기 위한 검색 조건을 설정하면 어플리케이션 프로그램이 네비게이션 정보에 해당하는 HTML과 관련된 정보들과 센서 정보에 해당하는 사용자가 설정한 검색 조건 정보를 수집 결합하여 네비게이션 Document를 생성하면, 자동차 자율 주행과 같이 어플리케이션 프로그램의 제어에 의하여 구동되는 Internet Explorer가 생성된 네비게이션 Document에 따라 사용자가 필요로하는 정보를 자동으로 검색 또는 등록하는 방법과, 스크래핑 같은 전문적인 인터넷 정보 처리를 자동으로 프로그램 작성에 활용하기 위한 방법에 관한 것이다.

Description

Internet Explorer에서의 인터넷 정보 처리 자동화 방법{Method of Internet Information Processing Automation in Internet Explorer}

본 발명은 Internet Explorer(이하 IE)에서의 인터넷 정보 처리 자동화 방법에 관한 것으로, 더욱 상세하게는 컴퓨터 전문 지식이 없는 일반인이 어플리케이션 프로그램 제어로 구동되는 IE를 사용하여 웹사이트에서 필요한 정보를 반복적으로 자동 검색하거나 등록할 수 있는, HTML 문서 정보와, HTML 문서의 기본 구성 단위로 사용자 인터페이스(UI)를 제공하는 항목(이하 엘리먼트) 정보와, HTML 문서간 전환 정보인 네비게이션 정보와, 사용자 조작 정보(이하 UI 정보) 및 사용자가 필요한 정보만을 검색하기 위한 엘리먼트 검색 조건 설정 정보와, 동등한 엘리먼트 정보를 순환 반복 처리하기 위한 엘리먼트 형제 정보와, 여러 페이지에 걸친 동등한 엘리먼트 정보를 순환 반복 처리하기 위한 Page 정보, 등을 포함하는 문서(이하 네비게이션 Document)를 생성하여, 생성된 네비게이션 Document에따라 어플리케이션 프로그램 제어로 IE를 구동하여 인터넷 정보 처리를 자동으로 실행하는 방법과, 스크래핑 또는 크롤링으로 불리는 웹 정보를 자동 검색하는 프로그램 작성에 활용하는 방법에 관한 것이다.

웹 상에 필요한 인터넷 정보를 자동 반복 검색하거나 등록하기 위하여는 IE나 Chrome 등 웹 브라우저가 제공하는 개발자 도구를 사용하여 HTML 문서의 구조를 분석하고, HTML 문서 내에서 엘리먼트를 찾아 속성을 파악하는 기술과, 웹 상에 필요한 HTML 문서 또는 자원을 가져오거나 등록하기 위하여 TCP/IP를 기반한 통신 규약인 HTTP 프로토콜 같은 통신 기술과, HTML 문서에서 필요한 정보를 추출하는 파싱 기술과, 스크래핑 프로그램 등을 작성하는 프로그래밍 기술이 사용되며, 최근에는 HTTP 프로토콜이나 HTML 파싱의 구체적 지식 없이도 웹 정보 처리 자동화 프로그램 작성이 가능하도록 개발된 라이브러리를 사용한다.

또한 인터넷 정보 처리를 위한 어플리케이션 프로그램이 IE를 제어하기 위하여는 HTML 문서 구조와 다양한 종류의 엘리먼트 속성과 각 엘리먼트 속성에 따른 자원(property)을 얻거나 변경하거나 특정 기능을 수행(method)하는 기술과, IE와 IE가 지원하는 다양한 구성 요소(Class) 및 화면 중 HTML 문서 관련 UI를 제공하는 클라이언트 영역(Client Area)인 HTML 화면과, HTML 객체(Object)를 생성하거나 구해서 어플리케이션 프로그램과 연결하여, IE와 HTML 객체가 발생하는 Event를 감시하여 네비게이션 정보와 UI 정보를 수집하는 기술이 필요하다,

상기와 같이 인터넷 정보 처리 자동화를 위하여 HTML 문서 분석이나 통신 기술과 함께 프로그래밍 기술이 필요하므로, 컴퓨터 전문 지식없는 일반 사용자가 구현하기 어려운 문제점을 본 발명에서는 현대 지능화된 자동차가 네비게이션 정보와 센서 정보를 결합하여 자율 주행을 실시하듯, 어플리케이션 프로그램의 제어로 구동하는 IE에서 일반 사용자가 평소 인터넷에서 정보를 검색하는 방식에 검색 조건 설정 정보를 결합한 네비게이션 Document를 생성하여 반복적으로 인터넷 정보 처리를 자동으로 실행하는 방법을 제공하는 것이다.

또한 스크래핑 같은 프로그램을 작성하는 프로그래머가 웹 브라우저 개발자 도구에서, 원하는 엘리먼트를 찾아 프로그램 소스코드에 반영하는데는 많은 시간과 노력이 필요하고, 정보 검색 자동화 프로그램 개발에 필요한 엘리먼트 정보 확인 과정에 메뉴나 링크 엘리먼트를 클릭하면 네비게이션 발생으로 인하여, 원하는 엘리먼트 정보를 찾아 프로그램 개발에 반영하는데 어려움이 있다.

따라서 본 발명에서는 HTML 화면에서 어떠한 엘리먼트를 선택하여도 네비게이션 발생 없이 선택된 엘리먼트에 검색 조건을 설정하거나 엘리먼트 정보를 구하여 정보 검색 자동화 프로그램 개발에 반영하는 방법을 제공하는 것이다.

상기와 같이 컴퓨터 전문 지식이 없는 일반 사용자가 IE에서 필요한 정보를 반복 자동 검색하거나 등록하기 위한 목적과, 인터넷 정보 처리 자동화를 위한 스크래핑 프로그램을 개발하는데 반영하기 위한 목적을 달성하기 위하여는 사용자가 IE 화면을 보면서 조작하는 과정에서 발생하는 HTML 문서 정보와 엘리먼트 정보 및 UI 정보를 수집하여 저장하기 위한 수단과, 사용자가 어떠한 엘리먼트를 선택하여 검색 조건을 설정하거나, 스크래핑 등의 프로그램 개발에 반영하기 위한 엘리먼트 정보가 필요한 경우에 IE 조작에 의한 네비게이션이나, IE PouUp 메뉴(context menu) 발생없이 검색 조건 설정이나 필요한 엘리먼트 정보를 얻을 수있는 수단을 제공하는 것이다.

본 발명에서 HTML 문서 정보와 엘리먼트 정보 및 UI 정보 수집 수단으로는 PC 화면 검색(Enumeration)으로, 실행되는 IE 화면을 검색하여 최상위 IE 화면에 속한 HTML 화면과 객체를 구하여 HTML Event 발생이 가능하도록 설정하고, HTML Event와 프로그램 Event를 감시하여, HTML 문서 정보와 네비게이션 발생 원인과, 네비게이션 또는 Event를 발생시켰거나 검색 조건 설정된 엘리먼트 정보와, 네비게이션 Document 자동 실행 단계에서 상기 엘리먼트가 특정 가능하도록 여러 단계의 상위 부모 엘리먼트 정보를 수집하고, 입력 속성의 엘리먼트인 경우 Enter 키에 의한 입력 종료인지 마우스 클릭에 의한 입력 종료인지 등 UI 정보를 수집 한다.

또한 IE 상에서 사용자가 조작을 실시 할 경우 발생하는 네비게이션이나 IE PouUp 메뉴 발생없이 엘리먼트 검색 조건 설정이나 정보를 얻기 위한 수단으로는 도 3의 (300)과 같이 0 ~ 100% 투명도 설정이 가능하고, Z-order상 HTML 화면 상위에 설정이 가능하여, HTML 화면을 보면서 사용자가 조작하는 키 또는 마우스 입력이 네비게이션이나 IE PopUp 메뉴 발생을 방지할 수 있는 Layered Window와 같은 화면(이하 Shield 화면)을 IE 화면 전부 또는 툴바, 주소 입력 표시부, 메뉴바, 수평/수직 스크롤 바(230), 즐겨 찾기 모음 등을 제외하고 IE의 클라이언트 영역인 HTML 화면(220) 상위에 위치시켜, 마우스 오른쪽 버튼 클릭시 IE의 PopUp 메뉴 대신 프로그램 PopUp 메뉴를 실행하거나, 컨트롤 키(Ctrl, Alt, Shift 중 하나를 의미)와 결합하여 특정 기능을 실행하고, 마우스 왼쪽 버튼 클릭시는 Shield 화면 상의 사용자 마우스 입력 좌표를 HTML 화면 좌표로 변환하여 HTML 객체로부터 해당 좌표의 엘리먼트 객체를 구하는 등의 방법으로 상기 목적 달성을 위한 수단을 제공한다.

본 발명은 컴퓨터 전문 지식 없는 일반인도 전문가 도움없이 필요한 인터넷 정보를 반복적으로 자동 검색하거나 등록할 수 있으므로 경쟁사 상품의 가격 변화를 실시간 파악하여 대처 하거나, 자신이 사용하는 컴퓨터 인터넷 화면 광고 부분을 자신이 원하는 이미지로 대체하는 등으로 활용 가능하며, 정보를 처리할 대상 Site의 기본 HTML 문서가 변경되거나, 필요한 검색 조건이나 항목이 변경되어도 어플리케이션 프로그램 변경 없이 네비게이션 Document 생성 작업 과정 만을 실시하면 된다.

또한 웹 정보 처리 자동화 프로그램을 개발하는 프로그래머는 HTML 화면을 보면서, 네비게이션 발생으로 인한 HTML 문서가 전환되는 걱정없이 원하는 엘리먼트를 선택하여 엘리먼트 정보를 확인하거나, 문자열을 복사하거나, 일정한 Format을 정하여 지정한 메모리로 전송 함으로써 개발 노력과 시간을 절약한다.

도 1은 네비게이션 Document 생성 / 실행 작업의 단계별 구성도
도 2는 네비게이션 Document 생성 작업 과정 흐름도
도 3은 본 발명 실시에 따른 화면 구성과 선택 엘리먼트 정보 표시 예시 도
도 4는 어플리케이션 프로그램 PopUp 메뉴 예시 도
도 5는 형제와 Page 엘리먼트 선택과 앨리먼트 검색 조건 설정 방법 예시 도
도 6은 외부 함수 타입 예시 도
도 7은 본 발명 실시에 따른 IE 화면 이미지 교체 방법 예시 도
도 8은 본 발명 실시에 따른 인터넷 오디오 데이터 저장 방법 예시 도

이하 첨부된 도 1의 네비게이션 Document 생성 작업 과정을 단계별로 설명하며 관련된 도면을 참조하여 상세히 설명한다.

(1) 프로그램 구동 단계(S100)

어플리케이션 프로그램 구동 단계에서는 네비게이션 Document 생성에 필요한 프로그램과, 생성된 네비게이션 Document에따라 인터넷 정보 처리를 자동으로 실시하는 프로그램으로, 별개의 다른 두 프로그램을 사용 할 수 있으며, 하나의 프로그램으로 실행 파라메타를 달리 설정하여 실행 시키는 방법도 있다.

(2) IE 객체 생성/연결 단계(S200)

어플리케이션 프로그램이 구동되면 프로그램은 PC에서 현재 실행 중인 프로그램들 중 "IEFRAM" Class인 IE 프로그램 만을 검색하여 처음 검색되는 IE가 최상위의 IE이며 IE 화면 정보로 IE 객체를 구하여 IE를 제어하며, 만약 IE가 검색되지 않으면 IE 객체를 생성하고 IE 객체로 IE 화면 정보를 구하여 IE를 제어하고, IE 화면 정보로 HTML 화면 및 HTML 객체를 구하여 HTML 화면 및 HTML 객체를 제어한다.

만약 상기 PC 화면 검색 결과 IE가 실행 중이면 프로그램 상 기존 실행 중인 IE를 관리하는 것이 어렵거나 사용자의 실수로 원치 않는 IE를 선택하면 네비게이션이 발생한 것으로 처리되는 실수를 방지하기 위하여 기존 실행 중인 모든 IE를 종료 시키고 새로운 IE를 생성하면 실수를 방지 할 수 있다.

IE와 HTML 객체를 얻었으면 IE와 HTML 각각 Event Sinker와 연결하여 Event가 발생하도록 처리하고, 어플리케이션 프로그램 제어로 레지스트리 등에 사전 등록된 기본 Site로 네비게이트 시킬 수 있다.

또한 IE의 앞으로/뒤로 툴바 버튼 화면과 위치를 구하여 DLL 등에서 툴바 화면을 마우스 Hooking을 사용하여 해당 버튼이 클릭되면 어플리케이션 프로그램 Event를 발생시켜 처리하면, HTML의 엘리먼트 조작 이외에 발생한 네비게이션은 즐겨찾기(모음) 또는 주소 입력 표시부에 입력으로 인한 네비게이션으로 처리 할 수있다.

(2-1) 네비게이션 Document 생성 작업 판단(S210)

본 발명에 따른 인터넷 정보 처리 자동화에서 네비게이션 Document 생성 작업과 네비게이션 Document 실행 작업은 비 동기적인 별도의 2개 작업으로서 프로그램을 2 개로 작성 처리하거나, 하나의 프로그램에 실행 파라메타를 다르게하여 처리 할 수있으며, 2개의 프로그램으로 처리할 경우는 본 네비게이션 Document 생성 작업 판단(S210)이 불필요하며, 네비게이션 Document 실행 작업 프로그램은 도 3 프로그램 메인 화면(100)의 메뉴바(130)에 있는 메뉴나 때로는 메인 화면(100) 자체가 필요 없고, Shield 화면이 필요 없으므로 Shield 화면 생성 처리 로직 및 UI 정보를 구하기 위한 많은 Event 처리 로직이 필요없다.

(3) IE 제어/조작 네비게이션 단계(S300)

네비게이션 Document 생성을 위한 대부분의 처리를 하는 부분으로 도 2의 반복 순환 지점(S310)을 중심으로 네비게이션 정보 수집 및 검색 설정 단계(S400)와 명확한 단계 구분없이, 네비게이션 발생이 HTML 문서 정보를 제공하고, 수집된 엘리먼트 정보가 네비게이션의 원인 정보를 제공하므로, 도 2 네비게이션 Document 생성 작업 과정 흐름도의 개별적 부호를 중심으로 설명한다.

(3-1) Shield 화면 요청 판단(S311)

본 발명에서는 과제의 해결 수단에서의 설명과 같이 사용자는 Shield 화면 없이 IE를 사용하는 과정에서, 필요한 정보를 자동 검색할 엘리먼트 또는 네비게이션을 발생할 엘리먼트로 판단하거나 엘리먼트에 검색 조건 설정이 필요한 경우 사용자는 Shield 화면을 사용하며, 펑션 키 또는 도 3 프로그램 메인 화면(100)의 메뉴 바(130)의 "SHIELD" 메뉴를 선택하면 어플리케이션 프로그램은 도 3과 같이 Shield 화면(300)을 생성(S312)하고 "SHIELD" 메뉴가 "UNSHIELD" 메뉴로 바뀌며, Shield 화면으로 사용자 입력이 제약될 경우 등 프로그램의 판단과, 사용자에 의한 상기 "UNSHIELD" 메뉴 또는 Esc와 같은 지정된 키로 Shield 화면을 제거(S312) 한다.

Shield 화면 생성시 프로그램은 HTML 화면의 가로 세로 시작 위치를 계산하여 Shield 화면을 생성(S312)하고 IE의 화면 보기 비율(Zoom Rate)을 적용하여야 Shield 화면의 좌표를 HTML 화면의 좌표로 변환 가능하고, 아울러 엘리먼트에 마우스 입력인 경우는 수평/수직 스크롤바(230)가 있는 경우를 가정하여 항시 현 HTML의 수평/수직 스크롤 오프셋 값과 화면 보기 비율 정보를 수집한다.

도 3과 같이 Shield 화면 상태에서 엘리먼트를 선택(221)하면 HTML 문서 정보(110)와 엘리먼트 정보(120)를 수집하여 전부 또는 일부 내용을 프로그램이 제어 가능한 화면(100)에 도 3과 같이 선택된 엘리먼트의 상위 부모들 엘리먼트 정보를 포함하여 글자 색상을 달리하여 정보를 표시(123)하고, 선택된 엘리먼트의 Style 속성을 변경하여 배경 또는 글자 색상(221)을 변경하면 사용자가 확인 가능하며, HTML 문서 정보(110)와 엘리먼트 정보(120)는 컴퓨터 전문 지식이 없는 일반인이 사용 할 경우는 화면에 꼭 표시할 필요는 없으며, 스크래핑 같은 전문적 인터넷 자동 검색 프로그램을 작성할 경우에는 표시된 문자열을 복사하거나 HTML 문서 정보 또는 엘리먼트 정보를 소켓 통신이나 공유 메모리 등을 사용하여 스크래핑 프로그램 작성에 필요한 메모리로 전송하여 스크래핑 등 인터넷 정보 처리 자동화 프로그램 작성에 활용한다.

(3-2) 네비게이션 발생 판단(S313)

본 발명에서 네비게이션은 HTML 문서의 전환과 함께 화면 정보(Window Handle)가 변하는 것으로 IE의 여러 Event 중 네비게이션, DOCUMENT, WINDOW 관련 Event를 감시하거나, 상기 (2) IE 객체 생성/연결 단계의 HTML 화면 및 HTML 객체를 얻는 방식을 사용하며, 엘리먼트에 의한 네비게이션 원인을 수집하기 위하여는 마우스 다운, 클릭, 키다운, SUBMIT 등 다양한 HTML Event 감시가 필요하다.

네비게이션 발생 요인은 프로그램의 제어와, HTML 내의 메뉴 또는 Link 엘리먼트 등에 키 또는 마우스 입력과, IE의 툴바와, 주소 입력 및 즐겨 찾기 등 다양하며, 만약 네비게이션이 발생하면 네비게이션 발생 이전 HTML Event를 감시 중인 HTML 객체가 있는지 판단(S314)하여 Active한 HTML 객체가 있으면, 네비게이션 Document 자동 실행 단계(S700)에서 동일한 네비게이션 발생이 가능하도록 (S410)과 같이 네비게이션 발생 원인을 상기 여러 요인 중에서 파악하고, 엘리먼트에 의한 네비게이션의 경우는 해당 엘리먼트 정보를 수집하고, 필요한 정보 수집이 완료되면 Active한 HTML Event와 객체를 무효화한다.

상기 정보 수집과 무효화 과정이 끝나면 새로운 HTML 화면 정보를 이용하여 HTML 객체를 생성하고, 새로운 HTML에 Event가 발생하도록 설정하여 Active 시키고 새로운 HTML 문서 정보를 수집(S411)한다.

본 발명에서 HTML 문서 정보는 HTML 원시 소스의 모든 정보가 아닌 네비게이션 Document 자동 실행 단계(S700)에 필요한 도 3의 URL(111), Title, Cookie(112) 이외 HTML 영역(RECT)과 스크롤 Left, Top 오프셋 및 URL 원시 소스에 포함된 엘리먼트 갯수 등의 항목을 추출하여 구조체 포멧(Structured Format)으로 만들어 프로그램내 HTML 문서 관련 함수가 동일한 Layout을 사용하고, HTML 문서 내의 선택 및 검색 조건 설정된 엘리먼트들의 정보 참조가 가능한 정보이다.

(3-3) 엘리먼트 설정(S315)

엘리먼트 설정은 도 4의 선택된 엘리먼트(222)의 검색 조건을 설정하는 것으로 엘리먼트 선택 후 메뉴나 펑션 키 또는 컨트롤 키와 마우스 버튼 클릭을 결합하여 프로그렘 PopUp 메뉴 없이도 가능하나, 본 발명 실시 예로는 Shield 화면 상태에서 마우스 오른쪽 버튼 클릭으로 IE PopUp 메뉴 대신 프로그램 PopUp 메뉴(400)의 "엘리먼트 설정" 메뉴 항목(410)을 선택하면 도 5 엘리먼트 검색 조건 설정 화면(500)에 현재 선택된 엘리먼트(222)의 내용이 표시(510)되며, 검색어는 kipris의 검색어 또는 프로그램 코딩 방식을 참조하고, 검색 결과를 출력하는 OUTPUT FIELD A1~A999(540)은 도 3 프로그램 메인 화면(100)의 메뉴(130)의 "PROJECT" 메뉴 항목을 선택하여 프로젝트를 설정 할때 대부분의 정보 처리 자동화 프로그램들과 같이 프로젝트명, INPUT/OUTPUT 화일 사용 여부 및 화일 명과 화일 타입, 자동 검색 종료 시간, 검색 간격 및 메시지 통보 연락처 등을 설정하며 Excel 화일의 경우는 대부분 Cell을 사용하고 Word Table이나 TEXT 화일의 경우는 처음 부분에 Field 명을 사전 기재하여 사용하며, A1~A999는 Excel 화일 A Cell의 처음 1번 부터 1000개 이내 데이터를 저장한다는 의미이며, 검색 조건에서 상품 가격과 택배비를 합한 금액이 만원 이상 등의 설정 방법의 경우는 상기와 같이 상품 가격 엘리먼트 검색 조건 설정시 OUTPUT FIELD와 택배비 엘리먼트 검색 조건 설정시 OUTPUT FILE를 합하여 부/등호로 표시한다.

그러나 상품 등록일이 특정 일자 이후를 검색해야 할 경우는 일자가 표시된 형식에 맞춰 일자 계산을 하므로 특별히 일자(550)를 표시한다.

또한 도 5 외부 함수 사용(560)은 상기 간단한 조건식 이나 검색어로 원하는 엘리먼트를 선별할 수 없거나, 원하는 방식으로 네비게이션을 재현 할 수 없거나, 옵션을 선택하면 하위 옵션 선택이 필요한 옵션 선택 List 창이 펼쳐 지지 않거나, 특별한 자바 스크립트 실행이 재현되지 않는 등, 정보 처리 자동화 프로그램의 한계를 해결하기 위하여 정보 처리 자동화 프로그램 작성시 도 6과 같이 사전 외부 함수 명과 함수 명에 따른 파라메타를 정하여 외부 함수로 선언하고, 선언된 함수를 Objct 타입이나 DLL 타입으로 정상 리턴하도록 Dummy 함수를 만들어 링크하여 사용하다, 외부 함수가 설정(560)되면 해당 함수만을 새롭게 작성하여 링크시켜 사용하면 어플리케이션 프로그램 개발 당시 예상 못한 문제점을 프로그램 전체 수정없이 보완 할 수 있으며 구조체 포멧을 사용하면 외부 함수 작성에 편리하다.

또한 도 5의 형제 선택(520)은 처음 선택된 엘리먼트(222)와 동등한 형제 앨리먼트 (223) 전부 검색이 필요한 경우 모든 엘리먼트를 하나씩 전부 선택하는 것은 비 현실적이며 형제 엘리먼트의 갯수와 내용이 고정적이지 않으므로, 본 발명에서는 HTML 문서 구조가 부모 엘리먼트를 상위로 체인 형태를 갖는 거꾸로 된 Tree 형태로 가상하여 처음 선택한 엘리먼트(222)의 형제 엘리먼트(223)을 선택하면 새로 선택한 엘리먼트가 표시(520)되고, 상기 거꾸로된 Tree 구조에서 처음 선택한 엘리먼트(222)와 형제 엘리먼트(223)가 각각 상위의 부모 엘리먼트를 연속적으로 검색하여 동일한 부모 엘리먼트가 검색되면 형제 엘리먼트는 동일한 부모 엘리먼트가 검색된 이하의 자식 엘리먼트를 반복 순환 검색하면 HTML 하나의 Page내 모든 엘리먼트 검색이 가능하며, 정보가 여러 페이지에 걸쳐 있는 경우는 Page 선택(530)과 기존 페이지의 형제 페이지 엘리먼트(224)를 선택, 상기와 동일한 방식으로 모든 Page의 엘리먼트를 반복 순환 처리한다.

상기와 같이 다이얼로그 내에서 Interactive한 조작을 위하여는 다이얼로그를 Thread로 처리하는 방안 등의 고려가 필요하며, 본 발명에서의 엘리먼트 정보는 HTML 원시 문서내 기본 구성 요소 만을 의미하지 않고, 네비게이션 Document 자동 실행 작업 과정에서 선택된 엘리먼트를 특정 할 수있는 상위 단계들의 부모와 형제 엘리먼트 정보들에서 ID(121), Source Index, Class, Tag(122), Title, Text, Value, Src, Href 등과 엘리먼트 선택 또는 Event 발생시의 엘리먼트 영역과 마우스 좌표 정보와, HTML 문서 정보의 스크롤 오프셋 등과, 상기 엘리먼트 검색 설정 정보와 형제 Page 정보 등을 포함하는 정보(S412)를 구조체 포멧으로 만들어 엘리먼트 정보 관련 함수가 동일한 Layout을 사용하고 엘리먼트가 속한 HTML 문서 정보 참조가 가능하다.

(3-4) 미디어 설정(S316)

본 발명에서 미디어 설정은 이미지 설정과 오디오 설정의 2 종류가 있다.

(3-4-1) 이미지 설정

상기 엘리먼트 설정(3-3)에서의 설명과 같이 펑션 키 또는 컨트롤 키와 마우스 버튼 클릭을 사용하거나 프로그램 PopUp 메뉴(400)의 "미디어 설정" 메뉴 항목(420)을 선택하면 도 7과 같이 사용자가 선택한 엘리먼트(225)의 Tag(124), ID(125), Type(126) 및 Src(127) 정보가 표시되며, AUDIO/IMAGE 설정/등록 화면(600)에도 Src의 내용이 표시(610)되는데 이미지의 경우는 이미지 자원이 있는 위치 정보(URI)이며 ActiveX 등으로 별도 이미지를 랜더링하는 이외에는 Src 정보가 있으며, 대부분의 경우 Src 정보를 이용 프로그램내 별도의 통신으로 이미지를 다운로드 받는 것이 가능하며, 만약 보안 문제로 다운로드가 어려운 경우는 브라우저 화면에 나타난 이미지를 이미지 캡쳐와 같은 방식으로 화일로 저장 가능하며, Src 정보를 변경하여 원시 HTML의 이미지를 다른 이미지로 변경이 가능하나, URI를 서버가 아닌 Local PC의 이미지 화일을 지정하는 경우는 최근 보안 상의 이유로 웹 브라우저가 지원하지 않는 경우가 있다.

만약 Local PC의 이미지를 지정하여 표시하려는 경우는 도 7의 화면에 표시된 이미지(225)와 같이 선택된 엘리먼트를 이미지 선택(620)으로 설정하는 단계에서 INPUT FIELD를 선택(630)하여 FIELD 이름을 입력(640)하는데 (3-3) 엘리먼트 설정에서의 설명과 같이, 프로젝트 설정에서 INPUT 화일을 사용으로 설정하고, 입력한 FIELD 이름이 프로젝트에서 설정한 INPUT 화일에 있으면 INPUT 화일 해당 FIELD에 등록된 이름이 Local PC 이미지 화일 이름이거나 서버의 URI이며, INPUT 화일이 설정 않된 경우와 동일한 FIELD 이름이 없는 경우는 INPUT FIELD에 입력 이름은 프로젝트 설정 폴더 내의 이미지 화일 이름이다.

또한 OUTPUT FIELD를 선택하고 이름을 입력하면 상기 INPUT FIELD 이름과 동일한 방식으로 이름이 지정되고, 일련 번호가 있는 동일한 이름을 지정 할때는 화일이름1 ~ 화일이름99의 방식을 사용하여 상기 이미지 다운로드 또는 이미지 캡쳐 설명 방식으로 이미지 화일을 저장하며, 이미지 설정 단계에서는 선택 엘리먼트 영역 정보를 화면에 표시하거나 선택 엘리먼트(225)를 Shield 화면 없이 마우스 우 클릭하여 IE가 제공하는 PopUp 메뉴의 속성에서 이미지의 가로 세로 크기 확인이 가능하다.

다음은 표시를 원하는 이미지를 작성하는 단계로 반드시 이미지 엘리먼트의 영역 크기와 동일하거나 가로 세로 비율이 동일 할 필요는 없으나 왜곡 없는 이미지를 위하여 동 비율이 바람직하며, 작성된 이미지를 설정에서 INPUT FIELD에 입력한 이름에 프로그램에서 사전 지정된 이미지 화일 타입 또는 JPG, PNG 등 이미지 화일 타입을 붙여 지정된 폴더에 저장하는 단계를 마치면, 프로그램은 네비게이션 Document에서 이미지 표시 설정 정보를 찾는 단계와, 상기 이미지 설정 엘리먼트 영역에 맞는 투명도 0%의 Layered Window 등과 같은 불투명한 화면을 생성하는 단계와, 이미지 표시를 위한 엘리먼트를 특정하는 단계와, Local PC에 저장된 이미지를 Load하여 상기 새로 생성된 불투명한 화면에 그리는 단계를, 사용하여 원하는 이미지를 IE에 표시하는 방법이 있다.

또한 상기 엘리먼트 이미지 설정 단계에서 OK 버튼으로 내비게이션 Document에 설정 정보를 등록하기 전에, MEDIA 검증(650)을 선택하면 도 7과 같이 원하는 이미지가 화면 표시(225) 됨을 확인 할 수 있으며, 새로운 이미지를 표시하려는 엘리먼트를 Shield 화면 상태에서 선택하고, 화일 선택 다이얼로그에서 원하는 이미지 화일을 선택하여 이미지를 표시함과 동시에 네비게이션 Document에 저장하는 방법도 가능하다.

(3-4-2) 오디오 설정

오디오 설정은 음악이나 연설 또는 영어 문장 등을 화일로 저장하기 위한 경우이며 상기 (3-4-1)이미지 설정의 설명과 같이 펑션 키 또는 컨트롤 키와 마우스 버튼 클릭을 사용하거나 프로그램 PopUp 메뉴(400)의 "미디어 설정" 메뉴 항목(420)을 선택하여 동일한 AUDIO/IMAGE 설정/등록 화면(600)을 사용하며, 사용자가 선택한 오디오 엘리먼트(226)의 경우 통상은 PlayList 정보를 갖고있어 프로그램내 별도의 통신으로 오디오 화일을 다운로드 가능하나, 도 8에서 선택된 엘리먼트(226)가 프로그램 메인 화면에 표시된 정보 내용 중 Href(129)와 Text(128) 정보를 보면 Java Script를 실행 한다는 것과 "예문 발음듣기"로, 인간의 인지 능력으로는 오디오 데이터를 처리하는 엘리먼트 라는 것을 파악 할수 있으나, 인터넷 정보 처리 자동화를 위하여 엘리먼트를 자동으로 분석해야하는 프로그램의 입장에서는 분석이 잘못되어, 네비게이션 Document 자동 실행 단계(S700)에서 오디오 데이터 대신 영어 문장 데이터를 수집하여 출력 할 가능성이 있으므로, 이런 경우 오디오 엘리면트 설정(660)하면 오디오 데이터 대신 문장 데이터를 수집하는 오류를 방지할 수 있다.

또한 상기 PlayList 정보를 통하여 오디오 화일을 다운로드 받을 경우는 빠르게 전송을 받을 수 있어 오디오 재생 전 화일 생성이 가능하나, 오디오 데이터의 암호화 전송이거나 ActiveX를 통하여 오디오 제생 방식을 변경하는 등 특별한 경우는, 모든 오디오 재생이 완료되어야 오디오 화일 생성이 가능한 단점은 있으나, 거의 모든 경우에 오디오 화일 생성이 가능한 LoopBack 녹음 방식을 사용한 오디오 화일 생성 방법을 설명한다.

오디오 엘리먼트를 선택하여 선택된 엘리먼트를 오디오 설정하는 단계와 오디오 화일을 지정하는 방식은 엘리먼트 이미지 설정과 비슷하여 자세한 설명은 생략하고, 오디오 설정 단계에서는 이미지 설정과 오디오 화일을 저장할 화일 이름을 입력하는 OUTPUT FIELD 입력(680)을 모든 오디오 재생이 끝난 후에 지정 가능하며 오디오 설정 단계에서 묵음 시간(670)은 LoopBack 방식이 스피커로 출력되는 오디오 데이터를 마이크 입력으로 LoopBack 시켜 마이크의 입력 세기를 PCM 방식으로 캡쳐하는 것으로 일정시간 입력 세기가 기준 세기 이하로 상기 설정된 묵음 시간이 경과하면 더이상 오디오 데이터가 없는 것으로 판단하여 오디오 화일을 생성하기 위한 용도로 만약 여러 절에 걸친 음악을 녹음하는 경우 절과 절사이의 묵음 시간이 9초 이상 10초 이내라면 10초를 설정한다.

이상과 같이 엘리먼트 오디오 설정이 끝나면 프로그램은 해당 엘리먼트의 영역 또는 마우스 좌표 정보에따라 마우스 클릭 또는 마우스 Down과 마우스 Up 메시지를 발생시켜 오디오를 재생하는 단계를 시행하고, 재생할 스피커를 선택하여 객체를 생성 활성화 하는 단계와, PCM Format으로 Sample Bit 수와 Sample Rate를 설정하고 초기화 하는 단계와, 스피커를 Capture 서비스 상태로 설정하는 단계와, 묵음 지속 시간 내의 PCM 데이터를 저장하는 단계와, 묵음 시간이 경과하면 스피커 객체를 해제하는 단계로 상기에서 스피커를 Capture 서비스 상태로 설정하는 단계 후에 오디오를 재생하는 단계도 가능하며, LAME 등에서 제공하는 라이브러리를 사용하거나 직접 변환 로직을 작성하여 PCM 데이터를 MP3 데이터로 변환하는 단계를 추가할 수 있다.

또한 오디오의 경우는 오디오 설정이 필요없이 Shield 화면 없는 상태에서 프로그램 제어에 의한 재생 대신, 재생되는 오디오 데이터를 저장 할 화일 명과 묵음 시간을 프로그램에 고정하거나 프로젝트 설정 과정에서 설정하여, 사용자가 오디오 관련 엘리먼트에 컨트롤 키와 마우스 왼쪽 버튼을 사용하여 오디오 재생을 유도하면 어플리케이션 프로그램은 지정된 컨트롤 키인 경우 오디오가 재생될 것을 예측하고, 오디오 데이터가 다운로드되어 재생되어 재생하는 과정에, 상기에 열거된 단계를 거쳐 사전 지정된 출력 화일 또는 재생 후 출력 화일을 지정하여 저장하며, MEDIA 검증(650)은 네비게이션 Document 생성 작업 중 정상적으로 오디오 화일 생성 여부를 검증한다.

(4) 네비게이션 Document 생성 저장 단계(S500)

네비게이션 Document 생성 저장 단계는 상기 IE 제어/조작 및 네비게이션 단계(S300)와 네비게이션 정보 수집 및 검색 설정 단계(S400)에서 필요한 인터넷 정보를 수집하거나 등록하기 위한 모든 엘리먼트를 선택하여 설정을 완료하면, 네비게이션 Document 자동 실행 단계(S700)에서 인터넷 정보를 반복적으로 자동 처리하기 위하여 상기 IE 제어/조작 및 네비게이션 단계와 네비게이션 정보 수집 및 검색 설정 단계에서 이미 수집된 정보를 저장하는 단계로 네비게이션이 발생한 순서의 HTML 문서 정보를 인덱스로하여 HTML 문서 정보별로 선택/조작 및 Event 발생과 검색 설정된 엘리먼트 순으로 수집되어 있는 정보가 구조체 포멧으로 규격화되어 정보가 없는 많은 부분을 압축하여 저장하는 단계이다.

(5) 네비게이션 Document LOAD 단계(S600)

상기 (2-1) 네비게이션 Document 생성 작업 판단에서의 설명과 같이 본 발명에 따른 인터넷 정보 처리 자동화는 네비게이션 Document를 생성하는 작업과 생성된 네비게이션 Document를 바탕으로 인터넷 정보 처리를 반복적으로 자동 실행하는 별도의 2개 작업으로 본 네비게이션 Document LOAD 단계는 네비게이션 Documnet 인터넷 정보 처리를 자동 실행하는 작업 중 3번째 단계로 상기 (4) 네비게이션 Document 생성 저장 단계에서 저장된 네비게이션 Document 화일을 읽어 압축된 화일이면 압축을 해제하여 네비게이션 Document 생성 저장 이전 상태로 메모리에 배치한다.

(6) 네비게이션 Document 자동 실행 단계(S700)

네비게이션 Document 자동 실행 단계는 어플리케이션 프로그램의 제어로 구동하는 IE에서 IE 제어/조작 네비게이션 단계(S300)와 네비게이션 정보 수집 및 검색 설정 단계(S400)에서 수집된 네비게이션 Document 정보의 HTML 문서 정보와 엘리먼트 정보 및 검색 조건 설정 정보 등을 참조하여 어플리케이션 프로그램이 사용자의 조작없이 직접 IE를 제어하여, 네비게이션 원인에 따라 HTML 문서 정보에 있는 URL로 네비게이션 제어하고, 키 입력 정보에따라 해당 엘리먼트를 HTML 내에서 특정하여 Value 값을 설정하고, 엘리먼트의 영역이나 마우스 입력 좌표 정보에 따라 IE의 화면 보기 비율과 HTML의 스크롤 위치를 맞추고 해당 엘리먼트에 클릭 실행 또는 HTML 화면에 마우스 다운/업 메시지를 보내어 IE가 자동 실행 되도록 제어하고, 검색 설정된 엘리먼트는 설정 정보와 검색어, 검색 조건에 따라 설정 저장된 정보와, 형제 정보 등의 유무에 따라 반복 순환 검색을 실시하며, 프로젝트 설정 등에서 지정한 검색 종료 시간 및 종료 조건까지 반복 자동으로 인터넷 정보를 처리하는 단계이다.

100 : 프로그렘 메인 화면
110 : HTML 기본 정보 표시부
120 : 선택 엘리먼트 정보 표시부
130 : 프로그램 메인 메뉴
200 : IE 웹 브라우저 화면
210 : 툴바 앞으로가기/뒤로 가기 버튼
220 : IE 클라이언트 영역인 HTML 화면
230 : IE 수직 스크롤바
300 : Shield 화면
400 : 프로그램 PopUp 메뉴
500 : 엘리먼트 검색 조건 설정 화면
600 : AUDIO/IMAGE 설정 화면

Claims

어플리케이션 프로그램 구동 단계(S100), 상기 어플리케이션 프로그램이 Internet Explorer 객체를 생성하고 화면 정보를 구하여 제어하는 단계, 상기 화면 정보로 HTML 화면 정보 및 HTML 객체를 구하여 제어하는 단계(S200), 상기 어플리케이션 프로그램 제어로 구동하는 Internet Explorer에서 사용자 선택으로 상기 어플리케이션 프로그램이 0 ~ 100% 투명도 조정이 가능하고 HTML 화면 상위에 위치 가능한 Layered Window와 같은 Shield 화면(300)을 생성하여 HTML 화면 상위에 위치시키는 단계, 사용자가 Shield 화면을 통하여 마우스 우측 버튼을 누르거나, 네비게이션을 발생시키는 엘리먼트를 클릭하면 상기 Shield 화면이 입력을 받아, IE의 PopUp 메뉴나 네비게이션 발생을 방지하는 방법
어플리케이션 프로그램 구동 단계(S100), 상기 어플리케이션 프로그램이 Internet Explorer 객체를 생성하고 화면 정보를 구하여 제어하는 단계, 상기 화면 정보로 HTML 화면 정보 및 HTML 객체를 구하여 제어하는 단계(S200), 상기 어플리케이션 프로그램 제어로 구동하는 Internet Explorer에서 사용자 선택으로 상기 어플리케이션 프로그램이 Shield 화면(300)을 생성하여 HTML 화면 상위에 위치시키는 단계, 사용자가 Shield 화면을 통하여 엘리먼트를 마우스로 선택하는 단계, 사용자가 엘리먼트를 선택한 Shield 화면 상의 마우스 좌표를 어플리케이션 프로그램이 HTML 화면 좌표로 변환하는 단계, HTML 화면 좌표를 이용하여 HTML 객체로부터 사용자가 선택한 엘리먼트의 객체를 구하는 단계, 상기 엘리먼트 객체로부터 엘리먼트 정보를 구하는 방법
어플리케이션 프로그램 구동 단계, 상기 어플리케이션 프로그램이 PC 화면 검색을 사용하여 실행 중인 Internet Explorer를 검색하는 단계, 검색된 Internet Explorer 중 하나의 화면 정보로 Internet Explorer 객체를 구하여 제어하는 단계, 어플리케이션 프로그램 제어로 구동하는 Internet Explorer에서 사용자 선택으로 어플리케이션 프로그램이 Shield 화면을 생성하여 HTML 화면 상위에 위치시키는 단계, 사용자가 엘리먼트를 선택한 Shield 화면 상의 마우스 좌표를 어플리케이션 프로그램이 HTML 화면 좌표로 변환하는 단계, HTML 화면 좌표를 이용하여 HTML 객체로부터 사용자가 선택한 엘리먼트의 객체를 구하는 단계, 상기 엘리먼트 객체로부터 엘리먼트 정보를 구하는 방법
청구항 2 또는 청구항 3에 있어서, 사용자가 Shield 화면을 통하여 마우스로 선택하여 구한 엘리먼트 객체의 Style 속성을 변경하여 글자 또는 배경 색상을 바꾸어 표시(221) 함으로써 사용자가 선택한 엘리먼트를 확인시키는 방법
청구항 2 또는 청구항 3의, 사용자가 선택한 엘리먼트의 정보로 상기 엘리먼트의 상위 단계들의 부모들 엘리먼트 정보를 구하는 단계, 상기 엘리먼트 정보와 부모들 엘리먼트 정보에서 스크래핑 등과 같은 웹 정보 수집 자동화 프로그램 작성에 필요한 정보들을 추출하는 단계, 추출된 엘리먼트들 정보를 Internet Explorer를 제어하는 어플리케이션 프로그램이 생성한 화면에 표시(120)하는 단계, 상기 표시된 내용의 일부를 선택하여 문자열 복사 방법으로 스크래핑 등을 작성하는 소스 코드에 반영하는 방법
청구항 2 또는 청구항 3의, 사용자가 선택한 엘리먼트의 정보와 청구항 5에서 구한 부모들 엘리먼트 정보를 소켓 통신 또는 공유 메모리 등 프로세스 간 통신 방법을 사용하여 스크래핑 등과 같은 웹 정보 수집 자동화 프로그램 작성에 필요한 메모리로 전송하여 프로그램 작성에 활용하는 방법
어플리케이션 프로그램 제어로 구동하는 Internet Explorer에서 사용자 선택으로 상기 어플리케이션 프로그램이 Shield 화면을 생성하여 HTML 화면 상위에 위치 시키는 단계, Shield 화면을 통하여 엘리먼트를 마우스로 선택하는 단계(222), 펑션 키 또는 마우스 우측 버튼으로 어플리케이션 프로그램의 PopUp 메뉴(400)를 발생시켜 엘리먼트 설정 항목(410)을 선택하여 엘리먼트 설정 화면(500)을 표시하는 단계, 상기 선택된 엘리먼트와 동등한 형제 엘리먼트를 선택하는 단계, 처음 선택한 엘리먼트와 나중 선택한 형제 엘리먼트 각각의 부모 엘리먼트를 반복 검색하여 동일한 부모 엘리먼트를 찾는 단계, 상기 동일한 부모 엘리먼트의 자식 엘리먼트들을 순환 반복 검색하여 원하는 형제 엘리먼트 정보 모두를 검색하는 방법
어플리케이션 프로그램 제어로 구동하는 Internet Explorer에서 사용자 선택으로 상기 어플리케이션 프로그램이 Shield 화면을 생성하여 HTML 화면 상위에 위치 시키는 단계, Shield 화면을 통하여 엘리먼트를 마우스로 선택하는 단계(222), 상기 선택된 엘리먼트와 동등한 형제 엘리먼트를 컨트롤 키와 함께 마우스 버튼으로 선택하는 단계, 처음 선택한 엘리먼트와 나중 선택한 형제 엘리먼트 각각의 부모 엘리먼트를 반복 검색하여 동일한 부모 엘리먼트를 찾는 단계, 상기 동일한 부모 엘리먼트의 자식 엘리먼트들을 순환 반복 검색하여 원하는 형제 엘리먼트 정보 모두를 검색하는 방법
네비게이션 Document 생성을 위한 정보 수집 단계에서 정보 처리 자동화 프로그램의 한계로 인한 오류 발생을 해결하기 위하여, 정보 처리 자동화 프로그램 작성시 사전 정의된 외부 함수를 선언하는 단계, 상기 선언된 외부 함수를 기능 수행없이 정상 복귀 되도록 Object 또는 DLL 방식으로 작성하는 단계, 어플리케이션 프로그램과 Link하여 어플리케이션 프로그램 제어로 Internet Explorer 구동 단계, 오류 발생 엘리먼트 검색 조건 설정(500) 단계, 외부 함수 타입을 선택하는 단계, 상기 검색 조건 설정된 엘리먼트의 오류 분석 단계, 오류 수정을 위하여 선택된 외부 함수 타입에 맞게 함수를 위한 소스 코드 작성 단계, Object 방식으로 작성된 외부 함수는 상기 어플리케이션 프로그램과 재 Link하는 단계를 더 포함하여 전체 프로그램 수정없이 보완하는 방법
어플리케이션 프로그램 제어로 구동하는 Internet Explorer에서 사용자 선택으로 상기 어플리케이션 프로그램이 Shield 화면을 생성해서 HTML 화면 상위에 위치 시키는 단계, HTML 화면 상의 이미지 엘리먼트를 선택하는 단계, 선택된 엘리먼트 이미지를 대체하기 위하여 사전 작성된 이미지 화일을 선택하는 단계, 상기 선택된 엘리먼트 영역에 맞는 Shield 화면 등과 같은 불투명한 화면을 생성하여 HTML 화면 상위에 위치 시키는 단계, 상기 선택된 이미지 화일을 불투명한 화면에 그리는 단계를 사용하여 원하는 이미지를 Internet Explorer 화면에 표시하는 방법
재생될 오디오 데이터를 저장 할 화일 명과 묵음 시간을 프로젝트 설정 등으로 사전 설정하는 단계, 어플리케이션 프로그램 제어로 구동하는 Internet Explorer에서 Shield 화면 없이 컨트롤 키와 함께 마우스 왼쪽 버튼으로 오디오 발생 엘리먼트를 클릭하여 오디오 재생을 유도하는 단계, 어플리케이션 프로그램이 오디오 재생을 예측하는 단계, 재생할 스피커를 선택하여 객체를 생성 활성화하는 단계, 스피커를 LoopBack PCM Format으로 Sample Bit 수와 Sample Rate를 설정하고 초기화하는 단계, 스피커를 Capture 서비스 상태로 설정하는 단계, 묵음 지속 시간 내의 PCM 데이터를 저장하는 단계를 사용하는 오디오 데이터 저장 방법
청구항 11에 있어서, PCM 데이터를 저장하는 단계 이전에 PCM 데이터를 MP3 데이터로 변환하는 단계와 변환된 MP3 화일을 저장하는 단계를 갖는 Internet Explorer에서 재생되는 오디오 데이터 저장 방법