KR20110036005A - 가상 터치패드 - Google Patents

가상 터치패드 Download PDF

Info

Publication number
KR20110036005A
KR20110036005A KR1020107028653A KR20107028653A KR20110036005A KR 20110036005 A KR20110036005 A KR 20110036005A KR 1020107028653 A KR1020107028653 A KR 1020107028653A KR 20107028653 A KR20107028653 A KR 20107028653A KR 20110036005 A KR20110036005 A KR 20110036005A
Authority
KR
South Korea
Prior art keywords
touches
touch screen
touch
display
packets
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
KR1020107028653A
Other languages
English (en)
Inventor
릭 던칸
톰 알핀
데이비드 페리
크리스 데바라즈
Original Assignee
마이크로소프트 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 코포레이션 filed Critical 마이크로소프트 코포레이션
Publication of KR20110036005A publication Critical patent/KR20110036005A/ko
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

여기에 설명되는 실시예들은, 가상 터치패드와 운영 체제의 그래픽 사용자 인터페이스를 동일한 디스플레이 상에 동시에 표시하는 것에 관한 것이다. 사용자는 가상 터치패드를 이용하여 OS와 상호작용할 수 있으며, 사용자 터치들은 터치패드에 할당된 디스플레이의 터치 스크린 부분에 의해 판독된다. 터치 입력 소프트웨어는 사용자 터치들로부터의 터치 패킷들을 디스플레이, 또는 디스플레이 중 OS를 표시하는 부분의 스크린 및 디스플레이 해상도에 관련된 데이터 패킷들로 변환한다. 제스처 인식 소프트웨어는 사용자가 터치들에 의해 어느 액션들을 의도했는지를 결정하기 위해, 변환된 패킷들에 규칙들을 적용한다. 그리고, 마우스 커서를 제어하는 애플리케이션이 마우스 액션들에 따라 마우스 커서를 조작한다.

Description

가상 터치패드{VIRTUAL TOUCHPAD}
마우스는 현재의 컴퓨팅 장치를 사용하는 많은 사람들이 쉽게 이해할 수 있는, 어디에나 있는 입력 도구이다. 수십년간, 마우스는 컴퓨터를 위한 가장 인기있는 입력 메커니즘 중 하나로 남아있었다. 사람들은 컴퓨팅 장치의 스크린 상의 마우스 커서를 빨리 알아차리고, 전형적으로 그것을 어떻게 사용할지를 안다. 모바일 전화기이든, 랩탑이든, 개인용 컴퓨터이든, 컴퓨터 태블릿이든 간에, 마우스 커서는 그래픽 사용자 인터페이스(GUI)와 상호작용하는 데에 있어서 매우 높은 인기를 유지하고 있다.
전통적인 마우스는 많은 상황들에서 성가시다. 마우스는 일반적으로 가로질러 미끄러지기 위한 평탄한 표면을 필요로 하는, 손에 맞는 별도의 장치를 필요로 한다. 랩탑이 점점 더 인기있어짐에 따라, 터치패드들은 실제의 컴퓨팅 장치 상으로 이동되었다. 이는 사용자가 컴퓨팅 장치와 상호작용하기 위해 별도의 입력 장치를 이용하지 않아도 되게 하지만, 터치패드는 컴퓨팅 장치 상의 공간을 필요로 하고, 특정한 크기 및 영역으로 제한된다. 최신의 터치패드들은 사용자가 손가락을 드래그하거나 스타일러스를 이용하기 위한 작은 공간만을 제공하여, 사용자가 훨씬 더 큰 크기의 디스플레이 상의 마우스 커서를 제어하는 것을 다소 어렵게 한다.
본 개요는 이하의 상세한 설명에서 더 설명되는 개념들 중 선택된 것들을 간략한 형태로 소개하기 위해 제공된 것이다. 본 개요는 청구되는 발명의 주제의 핵심적인 특징 또는 본질적인 특징을 식별하도록 의도된 것이 아니며, 청구되는 발명의 주제의 범위를 결정하는 데에 있어서 도움으로서 사용되도록 의도된 것도 아니다.
본 발명의 한 양태는, 가상 터치패드와 OS의 GUI를 동일한 디스플레이 상에 동시에 표시하는 것에 관한 것이다. 사용자는 디스플레이의 터치 스크린 부분에 구현된 가상 터치패드를 이용하여 OS와 상호작용할 수 있다. 사용자 터치들은 터치 스크린 부분에 의해 판독되고, 디지타이저에 의해 디지타이즈된다. 터치 입력 소프트웨어는 사용자 터치들로부터의 터치 패킷들을 디스플레이, 또는 디스플레이 중 OS를 표시하는 부분의 스크린 및 디스플레이 해상도에 관련된 데이터 패킷들로 변환한다. 제스처 인식 소프트웨어는 사용자가 터치들에 의해 어느 액션들을 의도했는지를 결정하기 위해, 변환된 패킷들에 규칙들을 적용한다. 마지막으로, 마우스 커서를 제어하는 애플리케이션이 마우스 액션들에 따라 마우스 커서를 조작한다.
본 발명의 다른 양태는 가상 입력 장치와 OS의 표현을 동시에 표시하는 단일 디스플레이 상의 GUI에 관한 것이다. 사용자는 가상 입력 장치를 이용하여 OS와 상호작용할 수 있다.
본 발명은 첨부된 도면들을 참조하여 이하에서 상세하게 설명된다.
도 1은 본 발명의 실시예를 구현하는 데에 이용할 예시적인 운영 환경의 블록도이다.
도 2는 본 발명의 실시예에 따른 터치 스크린 장치 상의 예시적인 GUI를 도시한 도면이다.
도 3은 본 발명의 실시예에 따라 가상 터치패드를 표시하도록 구성된 터치 스크린 장치의 개략도이다.
도 4는 본 발명의 실시예에 따라 가상 터치패드를 표시하고 관리하는 단계들을 설명하는 흐름도의 도면이다.
여기에 설명되는 발명의 주제는 법정 요건을 만족시키기 위해 구체성을 가지고서 제시된다. 그러나, 여기에서의 설명은 본 특허의 범위를 제한하도록 의도된 것이 아니다. 오히려, 청구되는 발명의 주제는 본 문서에 설명된 것들과 유사한 단계들의 조합 또는 상이한 단계들을, 현재 또는 미래의 다른 기술과 함께 포함하도록, 다른 방식들로도 구현될 수 있을 것으로 예상된다. 또한, "블록"이라는 용어는 이용되는 방법들의 상이한 구성요소들을 함축하기 위해 여기에서 이용될 수 있지만, 이 용어는 여기에 개시된 다양한 단계들 간에 어떠한 특정한 순서를 암시하는 것으로서 해석되어서는 안 된다.
여기에 설명된 실시예들은 터치 스크린 상에 표시되는 가상 터치패드에 관한 것이다. 가상 터치패드를 사용하여, 사용자는 컴퓨팅 장치의 스크린 상의 마우스 커서를 제어할 수 있다. 가상 터치패드와의 상호작용은 제스처 인식 소프트웨어에 의해 캡처되어 마우스 액션들로 번역(translate)되는 터치 스크린 입력 신호들을 생성한다. OS는 마우스 신호들을, 그들이 마치 전통적인 마우스 또는 터치패드로부터 수신된 것처럼 해석하므로, 터치패드의 가상 표현을 통해 터치패드의 기능성을 제공한다.
여기에서는 가상 터치패드가 설명되지만, 실시예들은 그에 제한되지 않는다. 대신에, 실시예들은 다른 입력 장치들의 가상 렌디션(rendition)을 완전히 고려한다. 예를 들어, 가상 스크롤 볼, 가상 스크롤 휠, 가상 마우스 너브(nub), 또는 장치의 다른 가상 렌디션들이 일부 실시예들에서 표현될 수 있다. 명확함을 위하여, 이하에서는 가상 터치패드만이 설명된다.
여기에 설명된 실시예들이 가상 터치패드로 마우스 커서를 제어하는 것을 언급하지만, 실시예들은 다른 터치 스크린 기능들과도 결합될 수 있다. 구체적으로, 가상 터치패드가 디스플레이되어, 마우스 커서를 제어하기 위한 도구를 제공하는 한편, 컴퓨팅 스크린의 나머지도 터치를 감지할 수 있다. 예를 들어, 사용자들은 (아래에 설명되는) 디스플레이의 터치 스크린 부분들 내의 가상 터치패드를 이용하여 마우스 커서를 제어하거나, (역시 아래에 설명되는) 디스플레이의 시스템 부분에 표시된 커서를 직접 터치함으로써 마우스 커서를 제어할 수 있다.
여기에 설명되는 실시예들의 일반적인 개요가 간략히 설명되었고, 이하에서는 예시적인 컴퓨팅 장치가 설명된다. 먼저, 구체적으로 도 1을 참조하면, 본 발명을 구현하기 위한 예시적인 운영 환경이 도시되어 있고, 개괄적으로 컴퓨팅 장치(100)로 지정되어 있다. 컴퓨팅 장치(100)는 적합한 컴퓨팅 환경의 일례일 뿐이며, 본 발명의 용도 또는 기능성의 범위에 관해 어떠한 제한을 제안하도록 의도된 것이 아니다. 또한, 컴퓨팅 장치(100)가, 설명되는 컴포넌트들 중 임의의 것 또는 그들의 조합에 관한 어떠한 종속성이나 요구조건을 갖는 것으로서 해석되어서도 안 된다. 일 실시예에서, 컴퓨팅 장치(100)는 전통적인 컴퓨터(예를 들어, 개인용 컴퓨터 또는 랩탑)이다.
본 발명의 일 실시예는 컴퓨터 또는 다른 머신에 의해 실행되는 프로그램 모듈과 같은 컴퓨터 실행가능 명령어를 포함하는 컴퓨터 코드 또는 머신-사용가능 명령어들의 일반적인 맥락에서 설명될 수 있다. 일반적으로, 루틴, 프로그램, 개체, 컴포넌트, 데이터 구조 등을 포함하는 프로그램 모듈은 특정한 태스크를 수행하거나 특정한 추상 데이터 유형을 구현하는 코드를 언급한다. 여기에 설명된 실시예들은 핸드핼드형 장치, 소비자 가전장치, 범용 컴퓨터, 보다 전문적인 컴퓨팅 장치 등을 포함하는 다양한 시스템 구성에서 실시될 수 있다. 여기에 설명된 실시예들은 또한 통신 네트워크를 통해 연결된 원격 처리 장치들에 의해 태스크들이 수행되는 분산 컴퓨팅 환경에서도 실시될 수 있다.
계속하여 도 1을 참조하면, 컴퓨팅 장치(100)는 다음의 장치들: 메모리(112), 하나 이상의 프로세서(114), 하나 이상의 프레젠테이션 컴포넌트(116), 입력/출력 포트(118), 입력/출력 컴포넌트(120), 및 예시적인 전력 공급장치(122)를 직접 또는 간접적으로 연결하는 버스(110)를 포함한다. 버스(110)는 (어드레스 버스, 데이터 버스 또는 그들의 조합과 같이) 하나 이상의 버스인 것을 나타낸다. 도 1의 다양한 블록들은 명확함을 위하여 선으로 도시되지만, 실제에서 다양한 컴포넌트들을 구별하는 것은 그렇게 명확하지 않으며, 은유적으로, 그 선들은 더 정확하게는 회색이고 흐릿할 것이다. 예를 들어, 디스플레이 장치와 같은 프레젠테이션 컴포넌트를 I/O 컴포넌트로 생각할 수 있다. 또한, 프로세서들은 메모리를 갖는다. 본 기술분야의 지식을 가진 자라면, 본 기술분야의 특성이 그러하며, 앞에서 언급된 바와 같이, 도 1의 도면은 본 발명의 하나 이상의 실시예와 함께 사용될 수 있는 예시적인 컴퓨팅 장치의 예시에 지나지 않음을 이해할 것이다. "워크스테이션", "서버", "랩탑", "핸드핼드형 장치" 등은 모두 도 1의 범위 내에 드는 것으로 생각되고 "컴퓨팅 장치"로 참조되므로, 그러한 범주들 간의 구별은 이루어지지 않는다.
전형적으로, 컴퓨팅 장치(100)는 다양한 컴퓨터 판독가능 매체를 포함한다. 제한이 아닌 예를 들면, 컴퓨터 판독가능 매체는 RAM; ROM; EEPROM; 플래시 메모리 또는 기타 메모리 기술; CDROM, DVD 또는 기타 광학 또는 홀로그래픽 매체; 자기 카세트, 자기 테이프, 자기 디스크 저장장치 또는 기타 자기 저장 장치, 또는 여기에 설명되는 실시예들에 관련된 데이터 및/또는 명령어들을 저장하도록 구성될 수 있는 유사한 유형의(tangible) 매체를 포함할 수 있다.
메모리(112)는 휘발성 및/또는 비휘발성 메모리의 형태로 된 컴퓨터 저장 매체를 포함한다. 메모리는 이동식, 비이동식 또는 그들의 조합일 수 있다. 예시적인 하드웨어 장치는 고상 메모리, 하드 드라이브, 캐시, 광 디스크 드라이브 등을 포함한다. 컴퓨팅 장치(100)는 메모리(112) 또는 I/O 컴포넌트(120)와 같은 다양한 엔터티들로부터 데이터를 판독하는 하나 이상의 프로세서를 포함한다. 프레젠테이션 컴포넌트(들)(116)는 사용자 또는 다른 장치에 데이터 표시를 제공한다. 예시적인 프레젠테이션 컴포넌트는 디스플레이 장치, 스피커, 프린팅 컴포넌트, 진동 컴포넌트 등을 포함한다.
I/O 포트(118)는 컴퓨팅 장치(100)가 I/O 컴포넌트(120)를 포함하는 기타 장치들에 논리적으로 연결될 수 있게 하는데, 그러한 기타 장치들 중 일부는 내장되어 있을 수 있다. 예시적인 컴포넌트는 마이크로폰, 조이스틱, 게임 패드, 위성 안테나, 스캐너, 프린터, 무선 장치 등을 포함한다.
컴퓨팅 장치(100)에 관련하여 위에서 설명된 컴포넌트들은 모바일 장치 내에도 포함될 수 있다. 여기에서 설명될 때의 모바일 장치는, 모바일 전화기, 핸드핼드형 장치, PDA(personal digital assistant), BlackBerry®, 스마트폰, 디지털 카메라, 또는 무선으로 통신할 수 있는 (랩탑 이외의) 기타 모바일 장치들을 칭한다. 본 기술분야에 지식을 가진 자는 모바일 장치들이 다양한 기능들을 수행하기 위한 프로세서 및 컴퓨터 저장 매체를 포함할 것임을 알 것이다. 여기에 설명된 실시예들은 컴퓨팅 장치 및 모바일 장치 둘다를 언급한다. 실시예들에서, 컴퓨팅 장치들은 단순히 그것의 이미지들이 모바일 장치 내의 카메라에 의해 캡처되는 애플리케이션들을 실행하는 장치들을 언급한다.
컴퓨팅 장치(100)는 터치 스크린을 포함하는데, 본 기술분야에 지식을 가진 자라면, 터치 스크린이 디스플레이 영역 내의 터치들의 위치를 검출할 수 있는 디스플레이임을 알 것이다. 일부 실시예들은, 디스플레이 중 터치 스크린 입력(여기에서 "터치"라고 칭함)을 수신하도록 할당된 부분들을 갖는 단일 디스플레이를 포함할 수 있다. 다른 실시예들에서는, 전체 디스플레이 영역이 사용자로부터, 예를 들어 손가락이나 스타일러스로부터 터치들을 수신할 수 있다. 터치 스크린들은 예를 들어, 액정 디스플레이(LCD), 발광 다이오드(LED), 유기 LED(OLED) 등과 같은 전형적인 컴퓨팅 장치 스크린에, 저항성, 용량성, 적외선 또는 유사한 패널들을 추가함으로써 구현될 수 있다. 터치 스크린들은 대안적으로 스트레인 게이지(strain gauge) 구성 또는 광학적 이미징, 분산 신호(dispersive signal), 표면 음향파, 또는 터치를 캡처하기 위한 기타 기술을 포함할 수 있다. 본 기술분야에 지식을 가진 자들은 터치들을 캡처하기 위하여 다수의 다른 패널들 또는 기술들이 이용될 수 있음을 이해할 것이므로, 상기의 목록들은 모든 것을 빠짐없이 나열하지는 않았다.
도 2는 본 발명의 실시예에 따른 터치 스크린 장치 상의 예시적인 GUI(200)를 도시한 도면이다. GUI(200)는 2개의 디스플레이 부분, 즉 시스템 부분(202) 및 터치 스크린 부분(204)을 포함한다. 구체적으로, 시스템 부분(202)은 Microsoft Windows®와 같은 OS의 GUI를 표시한다. 터치 스크린 부분(204) 내의 터치들은 시스템 부분(202) 내의 마우스 커서(206)에 대한 액션들로 번역된다. 일 실시예에서, 시스템 부분(202) 및 터치 스크린 부분(204) 둘다를 포함하는 전체 스크린은, 시스템 부분(202) 내의 터치들은 무시하고 터치 스크린 부분(204) 내의 터치들을 처리하도록 구성된 터치 스크린 내에 포함될 수 있다.
대안적인 실시예에서, 시스템 부분(202) 내의 터치들은 무시되지 않고, 오히려 터치들은 처리되어, 사용자가 마우스 커서를 직접 조작하는 것을 허용한다. 예를 들어, 사용자는 시스템 부분 내의 마우스 커서를 터치하고, 마우스 커서를 터치하고 있는 손가락을 시스템 부분(204) 내의 어디로든 미끄러뜨릴 수 있다. 이에 의해, 손가락이 들어올려질 때까지, 마우스는 손가락을 따라올 것이다. 그러므로, 이 실시예는 터치 스크린 부분(204) 내의 터치들에 더하여, 시스템 부분(202) 내의 터치들도 직접 처리할 것이다.
시스템 부분(202)은 마우스 또는 다른 입력 장치를 이용하여 상호작용할 수 있는 소프트웨어를 디스플레이한다. 일 실시예에서, 시스템 부분(202)은 Windows®, Windows Mobile®, MacOS, Linux 등과 같은 OS의 GUI를 표시한다. 마우스를 이용하여, 사용자는 웹 브라우저(214)와 같은 소프트웨어 애플리케이션들과 상호작용할 수 있다.
터치 스크린 부분(204)은 트랙패드(208), 왼쪽 버튼(210) 및 오른쪽 버튼(212)을 포함한다. 트랙패드(208)는 터치패드의 평범한 트랙패드 부분을 표현하며, 사용자가 동일한 방식으로 트랙패드(208)를 다룰 수 있게 해 준다. 트랙패드(208)를 이용하여, 사용자는 손가락 또는 스타일러스를 임의의 특정한 방향(206)으로 미끄러뜨림으로써, 마우스 커서를 그 방향으로 이동시킬 수 있다. 또한, 더 복잡한 터치들(예를 들어, 드래그, 드롭, 호버링, 멀티터치 등)도 트랙패드 및/또는 버튼을 특정하게 터치함으로써 인식될(registered) 수 있다. 예를 들어, 사용자는 스크롤 다운을 나타내기 위해, 트랙패드(208)의 가장 왼쪽 부분에서 손가락을 아래쪽으로 미끄러뜨릴 수 있다. 다르게는, 사용자는 왼쪽 마우스 버튼의 클릭을 나타내기 위해, 터치패드(208)를 2번 연속으로 두드릴 수 있다. 또한, 왼쪽 버튼(210) 및 오른쪽 버튼(212)의 터치들은 각각 왼쪽 및 오른쪽 버튼 마우스 클릭을 표시한다. 다른 터치들도 가능하며, 본 기술분야에 지식을 가진 자라면 분명히 알 것이다. 또한, 다른 입력 장치들(예를 들어, 트랙볼, 스크롤 휠 등)은 여기에 설명되는 제스처 소프트웨어에 의해 쉽게 처리될 수 있는 상이한 액션들을 대안적으로 이용할 수 있다.
실시예들은 도 2에 도시된 구성으로 제한되지 않는다. 예를 들어, 추가의 버튼들이 디스플레이될 수 있거나, 터치 스크린 부분이 GUI(200)의 다른 부분에 배치될 수 있다. 또한, 터치 스크린 부분(204)은 개별 섹션들로 분리될 수 있으며, 상이한 섹션들이 GUI(200)의 개별 부분들을 점유할 수 있다.
일부 실시예들에서, 터치 스크린 부분(204)과 시스템 부분(202) 사이의 선은 사용자 상호작용에 따라 제거될 수 있다. 위에서 설명된 것에 대안적인 실시예에서, 터치 스크린 부분(204)에서 발원하여 시스템 부분(202)으로 이어진 터치들은 전체로서 처리된다. 예를 들어, 이 실시예는 터치 스크린 부분(204)으로부터 시스템 부분(202)으로의 손가락의 드래그를 추적한다. 손가락이 터치 스크린 부분(204)의 외측 경계를 넘을 때 커서(206)의 이동을 중단하는 대신에, 커서(206)는 예를 들어 사용자가 드래그를 중단하는 것과 같은 특정한 이벤트까지, 손가락이 드래그되고 있는 방향으로 계속 간다. 즉, 그러한 실시예는 터치가 시스템 부분으로 들어갈 때, 터치들을 터치 스크린 부분(204)으로 한정하지 않을 것이다. 또한, 일 실시예에서, 터치 스크린 부분(204) 내에서 시작하여 그 밖으로 계속되는 임의의 터치는, 그 터치가 터치 스크린 부분(204) 내에 있는 것으로 다루어지게 한다.
도 3은 본 발명의 실시예에 따라 가상 터치패드를 표시하도록 구성된 터치 스크린 장치(300)의 개략도이다. 도 3은 일 실시예를 도시한 것에 지나지 않음에 유의해야 한다. 또한, 컴퓨팅 장치(100)의 다양한 컴포넌트들은 명확함을 위하여 도시되지 않는다. 실제로, 컴퓨팅 장치(100)는 여기에 참조되는 소프트웨어를 지원하기 위해 프로세서 및 컴퓨터 저장 매체를 포함한다. 사실, 터치 패킷(318), 마우스 메시지(320), 또는 마우스 액션(322)은 일부 실시예들에서 신속한 검색을 위해 캐싱될 수 있다.
터치 스크린 장치(300)는 여기에 설명된 하드웨어 및 소프트웨어 중 임의의 것을 포함할 수 있는 컴퓨팅 장치이다. 터치 스크린 장치(300)는 디스플레이(302), 디지타이저(308), 터치 입력 소프트웨어(310), 제스처 소프트웨어(312) 및 GUI 제어 애플리케이션(314)을 포함한다. 일 실시예에서, 터치 스크린 부분(306)은 사용자의 재량에 따라 디스플레이된다. 사용자는 터치 스크린 부분(306)을 보기 위해 하드 또는 소프트키를 선택할 수 있다. 그것이 보여지지 않는 경우, 디스플레이 영역(302)은 시스템 부분(304)만으로 구성된다. 다른 실시예들은 도 2에 도시되지 않은 추가의 소프트웨어 및 하드웨어를 포함할 수 있다.
디스플레이(302)는 터치 스크린 능력을 갖는 단일의 프레젠테이션 스크린이다. 일 실시예에서, 컴퓨팅 장치(100) 상의 소프트웨어는 디스플레이(302) 상에 2개의 상이한 GUI 부분들을 동시에 표시한다. 이러한 부분들은 도 2에 도시되어 있으며, 위에서 시스템 부분(304) 및 터치 스크린 부분(302)으로서 참조된다. 시스템 부분(304)은 운영 체제(OS)의 상호작용 프레젠테이션을 디스플레이하고, 그에 의해 소프트웨어 애플리케이션들로의 액세스를 제공한다. 예를 들어, 시스템 부분(304)은 디스플레이(302) 중 Microsoft Windows®, Windows Mobile®, Linux, MacOS 등의 버전을 디스플레이하는 부분으로 생각될 수 있다. 시스템 부분(304) 내에서, 사용자는 마우스 커서를 조작함으로써 소프트웨어 애플리케이션들과 상호작용할 수 있다. 또한, 터치 스크린 부분(306)은 사용자가 마우스 커서를 제어하기 위해 사용할 수 있는 가상 터치패드를 디스플레이한다. 가상 터치패드는 (예를 들어, 손가락 또는 스타일러스를 이용하는) 사용자로부터 터치들(316)을 수신하고, 그 터치들(316)을 시스템 부분(304) 내의 마우스 커서를 이동시키기 위한 커맨드들로 번역한다. 간단히 말하면, 사용자는 터치 스크린 부분(306) 내의 터치패드를 터치하여, 시스템 부분(304) 내의 마우스 커서를 제어한다.
사용자는 터치 스크린 부분(306) 상에 다양한 터치들(316)을 입력할 수 있다. 예를 들어, 사용자는 손가락을 터치 스크린 부분(306)을 가로질러 한 방향으로 드래그하여, 커서에게 그 방향으로 이동할 것을 명령할 수 있다. 오른쪽, 왼쪽, 중간 또는 다른 버튼들을 손가락이나 스타일러스로 두드려서, 버튼들 중 하나를 누르는 것을 나타낼 수 있다. 또한, 이러한 버튼들은 "점착성(sticky)" 특징을 가질 수 있어서, 그에 의해, 액션(예를 들어, 다운 드래그 바로 뒤에 오는 버튼 다운 커맨드)은 해제 액션(예를 들어, 버튼 다운의 1회의 두드림(single tap))이 인식될 때까지 버튼이 눌려진 상태로 유지되게 할 수 있다. 물론, 다양한 다른 터치들(316)이 터치 스크린 부분(306)에 의해 수신될 수 있다.
터치 스크린 부분(306)에 의해 수신되는 터치들(316)은 디지타이저(308)를 통해 퍼넬링된다(funneled). 일 실시예에서, 디지타이저(308)는 터치 스크린 부분(306)에 의해 수신되는 터치들(316)을 검출하고, 터치들(316)을 그들의 디지털 등가물로 변환하는 터치 스크린 드라이버를 포함한다. 제한이 아닌 예를 들면, 디지타이저(308)는 터치들(316)로 인해 발생한 전류, 전압, 저항, 용량 또는 적외선광의 변화를 검출하도록 구성될 수 있다. 디지타이저(308)는 변화들을 터치 패킷들(318)로 변환한다.
터치 패킷들(318)(흔하게는 "펜 및 터치 패킷들"이라고 칭해짐)은 x/y 좌표, 압력, 크기, 방향 등과 같이, 터치들(316)에 관련된 다양한 정보도 포함한다. 또한, 패킷들은 터치 스크린 부분(306)의 치수(예를 들어, 2인치×2인치, 200 픽셀 등)과 같이, 디스플레이(302)의 터치 스크린 기능에 관련된 정보를 포함할 수 있다.
터치 입력 소프트웨어(310)는 터치 패킷들(318)을 스크린 부분(304)에 맞도록 변환한다. 그렇게 하기 위해, 터치 입력 소프트웨어(310)는 터치 패킷들(318) 내에 제공된 정보를 시스템 부분(304) 상의 그들의 등가물로 번역한다. 터치 입력 소프트웨어(310)는 Microsoft Windows®의 WISPTIS와 같은 임의의 유형의 쉘 프로그램을 포함할 수 있다. 동작 시, 터치 입력 소프트웨어(310)는 터치 패킷들(318) 내의 정보를 취하여, 그들을 디스플레이(302)의 스크린 크기, 해상도 또는 픽셀수에 맞도록 변환한다.
동작 시에, 터치 입력 소프트웨어(310)는 터치 패킷들(318) 내의 정보를, 터치 스크린 부분(306)의 디스플레이 크기 또는 해상도로부터 디스플레이(302)의 기저의 스크린(underlying screen)에 관련된 스크린 크기 및 해상도로 변환한다. 예를 들어, 터치 스크린 부분(306)은 2인치 폭×2인치 길이일 수 있고, 디스플레이(302)는 10인치 폭×10인치 길이일 수 있다. 터치 패킷들(318)을 변환하기 위해, 일 실시예에서, 터치 입력 소프트웨어(310)는 손가락이 터치 스크린 부분(306) 상에서 이동한 거리에 계수 5를 곱한다. 또한, 터치의 속도도 마우스 커서를 이동시키기 위한 속도를 나타내도록 번역될 수 있다.
디스플레이(302)의 터치 스크린 능력은 디스플레이(302)의 해상도보다 더 정밀할 수 있다. 예를 들어, 디스플레이(302)는 200라인의 픽셀을 조명할 수 있는 컴퓨터 스크린과, 10000라인 이상의 검출가능한 공간을 갖는 터치 스크린 레이어(예를 들여, 용량성, 저항성, 적외선)를 포함할 수 있다. 본 예에서, 디지타이저(308)에 의한 검출은 시스템 부분(304)에서의 그들의 디스플레이 등가물로 번역될 수 있고, 그에 의해 터치들(316)이 시스템 부분(304)에서 렌더링되는 것을 허용한다.
터치 패킷들(318)이 디스플레이 상에서의, 또는 시스템 부분(304)의 디스플레이 영역 내에서의 표시를 위해 터치 입력 소프트웨어(310)에 의해 변환되고 나면, 변환된 패킷들(320)은 어떤 액션들이 터치들(316)에 의해 지정되었는지를 결정하기 위해 제스처 소프트웨어(312)에 넣어진다. 일 실시예에서, 제스처 소프트웨어(312)는, 다양한 규칙에 기초하여 마우스 액션들(322)이 결정되는 상태 머신을 구현한다. 제스처 소프트웨어(312)에 의해 구현되는 규칙들은 마우스 액션에 관련된 임의의 조건을 포함할 수 있다. 예를 들어, 변환된 패킷들(320)이 특정한 속도로의 특정한 방향으로의 검출된 이동을 나타낼 때, 제스처 소프트웨어(312)는 마우스가 그 방향으로 그 속도로 이동하는 것으로 기대된다고 결정하고, 그에 따라 마우스 패킷(322)이 생성된다. 규칙들은 호버링, 드래그, 멀티터치 등과 같은 거의 모든 유형의 마우스 액션에 대해 셋업될 수 있다.
마우스 액션들(322)은 터치들(316)의 선형 또는 비선형 번역일 수 있다. 선형 번역들은 터치 스크린 부분(306) 또는 디스플레이(302)의 디스플레이 영역에 비교한 터치 스크린 부분(306)의 스크린 크기의 차이를 설명(account)하는, 터치들(316)의 시스템 부분(304)으로의 직접 번역이다. 즉, 터치(316)의 속도는 시스템 부분(304) 상에서의 그것의 등가물로 번역된다. 비선형 번역은 시스템 부분으로 직접 번역되지 않는 터치를 칭하는데, 오히려 이러한 터치는 규칙에 기초하여 증폭되거나 다르게 조작된다. 예를 들어, 손가락이 터치 스크린 부분(306)을 가로질러 대어진(swiped) 속도는, 손가락이 특정한 시간 동안 동일한 방향으로 계속하여 이동하고 있는 경우에는 가속될 수 있다. 다르게는, 특정한 속도로 가상 너브를 대는 것은 마우스 커서가 이동되는 속도를 증폭할 수 있다. 규칙들은 선형 또는 비선형 이동을 책임지기 위해 제스처 소프트웨어(312) 내에 규정될 수 있다.
제스처 소프트웨어(312)를 위한 규칙들은 멀티터치 제스처를 책임질 수 있다. 예를 들어, 항목 드래그는 왼쪽 가상 마우스 버튼 상에 터치를 유지시키면서 가상 터치패드를 가로질러 손가락을 미끄러뜨리는 것에 의해 수행될 수 있다. 이러한 액션과 다른 멀티터치 액션들을 책임지기 위해, 규칙이 제스처 소프트웨어(312)에 의해 셋업 및 실행될 수 있다.
마우스 액션들(322)은 프레젠테이션을 위해 GUI 제어 애플리케이션(314)에 전달된다. GUI 제어 애플리케이션(314)은 마우스 액션들을 해석하고 마우스 커서로 그 액션들을 실행할 수 있는 쉘 프로그램이다. 동작시에, GUI 제어 애플리케이션(314)은 시스템 부분(304) 상에서 마우스 커서를 제어한다. 일 실시예에서, GUI 제어 애플리케이션(314)은 Windows® OS 내의 explorer.exe 애플리케이션 프로그램이다. 대안적인 실시예들은 다른 OS들에서의 마우스 커서들을 제어하기 위한 다른 애플리케이션 프로그램들을 포함할 수 있다.
일 실시예에서, 제스처 소프트웨어(306)는 시스템 부분(304) 내에서의 터치 패킷들(318)이 아니라, 터치 스크린 부분(306) 내에서의 터치 패킷들(318)을 처리하기 위한 규칙들을 포함한다. 따라서, 사용자가 터치패드의 경계를 넘어서 손가락을 드래그할 때, 터치 스크린 부분(306)을 넘어서는 터치 패킷들(318)은 처리되지 않고, 실제로 이것은 마우스의 이동을 중지시킨다. 그러나, 대안적인 실시예에서는, 터치 스크린 부분(306)으로부터 발원하여 시스템 부분(304)으로 연장하는 마우스 메시지들은 그 전체로서 처리된다. 이러한 실시예에서, 가상 패드 상에서 시작하여 OS의 디스플레이 내로 이동하는 터치는, 그 터치가 시스템 부분(304)의 밖에서 완료될 때까지 마우스 커서를 계속하여 이동시키는 마우스 액션들(322)을 생성할 것이다. 따라서, 전체 디스플레이(302)에서 지원되는 터치 스크린 속성들을 이용하여, 사용자는 반드시 가상 터치패드에 속박되지 않는다.
도 4는 본 발명의 실시예에 따라, 가상 터치패드 및 운영 체제의 GUI를 표시하고 관리하기 위한 단계들을 도시한 흐름도(400)의 도면이다. 초기에, 블록(402)에 나타낸 바와 같이, 단일의 터치 스크린 디스플레이가 가상 터치패드 및 운영 체제를 동시에 표시한다. 일 실시예에서는, 사용자가 가상 터치패드를 보기 위해 하드 또는 소프트 키를 선택할 때까지는, OS의 GUI만이 표시된다. 다른 실시예에서, 가상 터치패드는 어떠한 사용자 개입도 없이 표시된다.
블록(404)에 나타난 바와 같이, 사용자는 마우스 커서를 움직이는 것과 같이, OS와 상호작용하기 위해 가상 터치패드를 터치할 수 있다. 블록(406)에 나타난 바와 같이, 사용자로부터의 터치들은 터치 패킷들을 생성하는 디지타이저에 의해 판독된다. 터치 패킷들은 사용자로부터의 터치들의 디지털 표현이다. 터치 스크린은 소정의 정밀도로 터치들을 인식하고 다른 정밀도로 정보를 디스플레이할 수 있으므로, 블록(408)에 나타난 바와 같이, 터치 패킷들은 터치 스크린 디스플레이의 디스플레이 구성에 맞도록 변환된다. 예를 들어, 터치 패킷들은 터치 스크린 디스플레이의 특정한 스크린 크기 또는 해상도에 맞도록, 또는 가상 터치패드와 동시에 디스플레이되고 있는 시스템 부분에 맞도록 변환될 수 있다.
블록(410)에 나타난 바와 같이, 터치들에 의해 어떤 마우스 액션들이 의도되는지를 결정하기 위해 블록(410)에 나타난 바와 같이 규칙들이 변환된 패킷들에 적용된다. 이러한 규칙들은 마우스의 이동, 버튼 다운, 버튼 업, 드래그, 호버링, 멀티터치 등과 같이, 사용자가 가상 패드 상에 입력한 액션들을 포괄할 수 있다. 결정되고 나면, 마우스 액션들은 애플리케이션 프로그램(예를 들어, Windows®의 explorer.exe)에 공급되고, 그 애플리케이션 프로그램은 그에 따라 OS의 GUI를 조작한다.
발명의 주제가 구조적 특징들 및 방법론적 액트들에 특정한 언어로 설명되었지만, 첨부된 청구항들에 정의된 발명의 주제는 위에서 설명된 특정한 특징들 또는 액트들로 반드시 한정되지 않는다는 점을 이해해야 한다. 오히려, 위에서 설명된 특정한 특징들 및 액트들은 청구항들을 구현하는 예시적인 형태로서 개시된다. 예를 들어, 여기에 설명된 것과 다른 샘플링 레이트 및 샘플링 주기도 청구항들의 범위에 포함될 수 있다.

Claims (20)

  1. 가상 터치패드를 동시에 디스플레이하고 상기 가상 터치패드 상의 터치들에 기초하여 마우스 커서를 제어하는 방법을 수행하기 위한 컴퓨터 실행가능 명령어들이 구현되어 있는 하나 이상의 컴퓨터 판독가능 매체로서, 상기 방법은,
    터치 스크린 상에서, 시스템 부분과 터치 스크린 부분을 동시에 표시하는 단계(402);
    상기 시스템 부분에 운영 체제(OS)의 사용자 인터페이스(UI)를 제시하는 단계 - 상기 마우스 커서는 상기 OS의 일부로서 제시됨(202) -;
    상기 터치패드를 상기 터치 스크린 부분(208)에 제시하는 단계;
    상기 터치 스크린 부분 내에서의 터치들을 수신하는 단계(316);
    하나 이상의 규칙을 사용하여, 상기 터치들을 하나 이상의 마우스 액션으로 번역(translate)하는 단계(410); 및
    상기 마우스 액션들을 이용하여 상기 마우스 커서를 제어하는 단계(412)
    를 포함하는 하나 이상의 컴퓨터 판독가능 매체.
  2. 제1항에 있어서,
    상기 방법은, 상기 터치들에 디지타이저를 적용하여 상기 터치들을 터치 패킷들로 변환하는 단계를 더 포함하는 하나 이상의 컴퓨터 판독가능 매체.
  3. 제2항에 있어서,
    상기 터치 패킷들은 상기 터치들에 관련된 x/y 좌표, 방향 및 속도 중 적어도 하나의 표시를 포함하는 하나 이상의 컴퓨터 판독가능 매체.
  4. 제1항에 있어서,
    상기 방법은, 상기 터치 스크린 부분 내에 하나 이상의 가상 버튼을 제시하는 단계를 더 포함하는 하나 이상의 컴퓨터 판독가능 매체.
  5. 제1항에 있어서,
    상기 방법은, 상기 시스템 부분의 일부에서 터치들을 수신하는 단계를 더 포함하는 하나 이상의 컴퓨터 판독가능 매체.
  6. 제1항에 있어서,
    상기 방법은,
    상기 시스템 부분에서 제2 터치를 수신하는 단계; 및
    상기 제2 터치에 기초하여 상기 마우스 커서를 제어하는 단계
    를 더 포함하는 하나 이상의 컴퓨터 판독가능 매체.
  7. 제1항에 있어서,
    상기 하나 이상의 규칙은 상기 터치 스크린 부분의 밖으로부터 수신된 터치들의 부분들을 고려하지 않는 하나 이상의 컴퓨터 판독가능 매체.
  8. 제1항에 있어서,
    상기 하나 이상의 규칙은 상기 터치 스크린 부분의 밖으로부터 수신된 터치들이 상기 터치 스크린 부분 내에서 발원한 경우에는 상기 터치들의 부분들을 고려하는 하나 이상의 컴퓨터 판독가능 매체.
  9. 제1항에 있어서,
    상기 가상 터치패드는 사용자가 키를 누를 때만 제시되는 하나 이상의 컴퓨터 판독가능 매체.
  10. 제1항에 있어서,
    상기 터치 스크린은 멀티터치 터치들을 지원하는 하나 이상의 컴퓨터 판독가능 매체.
  11. 컴퓨터 판독가능 매체 상에 구현되고 컴퓨팅 장치 상에서 실행가능한 그래픽 사용자 인터페이스(GUI)로서,
    한 터치 스크린 디스플레이 상에 제시된 GUI는,
    사용자가 입력 장치를 이용하여 하나 이상의 소프트웨어 애플리케이션과 상호작용할 수 있는 대화형(interactive) 운영 체제(OS)를 디스플레이하도록 구성된 시스템 디스플레이 영역(202); 및
    상기 사용자가 상기 OS와 상호작용하는 것을 허용하는, 가상 입력 장치를 디스플레이하고 터치들을 수신하도록 구성된 터치 스크린 디스플레이 영역(204)
    을 포함하는 그래픽 사용자 인터페이스.
  12. 제11항에 있어서,
    상기 가상 입력 장치는 터치패드의 렌디션(rendition)인 그래픽 사용자 인터페이스.
  13. 제12항에 있어서,
    상기 가상 입력 장치는 하나 이상의 가상 버튼을 포함하는 그래픽 사용자 인터페이스.
  14. 제11항에 있어서,
    상기 가상 입력 장치는 트랙볼, 스크롤 휠, 너브(nub) 중 적어도 하나의 렌디션인 그래픽 사용자 인터페이스.
  15. 제11항에 있어서,
    상기 터치들은 상기 시스템 디스플레이 영역 내에서 마우스 커서를 제어하기 위해 이용되는 그래픽 사용자 인터페이스.
  16. 사용자가 운영 체제(OS)의 그래픽 사용자 인터페이스(GUI) 표현(representation)과 상호작용할 수 있도록 디스플레이 상에 가상 입력 장치를 제시하는 방법으로서,
    디스플레이 상에, 시스템 부분과 터치 스크린 부분을 동시에 제시하는 단계 - 상기 시스템 부분은 상기 OS의 상기 GUI를 제시하고, 상기 터치 스크린 부분은 상기 가상 입력 장치를 제시함(402) -;
    상기 가상 입력 장치 상에서 하나 이상의 터치를 수신하는 단계(316);
    상기 하나 이상의 터치를 x/y 방향을 나타내는 터치 패킷들로 번역하는 단계(406);
    상기 터치 패킷들을, 상기 시스템 부분에 관련된 스크린 크기를 차지하는(account) 변환된 패킷들로 변환하는 단계(408);
    상기 변환된 패킷들에 기초하여 하나 이상의 마우스 액션을 결정하는 단계(410); 및
    상기 마우스 패킷들에 기초하여 상기 OS의 상기 GUI를 조작하는 단계(412)
    를 포함하는 방법.
  17. 제16항에 있어서,
    상기 변환된 패킷들을 캐싱하는 단계를 더 포함하는 방법.
  18. 제17항에 있어서,
    상기 가상 입력 장치는 하나 이상의 버튼을 갖는 터치패드, 트랙볼, 스크롤 휠, 및 너브 중 적어도 하나의 표현을 포함하는 방법.
  19. 제17항에 있어서,
    상기 OS의 상기 GUI를 조작하는 단계는 마우스 커서를 조작하는 단계를 더 포함하는 방법.
  20. 제19항에 있어서,
    상기 마우스 커서는 애플리케이션 프로그램에 의해 제어되는 방법.

KR1020107028653A 2008-06-27 2009-06-26 가상 터치패드 Ceased KR20110036005A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/163,746 2008-06-27
US12/163,746 US8754855B2 (en) 2008-06-27 2008-06-27 Virtual touchpad

Publications (1)

Publication Number Publication Date
KR20110036005A true KR20110036005A (ko) 2011-04-06

Family

ID=41445373

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020107028653A Ceased KR20110036005A (ko) 2008-06-27 2009-06-26 가상 터치패드

Country Status (9)

Country Link
US (1) US8754855B2 (ko)
EP (1) EP2291728A4 (ko)
JP (2) JP2011526396A (ko)
KR (1) KR20110036005A (ko)
CN (1) CN102077156A (ko)
BR (1) BRPI0913294A2 (ko)
RU (1) RU2505848C2 (ko)
TW (1) TWI479369B (ko)
WO (1) WO2009158685A2 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180119003A (ko) * 2017-04-24 2018-11-01 주식회사 넥슨코리아 인터페이스 제공 방법 및 장치
KR20190064535A (ko) * 2019-05-23 2019-06-10 주식회사 넥슨코리아 인터페이스 제공 방법 및 장치
WO2022239881A1 (ko) * 2021-05-11 2022-11-17 엘지전자 주식회사 디스플레이 장치
KR20240033429A (ko) 2022-09-05 2024-03-12 윤상철 터치패드형 무선 마우스

Families Citing this family (106)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003040990A2 (en) 2001-11-02 2003-05-15 Siemens Medical Solutions Usa, Inc. Patient data mining for quality adherence
US7844915B2 (en) 2007-01-07 2010-11-30 Apple Inc. Application programming interfaces for scrolling operations
US20080168402A1 (en) 2007-01-07 2008-07-10 Christopher Blumenberg Application Programming Interfaces for Gesture Operations
US20080168478A1 (en) 2007-01-07 2008-07-10 Andrew Platzer Application Programming Interfaces for Scrolling
US8717305B2 (en) 2008-03-04 2014-05-06 Apple Inc. Touch event model for web pages
US8645827B2 (en) 2008-03-04 2014-02-04 Apple Inc. Touch event model
US8416196B2 (en) 2008-03-04 2013-04-09 Apple Inc. Touch event model programming interface
US9524094B2 (en) 2009-02-20 2016-12-20 Nokia Technologies Oy Method and apparatus for causing display of a cursor
US8566045B2 (en) 2009-03-16 2013-10-22 Apple Inc. Event recognition
US8566044B2 (en) 2009-03-16 2013-10-22 Apple Inc. Event recognition
US8285499B2 (en) 2009-03-16 2012-10-09 Apple Inc. Event recognition
US9684521B2 (en) * 2010-01-26 2017-06-20 Apple Inc. Systems having discrete and continuous gesture recognizers
US9311112B2 (en) 2009-03-16 2016-04-12 Apple Inc. Event recognition
US8686951B2 (en) 2009-03-18 2014-04-01 HJ Laboratories, LLC Providing an elevated and texturized display in an electronic device
US9553953B2 (en) 2009-04-15 2017-01-24 Dell Products L.P. Method and apparatus for extending capabilities of a virtualization domain to support features available in a normal desktop application
US9578113B2 (en) 2009-04-15 2017-02-21 Wyse Technology L.L.C. Method and apparatus for transferring remote session data
US9448815B2 (en) 2009-04-15 2016-09-20 Wyse Technology L.L.C. Server-side computing from a remote client device
US9106696B2 (en) 2009-04-15 2015-08-11 Wyse Technology L.L.C. Method and apparatus for portability of a remote session
US8676926B2 (en) 2009-04-15 2014-03-18 Wyse Technology L.L.C. System and method for handling remote drawing commands
US9189124B2 (en) 2009-04-15 2015-11-17 Wyse Technology L.L.C. Custom pointer features for touch-screen on remote client devices
US8355007B2 (en) * 2009-05-11 2013-01-15 Adobe Systems Incorporated Methods for use with multi-touch displays for determining when a touch is processed as a mouse event
US9542097B2 (en) * 2010-01-13 2017-01-10 Lenovo (Singapore) Pte. Ltd. Virtual touchpad for a touch device
US20110199342A1 (en) 2010-02-16 2011-08-18 Harry Vartanian Apparatus and method for providing elevated, indented or texturized sensations to an object near a display device or input detection using ultrasound
US20110227947A1 (en) * 2010-03-16 2011-09-22 Microsoft Corporation Multi-Touch User Interface Interaction
US8552999B2 (en) 2010-06-14 2013-10-08 Apple Inc. Control selection approximation
GB2481606B (en) * 2010-06-29 2017-02-01 Promethean Ltd Fine object positioning
US20120013541A1 (en) * 2010-07-14 2012-01-19 Research In Motion Limited Portable electronic device and method of controlling same
US20120026077A1 (en) * 2010-07-28 2012-02-02 Google Inc. Mapping trackpad operations to touchscreen events
KR20120015968A (ko) * 2010-08-14 2012-02-22 삼성전자주식회사 휴대 단말기의 터치 오동작 방지 방법 및 장치
US9465457B2 (en) * 2010-08-30 2016-10-11 Vmware, Inc. Multi-touch interface gestures for keyboard and/or mouse inputs
US9019207B1 (en) 2010-09-28 2015-04-28 Google Inc. Spacebar integrated with trackpad
US8754854B1 (en) 2010-09-28 2014-06-17 Google Inc. Keyboard integrated with trackpad
JP5769975B2 (ja) 2011-01-18 2015-08-26 京セラ株式会社 携帯電子機器
JP5656661B2 (ja) 2011-01-18 2015-01-21 京セラ株式会社 携帯電子機器
TWI476625B (zh) * 2011-02-22 2015-03-11 Htc Corp 資料安全管理系統和方法
US8766936B2 (en) 2011-03-25 2014-07-01 Honeywell International Inc. Touch screen and method for providing stable touches
US8392935B2 (en) 2011-03-28 2013-03-05 Google Inc. Uniform event handling across multiple computing devices
US8151279B1 (en) * 2011-03-28 2012-04-03 Google Inc. Uniform event handling across multiple computing devices
JP5397707B2 (ja) * 2011-03-29 2014-01-22 カシオ計算機株式会社 タッチ表示装置及びプログラム
US9298363B2 (en) 2011-04-11 2016-03-29 Apple Inc. Region activation for touch sensitive surface
CN102855105B (zh) 2011-06-27 2015-11-25 联想(北京)有限公司 显示方法及显示设备
US9013366B2 (en) * 2011-08-04 2015-04-21 Microsoft Technology Licensing, Llc Display environment for a plurality of display devices
CN102306059A (zh) * 2011-08-10 2012-01-04 电子科技大学 基于触控输入的手持数字电视通用遥控器
CN103946774B (zh) * 2011-09-30 2018-11-16 英特尔公司 用于采用和促进计算装置处的触摸板拇指传感器垫的机构
TWI466007B (zh) * 2011-10-14 2014-12-21 Acer Inc 多重觸控輸入方法及其電子裝置
EP2776906A4 (en) * 2011-11-09 2015-07-22 Blackberry Ltd TOUCH-SENSITIVE DISPLAY WITH DUAL TRACKPAD
US9607570B2 (en) * 2011-12-08 2017-03-28 Oracle International Corporation Magnifying tool for viewing and interacting with data visualization on mobile devices
US9639262B2 (en) * 2012-01-02 2017-05-02 Microsoft Technology Licensing, Llc Self-revealing gesture
US10013053B2 (en) * 2012-01-04 2018-07-03 Tobii Ab System for gaze interaction
CN102662556A (zh) * 2012-03-07 2012-09-12 中兴通讯股份有限公司 计算机终端的控制方法、装置及系统
KR20130105044A (ko) * 2012-03-16 2013-09-25 삼성전자주식회사 터치 스크린 단말기의 사용자 인터페이스 방법 및 장치
CN103324322A (zh) * 2012-03-20 2013-09-25 蓝云科技股份有限公司 触控装置与多触控装置系统
US9733707B2 (en) 2012-03-22 2017-08-15 Honeywell International Inc. Touch screen display user interface and method for improving touch interface utility on the same employing a rules-based masking system
CN102662511B (zh) * 2012-03-24 2016-11-16 上海量明科技发展有限公司 通过触摸屏进行控制操作的方法及终端
US9423871B2 (en) 2012-08-07 2016-08-23 Honeywell International Inc. System and method for reducing the effects of inadvertent touch on a touch screen controller
US9250754B2 (en) 2012-09-27 2016-02-02 Google Inc. Pressure-sensitive trackpad
CN103729113B (zh) * 2012-10-16 2017-03-22 中兴通讯股份有限公司 一种虚拟导航条的切换控制方法及装置
CN103809890B (zh) * 2012-11-13 2017-09-29 联想(北京)有限公司 信息处理的方法及电子设备
US9128580B2 (en) 2012-12-07 2015-09-08 Honeywell International Inc. System and method for interacting with a touch screen interface utilizing an intelligent stencil mask
KR102015347B1 (ko) * 2013-01-07 2019-08-28 삼성전자 주식회사 터치 디바이스를 이용한 마우스 기능 제공 방법 및 장치
EP2752758A3 (en) * 2013-01-07 2016-10-26 LG Electronics Inc. Image display device and controlling method thereof
US8769431B1 (en) 2013-02-28 2014-07-01 Roy Varada Prasad Method of single-handed software operation of large form factor mobile electronic devices
TWI616804B (zh) * 2013-04-18 2018-03-01 宏碁股份有限公司 電子裝置以及控制方法
US9575649B2 (en) * 2013-04-25 2017-02-21 Vmware, Inc. Virtual touchpad with two-mode buttons for remote desktop client
US10719224B1 (en) 2013-04-29 2020-07-21 David Graham Boyers Methods and graphical user interfaces for pointing and editing on computing devices with touch-sensitive displays
US10180728B2 (en) * 2013-05-17 2019-01-15 Citrix Systems, Inc. Remoting or localizing touch gestures at a virtualization client agent
US9733716B2 (en) 2013-06-09 2017-08-15 Apple Inc. Proxy gesture recognizer
JP5882279B2 (ja) * 2013-10-08 2016-03-09 Ｎｅｃパーソナルコンピュータ株式会社 情報処理装置、方法及びプログラム
JP5704212B2 (ja) * 2013-10-22 2015-04-22 カシオ計算機株式会社 タッチ表示装置及びプログラム
CN103543913A (zh) * 2013-10-25 2014-01-29 小米科技有限责任公司 一种终端设备操作方法、装置和终端设备
JP6113857B2 (ja) * 2013-10-30 2017-04-12 株式会社東芝 電子機器、操作制御方法及びプログラム
US9436304B1 (en) 2013-11-01 2016-09-06 Google Inc. Computer with unified touch surface for input
KR102161565B1 (ko) 2013-12-18 2020-10-05 삼성전자주식회사 보조 입력 장치를 이용한 전자 장치 및 그 운용 방법
US9665272B2 (en) * 2014-02-28 2017-05-30 Invensys Systems, Inc. Touch gesture for connection of streams in a flowsheet simulator
TWI502481B (zh) 2014-03-05 2015-10-01 Acer Inc 電子裝置以及使用者介面控制方法
CN104111774A (zh) * 2014-06-16 2014-10-22 联想(北京)有限公司 一种信息处理的方法及电子设备
KR102323892B1 (ko) * 2014-12-22 2021-11-08 인텔 코포레이션 멀티 터치 가상 마우스
JP6128145B2 (ja) * 2015-02-24 2017-05-17 カシオ計算機株式会社 タッチ処理装置及びプログラム
US10401966B2 (en) 2015-05-15 2019-09-03 Atheer, Inc. Method and apparatus for applying free space input for surface constrained control
US9442575B1 (en) 2015-05-15 2016-09-13 Atheer, Inc. Method and apparatus for applying free space input for surface constrained control
CN106293430A (zh) * 2015-05-25 2017-01-04 富泰华工业（深圳）有限公司 虚拟滑鼠控制系统及其控制方法
KR20170021159A (ko) * 2015-08-17 2017-02-27 엘지전자 주식회사 이동 단말기 및 그 제어방법
CN105872702A (zh) * 2015-12-09 2016-08-17 乐视网信息技术（北京）股份有限公司 一种虚拟键盘的显示方法及装置
US9898153B2 (en) 2016-03-02 2018-02-20 Google Llc Force sensing using capacitive touch surfaces
WO2018123231A1 (ja) 2016-12-27 2018-07-05 パナソニックＩｐマネジメント株式会社 電子機器、入力制御方法、及びプログラム
US10507385B2 (en) 2017-01-25 2019-12-17 Kieran S. Lyden Game controller
US12194375B2 (en) 2017-01-25 2025-01-14 Kieran S. Lyden Game controller
SE542090C2 (en) * 2017-05-31 2020-02-25 Izettle Merchant Services Ab Touch input device and method
US11488053B2 (en) 2017-10-06 2022-11-01 Adobe Inc. Automatically controlling modifications to typeface designs with machine-learning models
US10983679B2 (en) 2017-10-06 2021-04-20 Adobe Inc. Selectively enabling trackpad functionality in graphical interfaces
DE102018005621A1 (de) * 2017-10-06 2019-04-11 Adobe Inc. Selektives Aktivieren einer Trackpadfunktionalität in Grafikschnittstellen
US10860110B1 (en) * 2019-10-18 2020-12-08 Dell Products L.P. System and method to enable virtual touchpad with haptic feedback on dual display information handling systems
JP2021076959A (ja) * 2019-11-06 2021-05-20 レノボ・シンガポール・プライベート・リミテッド 情報処理装置及び情報処理方法
US10990204B1 (en) 2020-01-28 2021-04-27 Dell Products L.P. Virtual touchpad at keyboard location
US10989978B1 (en) 2020-01-28 2021-04-27 Dell Products L.P. Selectively transparent and opaque keyboard bottom
US10983567B1 (en) 2020-01-28 2021-04-20 Dell Products L.P. Keyboard magnetic guard rails
US10983570B1 (en) 2020-01-28 2021-04-20 Dell Products L.P. Keyboard charging from an information handling system
US10929016B1 (en) 2020-01-28 2021-02-23 Dell Products L.P. Touch calibration at keyboard location
US11586296B2 (en) 2020-01-28 2023-02-21 Dell Products L.P. Dynamic keyboard support at support and display surfaces
WO2022051033A1 (en) 2020-09-02 2022-03-10 Sterling Labs Llc Mapping a computer-generated trackpad to a content manipulation region
JP7014874B1 (ja) 2020-09-24 2022-02-01 レノボ・シンガポール・プライベート・リミテッド 情報処理装置及び情報処理方法
US11543961B2 (en) * 2020-10-26 2023-01-03 Microsoft Technology Licensing, Llc Touch screen display with virtual trackpad
JP2022167480A (ja) 2021-04-23 2022-11-04 レノボ・シンガポール・プライベート・リミテッド 情報処理装置及び制御方法
CN114063953A (zh) * 2021-11-11 2022-02-18 深圳市中渤光电有限公司 一种应用于led显示屏交互式播放实现的方法及装置
US12487693B2 (en) 2022-09-28 2025-12-02 Himax Technologies Limited Touch detection circuitry, electronic device and touch event handling method thereof
US12333106B2 (en) * 2022-09-28 2025-06-17 Himax Technologies Limited Touch detection circuitry, electronic device and touch event handling method thereof

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61273622A (ja) * 1985-05-29 1986-12-03 Toshiba Corp ポインテイングデバイス
JP3138512B2 (ja) 1991-09-19 2001-02-26 京セラ株式会社 タッチパネルにおけるマウス入力方式
JPH0836479A (ja) * 1994-07-22 1996-02-06 Canon Inc 表示装置及び表示装置のポインティング処理方法
JPH08221204A (ja) 1995-02-14 1996-08-30 Ricoh Co Ltd タッチパネル入力装置
JPH09244852A (ja) * 1996-03-11 1997-09-19 Canon Inc ウインドウシステム、その制御方法および記憶媒体
KR19980020202U (ko) * 1996-10-10 1998-07-15 김광호 가상 키보드를 구비한 컴퓨터 시스템
US20060033724A1 (en) * 2004-07-30 2006-02-16 Apple Computer, Inc. Virtual input device placement on a touch screen user interface
JP4244075B2 (ja) * 1998-03-12 2009-03-25 株式会社リコー 画像表示装置
JP2000242408A (ja) * 1998-12-04 2000-09-08 Canon Inc 座標補正装置、座標補正用パラメータ算出装置、座標補正方法、座標補正用パラメータ算出方法、及び座標補正制御プログラムを格納した記憶媒体、及び座標補正用パラメータ算出プログラムを格納した記憶媒体
JP4300703B2 (ja) * 2000-11-15 2009-07-22 ソニー株式会社 情報処理装置および情報処理方法、並びにプログラム格納媒体
RU2187836C1 (ru) * 2001-06-25 2002-08-20 Скурлатов Валерий Иванович Электронная книга-панбук
JP2003305027A (ja) * 2002-04-16 2003-10-28 Konica Minolta Holdings Inc 医用画像処理装置、医用画像処理方法、及びプログラム
US20040021681A1 (en) * 2002-07-30 2004-02-05 Liao Chin-Hua Arthur Dual-touch-screen mobile computer
JP4215549B2 (ja) * 2003-04-02 2009-01-28 富士通株式会社 タッチパネル・モードとポインティング・デバイス・モードで動作する情報処理装置
US8303738B2 (en) * 2003-10-03 2012-11-06 Sumitomo Electric Industries, Ltd. Metal heating apparatus, metal heating method, and light source apparatus
JP4148187B2 (ja) * 2004-06-03 2008-09-10 ソニー株式会社 携帯型電子機器、入力操作制御方法及びそのプログラム
KR100958491B1 (ko) * 2004-07-30 2010-05-17 애플 인크. 터치 감지 입력 장치용 모드 기반 그래픽 사용자 인터페이스
JP2006065518A (ja) * 2004-08-25 2006-03-09 Asahi Kasei Electronics Co Ltd ポインティングデバイス、および、信号処理方法
US20060066590A1 (en) 2004-09-29 2006-03-30 Masanori Ozawa Input device
KR100678945B1 (ko) 2004-12-03 2007-02-07 삼성전자주식회사 터치패드 입력 정보 처리 장치 및 방법
US8487910B2 (en) * 2005-05-02 2013-07-16 Smart Technologies Ulc Large scale touch system and methods for interacting with same
JP2007011459A (ja) 2005-06-28 2007-01-18 Konica Minolta Business Technologies Inc 画像形成装置
JP5220278B2 (ja) 2006-01-27 2013-06-26 任天堂株式会社 ゲーム装置および手書き入力プログラム
US20070256029A1 (en) * 2006-05-01 2007-11-01 Rpo Pty Llimited Systems And Methods For Interfacing A User With A Touch-Screen
US20070257891A1 (en) * 2006-05-03 2007-11-08 Esenther Alan W Method and system for emulating a mouse on a multi-touch sensitive surface
US9063647B2 (en) 2006-05-12 2015-06-23 Microsoft Technology Licensing, Llc Multi-touch uses, gestures, and implementation
US8269725B2 (en) * 2006-06-28 2012-09-18 Microsoft Corporation Input simulation system for touch based devices
JP4412737B2 (ja) * 2007-09-06 2010-02-10 シャープ株式会社 情報表示装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180119003A (ko) * 2017-04-24 2018-11-01 주식회사 넥슨코리아 인터페이스 제공 방법 및 장치
KR20190064535A (ko) * 2019-05-23 2019-06-10 주식회사 넥슨코리아 인터페이스 제공 방법 및 장치
WO2022239881A1 (ko) * 2021-05-11 2022-11-17 엘지전자 주식회사 디스플레이 장치
KR20220154081A (ko) * 2021-05-11 2022-11-21 엘지전자 주식회사 디스플레이 장치
US12314557B2 (en) 2021-05-11 2025-05-27 Lg Electronics Inc. Display device
KR20240033429A (ko) 2022-09-05 2024-03-12 윤상철 터치패드형 무선 마우스

Also Published As

Publication number Publication date
US8754855B2 (en) 2014-06-17
BRPI0913294A2 (pt) 2016-01-26
US20090322687A1 (en) 2009-12-31
EP2291728A4 (en) 2012-01-04
EP2291728A2 (en) 2011-03-09
JP2014241139A (ja) 2014-12-25
JP2011526396A (ja) 2011-10-06
CN102077156A (zh) 2011-05-25
WO2009158685A2 (en) 2009-12-30
RU2505848C2 (ru) 2014-01-27
WO2009158685A3 (en) 2010-05-06
TW201003468A (en) 2010-01-16
RU2010153349A (ru) 2012-06-27
TWI479369B (zh) 2015-04-01

Similar Documents

Publication Publication Date Title
US8754855B2 (en) Virtual touchpad
US8355007B2 (en) Methods for use with multi-touch displays for determining when a touch is processed as a mouse event
US11256396B2 (en) Pinch gesture to navigate application layers
JP5922598B2 (ja) マルチタッチ利用、ジェスチャ及び実装
TWI413922B (zh) 觸控板之控制方法與應用該方法之觸控裝置
KR101872533B1 (ko) 3 상태 터치 입력 시스템
TWI463355B (zh) 多點觸控介面之訊號處理裝置、訊號處理方法及使用者介面圖像選取方法
US20110216015A1 (en) Apparatus and method for directing operation of a software application via a touch-sensitive surface divided into regions associated with respective functions
JP5951886B2 (ja) 電子機器および入力方法
CN103970460A (zh) 基于触摸屏的操作方法和使用该方法的终端设备
US20140298275A1 (en) Method for recognizing input gestures
US20150153925A1 (en) Method for operating gestures and method for calling cursor
CN101799727A (zh) 多点触控接口的讯号处理装置、方法及使用者接口图像的选取方法
JP2015072561A (ja) 情報処理装置
WO2016044968A1 (en) Moving an object on display

Legal Events

Date Code Title Description
PA0105 International application

Patent event date: 20101220

Patent event code: PA01051R01D

Comment text: International Patent Application

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20140530

Comment text: Request for Examination of Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20150528

Patent event code: PE09021S01D

N231 Notification of change of applicant
PN2301 Change of applicant

Patent event date: 20150715

Comment text: Notification of Change of Applicant

Patent event code: PN23011R01D

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20151228

Patent event code: PE09021S01D

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20160727

Patent event code: PE09021S01D

E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20161108

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20160727

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I

Patent event date: 20151228

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I

Patent event date: 20150528

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I