KR20140077697A - 입력 유닛의 햅틱을 제어하는 휴대 단말 및 방법 - Google Patents

입력 유닛의 햅틱을 제어하는 휴대 단말 및 방법 Download PDF

Info

Publication number
KR20140077697A
KR20140077697A KR1020120146773A KR20120146773A KR20140077697A KR 20140077697 A KR20140077697 A KR 20140077697A KR 1020120146773 A KR1020120146773 A KR 1020120146773A KR 20120146773 A KR20120146773 A KR 20120146773A KR 20140077697 A KR20140077697 A KR 20140077697A
Authority
KR
South Korea
Prior art keywords
input unit
vibration
haptic
hovering
control signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020120146773A
Other languages
English (en)
Other versions
KR102091077B1 (ko
Inventor
박진형
이주연
이상협
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to KR1020120146773A priority Critical patent/KR102091077B1/ko
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US14/107,491 priority patent/US9239622B2/en
Priority to RU2015128297A priority patent/RU2669087C2/ru
Priority to AU2013360490A priority patent/AU2013360490B2/en
Priority to CN201380064789.0A priority patent/CN104838340B/zh
Priority to PCT/KR2013/011663 priority patent/WO2014092512A1/en
Priority to EP13861594.3A priority patent/EP2932360B1/en
Publication of KR20140077697A publication Critical patent/KR20140077697A/ko
Priority to US15/000,669 priority patent/US9483120B2/en
Application granted granted Critical
Publication of KR102091077B1 publication Critical patent/KR102091077B1/ko
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B06—GENERATING OR TRANSMITTING MECHANICAL VIBRATIONS IN GENERAL
    • B06B—METHODS OR APPARATUS FOR GENERATING OR TRANSMITTING MECHANICAL VIBRATIONS OF INFRASONIC, SONIC, OR ULTRASONIC FREQUENCY, e.g. FOR PERFORMING MECHANICAL WORK IN GENERAL
    • B06B1/00—Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency
    • B06B1/02—Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency making use of electrical energy
    • B06B1/06—Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency making use of electrical energy operating with piezoelectric effect or with electrostriction
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of two-dimensional [2D] relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G06F3/0386—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry for light pen
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412—Digitisers structurally integrated in a display
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02N—ELECTRIC MACHINES NOT OTHERWISE PROVIDED FOR
    • H02N2/00—Electric machines in general using piezoelectric effect, electrostriction or magnetostriction
    • H02N2/02—Electric machines in general using piezoelectric effect, electrostriction or magnetostriction producing linear motion, e.g. actuators; Linear positioners ; Linear motors
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04106—Multi-sensing digitiser, i.e. digitiser using at least two different sensing technologies simultaneously or alternatively, e.g. for detecting pen and finger, for saving power or for improving position detection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04108—Touchless 2D- digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface without distance measurement in the Z direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72412—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories using two-way short-range wireless interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/22—Details of telephonic subscriber devices including a touch pad, a touch sensor or a touch detector

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

본 발명은 이동 단말에 관한 것으로서, 입력 수단을 이용하여 햅틱 효과를 제공하는 장치 및 방법에 관한 것이다.
이를 위한 본 발명은 휴대 단말이 입력 유닛의 햅틱을 제어하는 방법에 있어서, 터치 스크린에 복수의 객체를 디스플레이하는 과정과, 상기 터치 스크린에서 어느 하나의 객체에 대한 호버링(hovering)을 검출하는 과정과, 상기 검출에 응답하여, 상기 객체를 결정하는 과정과, 상기 호버링이 검출된 객체의 속성(property)에 기초하여 결정된 햅틱 패턴에 대응되는 제어 신호를 입력 유닛으로 전송하는 과정을 포함한다.

Description

입력 유닛의 햅틱을 제어하는 휴대 단말 및 방법{MOBILE TERMINAL FOR CONTROLLING HAPTIC OF AN INPUT UNIT AND METHOD THEREFOR}
본 발명은 휴대 단말에 관한 것으로서, 입력 유닛의 햅틱을 제어하는 휴대 단말 및 방법에 관한 것이다.
최근 휴대 단말에서 제공하는 다양한 서비스 및 부가 기능들은 점차 확대되고 있다. 이러한 휴대 단말의 효용 가치를 높이고 사용자들의 다양한 욕구를 만족시키기 위해서 휴대 단말에서 실행 가능한 다양한 어플리케이션들이 개발되고 있다.
이에 따라 최근 스마트 폰 및 태블릿 PC와 같은 휴대 단말 내에는 적어도 수 개에서 수백 개의 어플리케이션들이 저장될 수 있다. 그리고, 상기 어플리케이션들 각각을 실행시키기 위한 객체들(또는 단축 아이콘)이 휴대 단말의 터치 스크린 상에 표시된다. 이에 따라 사용자는 터치 스크린 상에 표시된 단축 아이콘들 중 어느 하나를 터치함으로써 원하는 어플리케이션을 휴대 단말에서 실행시킬 수 있다. 또한, 휴대 단말의 터치 스크린 상에는 상기 단축 아이콘들 이외에도 위젯, 사진 및 문서 등과 같은 다양한 형태의 비쥬얼 객체들이 표시되고 있다.
이와 같이, 휴대 단말은 표시된 객체들에 사용자의 손가락, 전자펜, 스타일러스 펜 등의 입력 유닛을 이용한 터치 입력 방식을 제공하고 있다. 이때의 터치 입력 방식에는 사용자의 신체 또는 터치 가능한 입력 유닛과의 접촉에 의한 터치 입력 방식과, 호버링(Hovering)과 같은 비접촉 상태로의 입력 방식이 가능하며, 이와 같은 터치 입력 방식은 편리한 사용자 인터페이스를 제공한다.
최근에는 터치 스크린을 통한 입력 방식에서 터치 입력이 있을 경우 진동 소자 등을 통해 사용자가 마치 버튼을 누르는 조작감을 느낄 수 있도록 진동을 발생시키는 방식이 사용되고 있다. 이와 같이 다양한 터치 입력 기술의 연구가 꾸준히 이루어지고 있으며, 사용자들이 원하는 즐겁고 새로운 다중 감각 인터페이스에 대한 수요를 충족시키기 위한 연구가 활발하게 진행되고 있다.
상기한 바와 같이 종래에는 사용자가 휴대 단말을 조작함에 따라 그 조작감을 느낄 수 있도록 터치 스크린 통해 진동을 제공하는 방식이 적용되고 있다. 이러한 방식은 사용자로 하여금 터치 스크린에 입력 유닛이 접촉됨을 인지시킬 뿐, 실제 어플리케이션 등을 사용하는 것과 같은 느낌을 사용자에게 전달하는 데 한계가 있는 실정이다. 따라서 터치 스크린의 사용에 있어서, 그 터치 스크린 상에 표시되는 객체를 선택하기 위한 단순한 입력 유닛으로서의 역할에서 벗어나 터치 입력에 대한 사용자들의 기대치가 증가함에 따라 향상된 사용자 인터페이스 입력 유닛을 제공할 필요성이 있다.
따라서 본 발명은 적어도 하나의 터치 스크린을 구비한 휴대 단말에서 사용자 인터페이스를 조작할 시 입력 유닛의 햅틱을 제어하는 휴대 단말 및 방법을 제공한다.
상술한 바를 달성하기 위해 본 발명은 휴대 단말이 입력 유닛의 햅틱을 제어하는 방법에 있어서, 터치 스크린에 복수의 객체를 디스플레이하는 과정과, 상기 터치 스크린에서 어느 하나의 객체에 대한 호버링(hovering)을 검출하는 과정과, 상기 검출에 응답하여, 상기 객체를 결정하는 과정과, 상기 호버링이 검출된 객체의 속성(property) 에 기초하여 결정된 햅틱 패턴에 대응되는 제어 신호를 입력 유닛으로 전송하는 과정을 포함한다.
또한, 상술한 바를 달성하기 위해 본 발명은 입력 유닛의 햅틱을 제어하는 휴대 단말에 있어서, 복수의 객체를 디스플레이하는 터치 스크린과, 상기 복수의 객체 중 어느 하나의 객체에 대한 호버링을 검출하고, 상기 검출에 응답하여 상기 객체를 결정하고, 상기 호버링이 검출된 객체의 속성 및 상기 객체의 속성 중 적어도 하나에 기초하여 결정된 햅틱 패턴에 대응되는 제어 신호를 생성하는 제어부와, 상기 생성된 제어 신호를 입력 유닛으로 송신하는 송수신부를 포함한다.
또한, 상술한 바를 달성하기 위해 본 발명은 휴대 단말의 햅틱 제공 방법에 있어서, 복수의 객체들에 설정되는 햅틱 패턴을 저장하는 과정과, 상기 입력 유닛에 의해 어느 하나의 객체에 근접함에 따른 호버링이 인식되는 경우, 상기 호버링이 발생한 위치에 대응하는 객체를 식별하고, 상기 식별된 객체의 속성을 파악하는 과정과, 상기 파악된 객체에 미리 지정된 내용을 프리뷰 이미지로 디스플레이하고, 상기 식별된 객체에 설정된 햅틱 패턴에 따라 상기 휴대 단말의 진동을 제어하는 과정을 포함한다.
또한, 상술한 바를 달성하기 위해 본 발명은 입력 유닛에 있어서, 진동 소자와, 휴대 단말과 호버링 중에 상기 휴대 단말로부터 제어 신호를 수신하는 근거리 통신부와, 상기 수신된 제어 신호에 대응되게 상기 진동 소자를 제어하는 햅틱 제어부를 포함하되, 상기 제어 신호는 상기 호버링이 검출되는 객체의 속성에 대응되게 상기 진동 소자의 활성, 상기 진동 소자의 비활성, 상기 진동 소자의 진동 주기 및 진동 세기 중 적어도 하나를 제어하기 위한 신호임을 특징으로 한다.
또한, 상술한 바를 달성하기 위해 본 발명은 입력 유닛에서 햅틱 효과를 제공하는 방법에 있어서, 휴대 단말에 표시되는 복수의 객체 중 어느 하나의 객체에 대면되게 호버링하는 과정과, 상기 휴대 단말로부터 상기 호버링이 검출되는 객체의 속성에 대응되는 제어 신호를 수신하는 과정과, 상기 수신된 제어 신호에 대응되게 입력 유닛에 내장되는 진동 소자의 진동 주기 및 진동 세기 중 적어도 하나를 이용하여 상기 진동 소자를 제어하는 과정을 포함하되, 상기 제어 신호는 상기 진동 소자를 활성 하기 위한 정보, 상기 진동 소자를 비활성 하기 위한 정보, 상기 진동 소자의 진동 주기 및 상기 진동 소자의 진동 세기 중 적어도 하나를 포함하는 것을 특징으로 한다.
본 발명에 따르면, 입력 유닛을 휴대 단말의 터치 스크린에 인접한 위치에 놓음으로써, 터치 스크린에 프리뷰 이미지를 표시하면서 입력 유닛으로 햅틱 효과를 제공하기 위한 제어 신호를 전송하고, 일반 사용자를 비롯하여 시각 장애인을 위한 유용한 사용자 경험을 제공할 수 있는 효과를 가진다. 또한 본 발명은 터치 스크린 상에 표시되는 객체들에 대한 프리뷰 시 입력 유닛을 통한 햅틱 효과를 제공함으로써 사용자에게 터치 스크린에 대한 조작 여부를 나타내는 정확한 조작감을 제공할 수 있는 이점이 있다. 또한 본 발명은 입력 유닛을 통해 햅틱 효과를 출력함으로써 현실감 있고 자연스러운 사용자 인터랙션 환경을 지원할 수 있다.
도 1은 본 발명의 일 실시 예에 따른 햅틱 효과를 제공하는 휴대 단말을 나타내는 개략적인 블록도.
도 2는 본 발명의 일 실시 예에 따른 휴대 단말의 전면 사시도를 나타낸 도면.
도 3은 본 발명의 일 실시 예에 따른 휴대 단말의 후면 사시도를 나타낸 도면.
도 4는 본 발명의 실시 예에 따른 햅틱 효과를 제공하는 입력 유닛과 터치 스크린의 내부 단면도를 나타낸 도면.
도 5는 본 발명의 실시 예에 따른 호버링 입력 효과를 제공하는 입력 유닛을 나타낸 블럭도.
도 6a는 본 발명의 실시 예에 따른 입력 유닛을 통해서 햅틱 효과를 제공하기 위해 휴대 단말의 각 항목별 설정을 나타낸 도면.
도 6b는 선택된 항목이 객체 종류별 햅틱일 경우, 객체 종류별로 햅틱 패턴을 설정하는 예를 나타낸 예시도.
도 6c는 객체 종류가 그림인 경우의 설정하고자 하는 햅틱 패턴의 예시도.
도 6d는 각각의 햅틱 패턴에 따른 진동 파형을 나타낸 예시도.
도 7a는 본 발명의 실시 예에 따른 입력 유닛을 통해서 햅틱 효과를 제공하기 위해 휴대 단말의 각 항목별 설정을 나타낸 도면.
도 7b는 선택된 항목이 스크롤 햅틱일 경우, 객체 개수에 따라 햅틱 패턴을 설정하는 예시도를 나타낸 도면.
도 8a는 본 발명의 실시 예에 따른 입력 유닛을 통해서 햅틱 효과를 제공하기 위해 휴대 단말의 각 항목별 설정을 나타낸 도면.
도 8b는 선택된 항목이 동영상 프리뷰 햅틱일 경우, 동영상 장르 별로 햅틱 패턴을 설정하는 예시도.
도 8c는 햅틱 패턴이 설정된 동영상에서 중요 장면을 설정하는 예시도를 나타낸 도면.
도 9a는 본 발명의 실시 예에 따른 이미지 팝업 햅틱 기능을 활성화한 예시도.
도 9b는 본 발명의 실시 예에 따른 메타 데이터에 이미지 정보를 입력하는 예시도.
도 10은 본 발명의 실시 예에 따른 복수의 객체들에 호버링이 인식되면 객체의 프리뷰 이미지를 디스플레이하고 햅틱 패턴에 따른 제어 신호를 전송하는 과정을 나타낸 순서도.
도 11a는 휴대 단말의 터치 스크린에 복수의 객체가 디스플레이되는 예시도.
도 11b는 복수의 객체들 중에 임의의 객체에 호버링이 인식되는 예시도.
도 11c는 호버링이 인식된 객체의 프리뷰 이미지를 디스플레이하는 예시도.
도 12a는 본 발명의 실시 예에 따른 복수의 객체들을 디스플레이하는 예시도.
도 12b는 복수의 객체들이 디스플레이된 상태에서 호버링이 복수의 객체들의 리스트 다운을 나타낸 예시도.
도 13은 본 발명의 실시 예에 따른 객체의 메타 데이터를 프리뷰 이미지로 디스플레이하고 햅틱 패턴에 따른 제어 신호를 입력 유닛으로 전송하는 과정을 나타낸 순서도.
도 14는 본 발명의 실시 예에 따른 객체의 메타 데이터를 프리뷰 이미지로 디스플레이하는 예시도.
도 15는 본 발명의 실시 예에 따른 객체의 내용을 프리뷰 이미지로 디스플레이하고, 햅틱 패턴에 따른 제어 신호를 입력 유닛으로 전송하는 과정을 나타낸 순서도.
도 16은 본 발명의 실시 예에 따른 객체의 내용을 프리뷰 이미지로 디스플레이하는 예시도를 나타낸 도면.
도 17a 내지 도 17i는 본 발명의 실시 예에 따른 다양한 햅틱 패턴의 파형을 나타낸 예시도.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하여 상세하게 설명한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시 예에 대한 동작 원리를 상세히 설명한다. 하기에서 본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 사용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
먼저, 본 발명에서 사용되는 용어의 정의는 다음과 같다.
휴대 단말: 휴대 가능하고 데이터 송수신과 음성 및 영상 통화가 가능한 이동 단말로서 적어도 하나의 터치 스크린이 구비될 수 있다.
입력 유닛: 터치 스크린상의 접촉 또는 호버링과 같은 비접속 상태에서도 휴대 단말에 명령 또는 입력을 제공할 수 있는 핑거, 전자펜, 및 스타일러스 펜 중 적어도 하나를 포함한다.
객체: 휴대 단말의 터치 스크린 상에 디스플레이되거나, 디스플레이될 수있는 것으로서, 문서, 위젯, 사진, 동영상, 이메일, SMS 메시지 및 MMS 메시지 중 적어도 하나를 포함하며 입력 유닛에 의해 실행, 삭제, 취소, 저장 및 변경될 수 있다. 이러한, 객체는 단축 아이콘, 썸네일 이미지 및 휴대 단말에서 적어도 하나의 객체를 저장하고 있는 폴더를 포괄하는 의미로도 사용될 수 있다.
단축 아이콘: 각각의 애플리케이션 또는 휴대 단말에서 기본적으로 제공되는 통화, 연락처, 메뉴 등의 빠른 실행을 위해 휴대 단말의 터치 스크린 상에 디스플레이되는 것으로서, 이를 실행하기 위한 명령 또는 입력이 입력되면 해당 애플리케이션을 실행한다.
도 1은 본 발명의 일 실시 예에 따른 햅틱 효과를 제공하는 휴대 단말을 나타내는 개략적인 블록도이다.
도 1을 참조하면, 휴대 단말(100)은 이동 통신 모듈(120), 서브통신 모듈(130), 커넥터(165), 및 이어폰 연결잭(167) 중 적어도 하나를 이용하여 외부 장치(도시되지 아니함)와 연결될 수 있다. 이러한, 외부 장치는 상기 휴대 단말(100)에 탈착되어 유선으로 연결 가능한 이어폰(Earphone), 외부 스피커(External speaker), USB(Universal Serial Bus) 메모리, 충전기, 크래들/도크(Cradle/Dock), DMB 안테나, 모바일 결제 관련 장치, 건강 관리 장치(혈당계 등), 게임기, 자동차 네비게이션 장치 등 다양한 장치들을 포함할 수 있다. 또한 상기 외부 장치는 무선으로 연결 가능한 블루투스 통신 장치, NFC(Near Field Communication) 장치 및 WiFi Direct 통신 장치, 무선 액세스 포인트(AP, Access Point)를 포함할 수 있다. 그리고, 휴대 단말은 유선 또는 무선을 이용하여 다른 장치, 즉 휴대폰, 스마트폰, 태블릿 PC, 데스크탑 PC, 및 서버와 연결될 수 있다.
도 1을 참조하면, 휴대 단말(100)은 적어도 하나의 터치 스크린(190) 및 적어도 하나의 터치 스크린 컨트롤러(195)를 포함한다. 또한, 휴대 단말(100)은 제어부(110), 이동통신 모듈(120), 서브통신 모듈(130), 멀티미디어 모듈(140), 카메라 모듈(150), GPS모듈(157), 입/출력 모듈(160), 센서 모듈(170), 저장부(175) 및 전원 공급부(180)를 포함한다.
서브통신 모듈(130)은 무선랜 모듈(131) 및 근거리통신 모듈(132) 중 적어도 하나를 포함하고, 멀티미디어 모듈(140)은 방송통신 모듈(141), 오디오 재생 모듈(142) 및 동영상재생 모듈(143) 중 적어도 하나를 포함한다. 카메라 모듈(150)은 제1 카메라(151) 및 제2 카메라(152) 중 적어도 하나를 포함한다. 또한, 본 발명의 휴대 단말(100)의 카메라 모듈(150)은 휴대 단말(100)의 주 용도에 따라 제1 및/또는 제2 카메라(151, 152)의 줌 인/줌 아웃을 위한 경통부(155), 상기 경통부(155)의 줌 인/줌 아웃을 위해 경통부(155)의 움직임을 제어하는 모터부(154), 촬영을 위해 광원을 제공하는 플래쉬(153) 중 적어도 하나를 포함할 수 있다. 그리고, 입/출력 모듈(160)은 버튼(161), 마이크(162), 스피커(163), 진동모터(164), 커넥터(165), 및 키패드(166) 중 적어도 하나를 포함한다.
제어부(110)는 CPU(111), 휴대 단말(100)의 제어를 위한 제어프로그램이 저장된 롬(ROM, 112) 및 휴대 단말(100)의 외부로부터 입력되는 신호 또는 데이터를 기억하거나, 휴대 단말(100)에서 수행되는 작업을 위한 기억영역으로 사용되는 램(RAM, 113)을 포함할 수 있다. CPU(111)는 싱글 코어, 듀얼 코어, 트리플 코어, 또는 쿼드 코어를 포함할 수 있다. CPU(111), 롬(112) 및 램(113)은 내부버스(bus)를 통해 상호 연결될 수 있다.
또한, 제어부(110)는 이동통신 모듈(120), 서브통신 모듈(130), 멀티미디어 모듈(140), 카메라 모듈(150), GPS 모듈(157), 입/출력 모듈(160), 센서 모듈(170), 저장부(175), 전원 공급부(180), 터치 스크린(190), 및 터치 스크린 컨트롤러(195)를 제어할 수 있다.
또한, 제어부(110)는 터치 스크린(190) 상에 복수의 객체들이 디스플레이된 상태에서 전자 펜 등의 터치 가능한 입력 유닛(168)에 의해 어느 하나의 객체에 근접함에 따른 호버링이 인식되는지 판단하고, 호버링이 발생한 위치에 대응하는 객체를 식별한다. 또한, 제어부(110)는 휴대 단말(100)로부터 입력 유닛까지의 높이와, 높이에 따른 호버링 입력 이벤트를 감지할 수 있는데, 이러한, 호버링 입력 이벤트는 입력 유닛에 형성된 버튼 눌림, 입력 유닛에 대한 두드림, 입력 유닛이 미리 정해진 속도보다 빠르게 이동함, 객체에 대한 터치 중 적어도 하나를 포함한다. 또한, 입력 유닛과 터치 스크린간의 거리에 따라 햅틱 패턴은 다르게 설정될 수 있다. 그리고, 이러한 햅틱 패턴을 다르게 설정할 수 있는 거리는 가변적이다. 그리고, 제어부(110)는 호버링 입력 이벤트가 발생되면, 호버링 입력 이벤트에 대응하는 미리 설정된 호버링 입력 효과를 터치 스크린(190)에 디스플레이한다. 그리고, 제어부(110)는 호버링이 인식된 객체의 세부 내용을 디스플레이하기 위해 에어뷰 기능이 활성화되었는지 체크하고, 프리뷰 이미지를 생성하여, 해당 객체의 세부 내용을 상기 프리뷰 이미지로 디스플레이한다. 이러한, 프리뷰 이미지는 객체의 종류에 따라 객체의 상세 내용뿐만 아니라, 객체에 미리 입력된 메타 데이터 및 상기 객체를 확대한 이미지 중 적어도 하나를 포함한다. 그리고, 제어부(110)는 식별된 객체에 대응하여 미리 정해진 햅틱 패턴에 따른 제어 신호를 상기 입력 유닛을 통해 출력 제어한다. 또한, 상기 제어부(110)는 식별된 객체에 대응하여 미리 정해진 햅틱 패턴에 따라 진동 모터164)를 제어하여 휴대 단말(100)의 진동을 제어한다. 이러한 미리 전해진 햅틱 패턴은 객체의 종류에 따라 다르게 설정될 수 있다. 예를 들어, 객체가 동영상인지 이미지인지에 따라 햅틱 패턴을 다르게 설정할 뿐만 아니라, 객체가 동영상이면, 동영상 장르에 따라 햅틱 패턴을 다르게 설정할 수 있다. 뿐만 아니라, 객체의 종류가 이메일, SMS 메시지, MMS 메시지 및 기사이면, 내용의 중요도 또는 해당 객체의 분야에 따라 햅틱 패턴을 다르게 설정할 수 있다. 이 경우, 중요도는 미리 지정된 단어가 해당 객체에 존재하는지 체크하여 결정될 수 있다. 이에 따라 그 햅틱 패턴에 따른 제어 신호를 수신하면, 그 입력 유닛은 그 제어 신호에 해당하는 진동을 발생한다. 구체적으로, 호버링이 발생한 위치에 배치된 객체의 종류 예컨대, 그림, 사진, 동영상, 텍스트, 이메일 등에 따라 서로 다른 햅틱 패턴에 따른 제어 신호가 입력 유닛을 통해 출력되도록 구현할 수 있다. 이렇게 함으로써 사용자는 손에 쥐고 있는 입력 유닛을 통해 진동을 느낄 수 있어 객체에 대한 현실감있는 조작감을 느낄 수 있게 된다.
그리고, 이동통신 모듈(120)은 제어부(110)의 제어에 따라 적어도 하나-하나 또는 복수-의 안테나(도시되지 아니함)를 이용하여 이동 통신을 통해 휴대 단말(100)이 외부 장치와 연결되도록 할 수 있다. 이동통신 모듈(120)은 휴대 단말(100)에 입력되는 전화번호를 가지는 휴대폰(도시되지 아니함), 스마트폰(도시되지 아니함), 태블릿 PC 또는 다른 장치(도시되지 아니함)와 음성 통화, 화상 통화, 문자메시지(SMS) 또는 멀티미디어 메시지(MMS)를 위한 무선 신호를 송/수신한다.
서브통신 모듈(130)은 무선랜 모듈(131)과 근거리통신 모듈(132) 중 적어도 하나를 포함할 수 있다. 예를 들어, 무선랜 모듈(131)만 포함하거나, 근거리통신 모듈(132)만 포함하거나 또는 무선랜 모듈(131)과 근거리통신 모듈(132)을 모두 포함할 수 있다.
무선랜 모듈(131)은 제어부(110)의 제어에 따라 무선 액세스 포인트(AP, access point)(도시되지 아니함)가 설치된 장소에서 인터넷에 연결될 수 있다. 무선랜 모듈(131)은 미국전기전자학회(IEEE)의 무선랜 규격(IEEE802.11x)을 지원한다. 근거리통신 모듈(132)은 제어부(110)의 제어에 따라 휴대 단말(100)과 화상형성장치(도시되지 아니함)사이에 무선으로 근거리 통신을 할 수 있다. 근거리 통신방식은 블루투스(bluetooth), 적외선 통신(IrDA, infrared data association), 와이파이 다이렉트(WiFi-Direct) 통신, NFC(Near Field Communication) 등이 포함될 수 있다.
이러한, 서브통신 모듈(130) 무선랜 모듈(131) 중 적어도 하나를 통해서 제어부(110)는 햅틱 패턴에 따른 제어 신호를 입력 유닛으로 전송한다.
그리고, 휴대 단말(100)은 성능에 따라 이동통신 모듈(120), 무선랜 모듈(131), 및 근거리통신 모듈(132) 중 적어도 하나를 포함할 수 있다. 또한, 휴대 단말(100)은 성능에 따라 이동통신 모듈(120), 무선랜 모듈(131), 및 근거리통신 모듈(132)들의 조합을 포함할 수 있다. 본 발명에서는 이러한, 이동통신 모듈(120), 무선랜 모듈(131) 및 근거리통신 모듈(132) 중 적어도 하나 또는 이들의 조합을 송수신부라 칭하며, 이는 본 발명의 범위를 축소하지 않는다.
멀티미디어 모듈(140)은 방송통신 모듈(141), 오디오 재생 모듈(142) 또는 동영상재생 모듈(143)을 포함할 수 있다. 방송통신 모듈(141)은 제어부(110)의 제어에 따라 방송통신 안테나(도시되지 아니함)를 통해 방송국에서부터 송출되는 방송 신호(예, TV방송 신호, 라디오방송 신호 또는 데이터방송 신호) 및 방송부가 정보(예, EPS(Electric Program Guide) 또는 ESG(Electric Service Guide))를 수신할 수 있다. 오디오재생 모듈(142)은 제어부(110)의 제어에 따라 저장되거나 또는 수신되는 디지털 오디오 파일(예, 파일 확장자가 mp3, wma, ogg 또는 wav인 파일)을 재생할 수 있다. 동영상재생 모듈(143)은 제어부(110)의 제어에 따라 저장되거나 또는 수신되는 디지털 동영상 파일(예, 파일 확장자가 mpeg, mpg, mp4, avi, mov, 또는 mkv인 파일)을 재생할 수 있다. 동영상재생 모듈(143)은 디지털 오디오 파일을 재생할 수 있다.
멀티미디어 모듈(140)은 방송통신 모듈(141)을 제외하고 오디오재생 모듈(142)과 동영상재생 모듈(143)을 포함할 수 있다. 또한, 멀티미디어 모듈(140)의 오디오재생 모듈(142) 또는 동영상재생 모듈(143)은 제어부(110)에 포함될 수 있다.
카메라 모듈(150)은 제어부(110)의 제어에 따라 정지이미지 또는 동영상을 촬영하는 제1 카메라(151) 및 제2 카메라(152) 중 적어도 하나를 포함할 수 있다. 또한, 카메라 모듈(150)은 피사체를 촬영하기 위해 줌 인/줌 아웃을 수행하는 경통부(155), 상기 경통부(155)의 움직임을 제어하는 모터부(154), 피사체를 촬영하기 위해 필요한 보조 광원을 제공하는 플래쉬(153) 중 적어도 하나를 포함할 수 있다. 제1 카메라(151)는 상기 휴대 단말(100) 전면에 배치되고, 제2 카메라(152)는 상기 휴대 단말(100)의 후면에 배치될 수 있다. 달리 취한 방식으로, 제1 카메라(151)와 제2 카메라(152)는 인접(예, 제1 카메라(151)와 제2 카메라(152)의 간격이 1 cm 보다 크고, 8 cm 보다는 작은)하게 배치되어 3차원 정지이미지 또는 3차원 동영상을 촬영할 수 있다.
또한, 제1 및 제2 카메라(151, 152)는 각각 렌즈계, 이미지 센서 등을 포함할 수 있다. 제1 및 제2 카메라(151, 152)는 각각 렌즈계를 통해 입력되는(또는 촬영되는) 광신호를 전기적인 이미지 신호로 변환하여 제어부(110)로 출력하고, 사용자는 이러한 제1 및 제2 카메라(151, 152)를 통해 동영상 또는 정지 이미지를 촬영할 수 있다.
GPS 모듈(157)은 지구 궤도상에 있는 복수의 GPS위성(도시되지 아니함)에서부터 전파를 수신하고, GPS위성(도시되지 아니함)에서부터 휴대 단말(100)까지 전파도달시간(Time of Arrival)을 이용하여 휴대 단말(100)의 위치를 산출할 수 있다.
입/출력 모듈(160)은 복수의 버튼(161), 마이크(162), 스피커(163), 진동모터(164), 커넥터(165), 키패드(166), 이어폰 연결잭(167) 및 입력 유닛(168) 중 적어도 하나를 포함할 수 있다. 그리고, 이러한 입/출력 모듈은 이에 국한되지 않으며, 마우스, 트랙볼, 조이스틱 또는 커서 방향 키들과 같은 커서 컨트롤(cursor control)이 제어부(110)와의 통신 상기 터치 스크린(190) 상의 커서 움직임 제어를 위해 제공될 수 있다.
버튼(161)은 상기 휴대 단말(100)의 하우징의 전면, 측면 또는 후면에 형성될 수 있으며, 전원/잠금 버튼(도시되지 아니함), 볼륨버튼(도시되지 아니함), 메뉴 버튼, 홈 버튼, 돌아가기 버튼(back button) 및 검색 버튼(161) 중 적어도 하나를 포함할 수 있다.
마이크(162)는 제어부(110)의 제어에 따라 음성(voice) 또는 사운드(sound)를 입력 받아 전기적인 신호를 생성한다.
스피커(163)는 제어부(110)의 제어에 따라 이동통신 모듈(120), 서브통신 모듈(130), 멀티미디어 모듈(140) 또는 카메라 모듈(150)의 다양한 신호(예, 무선신호, 방송신호, 디지털 오디오 파일, 디지털 동영상 파일 또는 사진 촬영 등)에 대응되는 소리와 블루투스를 통해 입력 유닛으로 제공되는 제어 신호에 대응되는 소리를 휴대 단말(100) 외부로 출력할 수 있다. 상기 제어 신호에 대응되는 소리는 입력 유닛(168)의 진동 소자(520)의 활성화에 따른 소리, 진동 세기에 대응하여 크기가 달라지는 소리, 및 진동 소자(520)의 비활성화에 따른 소리를 포함한다. 이러한 소리는 입력 유닛(168)의 진동 소자(520)의 진동 세기에 따라 볼륨이 제어되거나 또는 진동 소자(520)의 활성과 동시 또는 미리 정해진 시간(예: 10ms) 이전/이후의 간격으로 휴대 단말(100)의 스피커(163) 및/또는 입력 유닛(168)에 구비될 수 있는 스피커(미도시)를 통해 출력될 수 있다. 또한, 상기 소리는 진동 소자(520)의 비활성과 동시 또는 미리 정해진 시간(예: 10ms) 이전/이후의 간격으로 종료될 수 있다. 그리고, 스피커(163)는 휴대 단말(100)이 수행하는 기능에 대응되는 사운드(예, 전화 통화에 대응되는 버튼 조작음, 또는 통화 연결음)를 출력할 수 있다. 스피커(163)는 상기 휴대 단말(100)의 하우징의 적절한 위치 또는 위치들에 하나 또는 복수로 형성될 수 있다.
진동 모터(164)는 제어부(110)의 제어에 따라 전기적 신호를 기계적 진동으로 변환할 수 있다. 예를 들어, 진동 모드에 있는 휴대 단말(100)은 다른 장치(도시되지 아니함)로부터 음성통화가 수신되는 경우, 진동모터(164)가 동작한다. 상기 휴대 단말(100)의 하우징 내에 하나 또는 복수로 형성될 수 있다. 진동모터(164)는 터치 스크린(190) 상을 터치하는 사용자의 터치 동작 및 터치 스크린(190) 상에서의 터치의 연속적인 움직임에 응답하여 동작할 수 있다.
커넥터(165)는 상기 휴대 단말(100)과 외부 장치(도시되지 아니함)또는 전원소스(도시되지 아니함)를 연결하기 위한 인터페이스로 이용될 수 있다. 상기 휴대 단말(100)은 제어부(110)의 제어에 따라 커넥터(165)에 연결된 유선 케이블을 통해 휴대 단말(100)의 저장부(175)에 저장된 데이터를 외부 장치(도시되지 아니함)로 전송하거나 또는 외부 장치(도시되지 아니함)로부터 데이터를 수신할 수 있다. 또한 상기 휴대 단말(100)은 커넥터(165)에 연결된 유선 케이블을 통해 전원소스(도시되지 아니함)로부터 전원을 입력받거나, 상기 전원소스를 이용하여 배터리(도시되지 아니함)를 충전할 수 있다.
키패드(166)는 휴대 단말(100)의 제어를 위해 사용자로부터 키 입력을 수신할 수 있다. 키패드(166)는 휴대 단말(100)에 형성되는 물리적인 키패드(도시되지 아니함) 또는 터치 스크린(190)에 표시되는 가상의 키패드(도시되지 아니함)를 포함한다. 휴대 단말(100)에 형성되는 물리적인 키패드(도시되지 아니함)는 휴대 단말(100)의 성능 또는 구조에 따라 제외될 수 있다.
이어폰 연결잭(Earphone Connecting Jack, 167)에는 이어폰(도시되지 아니함)이 삽입되어 상기 휴대 단말(100)에 연결될 수 있고, 입력 유닛(168)은 휴대 단말(100) 내부에 삽입되어 보관될 수 있으며, 사용시에는 상기 휴대 단말(100)로부터 인출 또는 탈착될 수 있다. 이러한, 입력 유닛(168)이 삽입되는 휴대 단말(100) 내부의 일 영역에는 상기 입력 유닛(168)의 장착 및 탈착에 대응하여 동작하는 탈부착 인식 스위치(169)가 구비되어, 제어부(110)로 상기 입력 유닛(168)의 장착 및 탈착에 대응하는 신호를 제공할 수 있다. 탈부착 인식 스위치(169)는 입력 유닛(168)이 삽입되는 일 영역에 마련되어, 상기 입력 유닛(168)의 장착시 직·간접적으로 접촉되도록 구비된다. 이에 따라, 탈부착 인식 스위치(169)는 상기 입력 유닛(168)과의 직·간접적으로 접촉에 기초하여, 상기 입력 유닛(168)의 장착이나 탈착에 대응하는 신호를 생성하고, 제어부(110)에 제공한다.
센서 모듈(170)은 휴대 단말(100)의 상태를 검출하는 적어도 하나의 센서를 포함한다. 예를 들어, 센서모듈(170)은 사용자의 휴대 단말(100)에 대한 접근 여부를 검출하는 근접센서, 휴대 단말(100) 주변의 빛의 양을 검출하는 조도센서(도시되지 아니함), 또는 휴대 단말(100)의 동작(예, 휴대 단말(100)의 회전, 휴대 단말(100)에 가해지는 가속도 또는 진동)을 검출하는 모션 센서(도시되지 아니함), 지구 자기장을 이용해 방위(point of the compass)를 검출하는 지자기 센서(Geo-magnetic Sensor, 도시되지 아니함), 중력의 작용 방향을 검출하는 중력 센서(Gravity Sensor), 대기의 압력을 측정하여 고도를 검출하는 고도계(Altimeter)를 포함할 수 있다. 적어도 하나의 센서는 상태를 검출하고, 검출에 대응되는 신호를 생성하여 제어부(110)로 전송할 수 있다. 센서모듈(170)의 센서는 휴대 단말(100)의 성능에 따라 추가되거나 삭제될 수 있다.
저장부(175)는 제어부(110)의 제어에 따라 이동통신 모듈(120), 서브통신 모듈(130), 멀티미디어 모듈(140), 카메라 모듈(150), GPS모듈(157), 입/출력 모듈(160), 센서 모듈(170), 터치 스크린(190)의 동작에 대응되게 입/출력되는 신호 또는 데이터를 저장할 수 있다. 저장부(175)는 휴대 단말(100) 또는 제어부(110)의 제어를 위한 제어 프로그램 및 어플리케이션들을 저장할 수 있다.
“저장부”라는 용어는 저장부(175), 제어부(110)내 롬(112), 램(113) 또는 휴대 단말(100)에 장착되는 메모리 카드(도시되지 아니함)(예, SD 카드, 메모리 스틱)를 포함한다. 저장부는 비휘발성 메모리, 휘발성 메모리, 하드 디스크 드라이브(HDD)또는 솔리드 스테이트 드라이브(SSD)를 포함할 수 있다.
또한, 상기 저장부(175)는 네비게이션, 화상 통화, 게임, 사용자에게 시간을 기반으로 하는 알람 애플리케이션 등과 같은 다양한 기능들의 애플리케이션들과 이와 관련된 그래픽 사용자 인터페이스(graphical user interface: GUI)를 제공하기 위한 이미지들, 사용자 정보, 문서, 터치 입력을 처리하는 방법과 관련된 데이터베이스들 또는 데이터, 상기 휴대 단말(100)을 구동하는데 필요한 배경 이미지들(메뉴 화면, 대기 화면 등) 또는 운영 프로그램들, 카메라 모듈(150)에 의해 촬영된 이미지들 등을 저장할 수 있다. 상기 저장부(175)는 기계(예를 들어, 컴퓨터)로 읽을 수 있는 매체이며, 기계로 읽을 수 있는 매체라는 용어는 기계가 특정 기능을 수행할 수 있도록 상기 기계로 데이터를 제공하는 매체로 정의될 수 있다. 기계로 읽을 수 있는 매체는 저장 매체일 수 있다. 상기 저장부(175)는 비휘발성 매체(non-volatile media) 및 휘발성 매체를 포함할 수 있다. 이러한 모든 매체는 상기 매체에 의해 전달되는 명령들이 상기 명령들을 상기 기계로 읽어 들이는 물리적 기구에 의해 검출될 수 있도록 유형의 것이어야 한다.
상기 기계로 읽을 수 있는 매체는, 이에 한정되지 않지만, 플로피 디스크(floppy disk), 플렉서블 디스크(flexible disk), 하드 디스크, 자기 테이프, 시디롬(compact disc read-only memory: CD-ROM), 광학 디스크, 펀치 카드(punchcard), 페이퍼 테이프(papertape), 램, 피롬(Programmable Read-Only Memory: PROM), 이피롬(Erasable PROM: EPROM) 및 플래시-이피롬(FLASH-EPROM) 중의 적어도 하나를 포함한다.
전원 공급부(180)는 제어부(110)의 제어에 따라 휴대 단말(100)의 하우징에 배치되는 하나 또는 복수의 배터리(도시되지 아니함)에 전원을 공급할 수 있다. 하나 또는 복수의 배터리(도시되지 아니함)는 휴대 단말(100)에 전원을 공급한다. 또한, 전 원공급부(180)는 커넥터(165)와 연결된 유선 케이블을 통해 외부의 전원소스(도시되지 아니함)에서부터 입력되는 전원을 휴대 단말(100)로 공급할 수 있다. 또한, 전원 공급부(180)는 무선 충전 기술을 통해 외부의 전원소스로부터 무선으로 입력되는 전원을 휴대 단말(100)로 공급할 수도 있다.
그리고, 휴대 단말(100)은 사용자에게 다양한 서비스(예, 통화, 데이터 전송, 방송, 사진촬영)에 대응되는 유저 인터페이스를 제공하는 적어도 하나의 터치 스크린을 포함할 수 있다. 이러한, 각각의 터치 스크린은 유저 인터페이스에 입력되는 적어도 하나의 터치에 대응되는 아날로그 신호를 해당 터치 스크린 컨트롤러로 전송할 수 있다. 이와 같이, 휴대 단말(100)은 복수의 터치 스크린을 구비할 수 있는데, 각각의 터치 스크린 별로 터치에 대응되는 아날로그 신호를 수신하는 터치 스크린 컨트롤러가 구비될 수 있다. 이러한, 각각의 터치 스크린은 힌지의 연결을 통한 복수의 하우징에 각각 연결되거나 또는 복수의 터치 스크린들이 힌지 연결 없이 하나의 하우징에 위치할 수 있다. 본 발명에 따른 휴대 단말(100)은 상술한 바와 같이, 적어도 하나의 터치 스크린을 구비할 수 있으며, 이하에서는 설명 편의상 하나의 터치 스크린의 경우에 대해서 설명한다.
이러한, 터치 스크린(190)은 사용자의 신체(예, 엄지를 포함하는 손가락) 또는 터치 가능한 입력 유닛(예, 스타일러스 펜, 전자 펜)을 통해 적어도 하나의 터치를 입력받을 수 있다. 또한, 터치 스크린(190)은 스타일러스 펜 또는 전자 펜과 같은 펜을 통해서 입력되면, 이를 인식하는 펜 인식 패널(191)을 포함하며, 이러한 펜 인식 패널(191)은 펜과 터치 스크린(190)간의 거리를 자기장을 통해 파악할 수 있다. 또한, 터치 스크린(190)은 적어도 하나의 터치 중에서, 하나의 터치의 연속적인 움직임을 입력받을 수 있다. 터치 스크린(190)은 입력되는 터치의 연속적인 움직임에 대응되는 아날로그 신호를 터치 스크린 컨트롤러(195)로 전송할 수 있다.
나아가, 본 발명에서 터치는 터치 스크린(190)과 사용자의 신체 또는 터치 가능한 입력 유닛과의 접촉에 한정되지 않고, 비접촉(예: 터치 스크린(190)과 사용자의 신체 또는 터치 가능한 입력 유닛 접촉하지 않고 검출가능한 간격(예: 5mm 내외))을 포함할 수 있다. 터치 스크린(190)에서 검출가능한 간격은 휴대 단말(100)의 성능 또는 구조에 따라 변경될 수 있으며, 특히 터치 스크린(190)은 사용자의 신체 또는 터치 가능한 입력 유닛과의 접촉에 의한 터치 이벤트와, 비접촉 상태로의 입력(예컨대, 호버링(Hovering)) 이벤트를 구분하여 검출 가능하도록, 상기 터치 이벤트와 호버링 이벤트에 의해 검출되는 값(예컨대, 아날로그 값으로 전압 값 또는 전류 값을 포함)이 다르게 출력될 수 있도록 구성된다. 더 나아가, 터치 스크린(190)은 호버링 이벤트가 발생되는 공간과 터치 스크린(190) 사이의 거리에 따라, 검출되는 값(예컨대, 전류값 등)을 다르게 출력하는 것이 바람직하다.
이러한, 터치 스크린(190)은 예를 들어, 저항막(resistive) 방식, 정전용량(capacitive) 방식, 적외선(infrared) 방식 또는 초음파(acoustic wave) 방식으로 구현될 수 있다.
또한, 터치 스크린(190)은 사용자의 신체 및 터치 가능한 입력 유닛에 의한 입력을 순차적 또는 동시에 입력 받을 수 있도록, 사용자의 신체 및 터치 가능한 입력 유닛의 터치나 근접을 각각 감지할 수 있는 적어도 두 개의 터치스크린 패널을 포함할 수 있다. 상기 적어도 두 개의 터치스크린 패널은 서로 다른 출력 값을 터치 스크린 컨트롤러에 제공하고, 터치 스크린 컨트롤러는 상기 적어도 두 개의 터치스크린 패널에서 입력되는 값을 서로 다르게 인식하여, 터치 스크린(190)으로부터의 입력이 사용자의 신체에 의한 입력인지, 터치 가능한 입력 유닛에 의한 입력인지를 구분할 수 있다.
보다 상세하게, 터치 스크린(190)은 핑거 또는 입력 유닛(168)을 통한 입력을 유도 기전력의 변화를 통해 감지하는 패널과, 터치 스크린(190)에 핑거 또는 입력 유닛(168)을 통한 접촉을 감지하는 패널이 서로 밀착되거나 또는 일부 이격되어 차례로 적층된 구조로 형성될 수 있다. 이러한, 터치 스크린(190)은 다수의 픽셀들을 구비하고, 상기 픽셀들을 통해 영상을 표시한다. 이러한 터치 스크린(190)은 액정 표시 장치(Liquid Crystal Display: LCD), 유기 발광 다이오드(Organic Light Emitting Diodes: OLED 및 LED등을 사용할 수 있다.
또한, 터치 스크린(190)은 표면에 핑거 또는 입력 유닛(168)이 닿거나, 터치 스크린(190)의 일정 거리에 놓이게 되면, 놓인 위치를 파악하는 복수의 센서를 구성하고 있다. 복수의 센서들 각각은 코일 구조로 형성될 수 있으며, 복수의 센서들로 형성되는 센서층은 각각의 센서들이 기 설정된 패턴들을 가지며, 복수의 전극 라인을 형성한다. 이러한, 구조로 인해 터치 스크린(190)은 핑거 또는 입력 유닛(168)을 통해 터치 스크린(190)에 접촉 또는 호버링 입력이 발생되면, 센서층과 입력 수단 사이의 정전용량에 기인하여 파형이 변경된 감지 신호가 발생되는데, 터치 스크린(190)은 발생된 감지 신호를 제어부(110)로 전송한다. 그리고, 입력 유닛(168)과 터치 스크린(190)간의 일정 거리는 코일(430)에 의해 형성된 자기장의 세기를 통해 파악될 수 있다. 이하에서는 이러한, 진동 세기를 설정하는 과정에 대해서 설명한다.
한편, 터치 스크린 컨트롤러(195)는 터치 스크린(190)에서부터 수신된 아날로그 신호를 디지털 신호(예, X와 Y좌표)로 변환하여 제어부(110)로 전송한다. 제어부(110)는 터치 스크린 컨트롤러(195)로부터 수신된 디지털 신호를 이용하여 터치 스크린(190)을 제어할 수 있다. 예를 들어, 제어부(110)는 터치 이벤트 또는 호버링 이벤트에 응답하여 터치 스크린(190)에 표시된 단축 아이콘(도시되지 아니함) 또는 객체가 선택되게 하거나 또는 실행할 수 있다. 또한, 터치 스크린 컨트롤러(195)는 제어부(110)에 포함될 수도 있다.
더 나아가, 터치 스크린 컨트롤러(195)는 터치 스크린(190)을 통해 출력되는 값(예컨대, 전류값 등)을 검출하여 호버링 이벤트가 발생되는 공간과 터치 스크린(190) 사이의 거리를 확인할 수 있고, 확인된 거리 값을 디지털 신호(예컨대, Z좌표)로 변환하여 제어부(110)로 제공할 수 있다.
도 2는 본 발명의 일 실시 예에 따른 휴대 단말의 전면 사시도를 나타낸 도면이고, 도 3은 본 발명의 일 실시 예에 따른 휴대 단말의 후면 사시도를 나타낸 도면이다.
도 2 및 도 3을 참조하면, 휴대 단말(100)의 전면(100a) 중앙에는 터치 스크린(190)이 배치된다. 터치 스크린(190)은 휴대 단말(100)의 전면(100a)의 대부분을 차지하도록 크게 형성될 수 있다. 도 2에서는, 상기 터치 스크린(190)에 메인 홈 화면이 표시된 예를 나타낸다. 메인 홈 화면은 휴대 단말(100)의 전원을 켰을 때 터치 스크린(190) 상에 표시되는 첫 화면이다. 또한, 휴대 단말(100)이 여러 페이지의 서로 다른 홈 화면들을 갖고 있을 경우, 메인 홈 화면은 상기 여러 페이지의 홈 화면들 중 첫 번째 홈 화면일 수 있다. 홈 화면에는 자주 사용되는 어플리케이션들을 실행하기 위한 단축 아이콘들(191-1, 191-2, 191-3), 메인메뉴 전환키(191-4), 시간, 날씨 등이 표시될 수 있다. 상기 메인메뉴 전환키(191-4)는 상기 터치 스크린(190) 상에 메뉴 화면을 표시한다. 또한, 상기 터치 스크린(190)의 상단에는 배터리 충전상태, 수신신호의 세기, 현재 시각과 같은 장치(100)의 상태를 표시하는 상태바(Status Bar, 192)가 형성될 수도 있다.
상기 터치 스크린(190)의 하부에는 홈 버튼(161a), 메뉴 버튼(161b), 및 뒤로 가기 버튼(161c)이 형성될 수 있다.
홈 버튼(161a)은 터치 스크린(190)에 메인 홈 화면(main Home screen)을 표시한다. 예를 들어, 터치 스크린(190)에 상기 메인 홈 화면과 다른 홈 화면(any Home screen) 또는 메뉴화면이 표시된 상태에서, 상기 홈 키(161a)가 터치되면, 터치 스크린(190)에 메인 홈 화면이 디스플레이될 수 있다. 또한, 터치 스크린(190) 상에서 어플리케이션들이 실행되는 도중 홈 버튼(191a)이 터치되면, 상기 터치 스크린(190)상에는 도 2에 도시된 메인 홈 화면이 디스플레이될 수 있다. 또한 홈 버튼(161a)은 상기 터치 스크린(190) 상에 최근에(recently) 사용된 어플리케이션들을 디스플레이하도록 하거나, 태스크 매니저(Task Manager)를 디스플레이하기 위하여 사용될 수도 있다.
메뉴 버튼(161b)은 터치 스크린(190) 상에서 사용될 수 있는 연결 메뉴를 제공한다. 상기 연결 메뉴에는 위젯 추가 메뉴, 배경화면 변경 메뉴, 검색 메뉴, 편집 메뉴, 환경 설정 메뉴 등이 포함될 수 있다.
뒤로 가기 버튼(161c)은 현재 실행되고 있는 화면의 바로 이전에 실행되었던 화면을 디스플레이하거나, 가장 최근에 사용된 어플리케이션을 종료시킬 수 있다.
휴대 단말(100)의 전면(100a) 가장자리에는 제1 카메라(151)와 조도 센서(170a) 및 근접 센서(170b)가 배치될 수 있다. 휴대 단말(100)의 후면(100c)에는 제2 카메라(152), 플래시(flash, 153), 스피커(163)가 배치될 수 있다.
휴대 단말(100)의 측면(100b)에는 예를 들어 전원/리셋 버튼(160a), 음량 버튼(161b), 방송 수신을 위한 지상파 DMB 안테나(141a), 하나 또는 복수의 마이크들(162) 등이 배치될 수 있다. 상기 DMB 안테나(141a)는 휴대 단말(100)에 고정되거나, 착탈 가능하게 형성될 수도 있다.
또한, 휴대 단말(100)의 하단 측면에는 커넥터(165)가 형성된다. 커넥터(165)에는 다수의 전극들이 형성되어 있으며 외부 장치와 유선으로 연결될 수 있다. 휴대 단말(100)의 상단 측면에는 이어폰 연결잭(167)이 형성될 수 있다. 이어폰 연결잭(167)에는 이어폰이 삽입될 수 있다.
또한, 휴대 단말(100)의 하단 측면에는 입력 유닛(168)이 형성될 수 있다. 입력 유닛(168)은 휴대 단말(100) 내부에 삽입되어 보관될 수 있으며, 사용시에는 상기 휴대 단말(100)로부터 인출 및 탈착될 수 있다.
도 4는 본 발명의 실시 예에 따른 햅틱 효과를 제공하는 입력 유닛과 터치 스크린의 내부 단면도를 나타낸 도면이다.
도 4에 도시된 바와 같이, 터치 스크린(190)은 표시 패널(440), 제1 터치 패널(450), 제2 터치 패널(460)을 포함한다. 표시 패널(440)은 LCD, AMOLED 등과 같은 패널이 될 수 있으며, 휴대 단말(100)의 각종 동작 상태, 애플리케이션 실행 및 서비스 등에 따른 다양한 영상과, 복수의 객체들을 표시한다.
제1 터치 패널(450)은 정전용량 방식 터치 패널로서, 유리의 양면에 얇은 금속 전도성 물질(예를 들면, ITO(Indium Tin Oxide：산화 인듐주석) 막 등)을 코팅하여 유리표면에 전류가 흐르도록 하고 전하를 저장할 수 있는 유전체로 코팅된 패널이다. 이러한 제1 터치 패널(450)의 표면에 입력 유닛(예를 들면, 사용자의 손가락 또는 펜)이 터치되면 정전기에 의해 일정량의 전하가 터치된 위치로 이동하고, 제1 터치 패널(450)은 전하의 이동에 따른 전류의 변화량을 인식해서 터치된 위치를 감지하게 된다. 제1 터치 패널(450)을 통해서는 정전기를 발생시킬 수 있는 모든 터치의 감지가 가능하며, 입력 유닛인 손가락이나 펜에 의한 터치의 감지가 모두 가능하다.
제2 터치 패널(460)은 EMR(Electronic Magnetic Resonance) 방식 터치 패널로서, 복수의 루프 코일이 미리 정해진 제1 방향 및 제1 방향과 교차하는 제2 방향에 각각 배치되어 그리드 구조를 가지는 전자 유도 코일 센서(미도시)와, 전자 유도 코일 센서의 각 루프 코일에 순차적으로 소정의 주파수를 가지는 교류 신호를 제공하는 전자 신호 처리부(미도시)를 포함한다. 이러한 제2 터치 패널(460)의 루프 코일 근방에 공진회로를 내장하는 입력 유닛(168)이 존재하면, 해당 루프 코일로부터 송신되는 자계가 입력 유닛(168) 내의 공진회로에 상호 전자 유도에 기초한 전류를 발생시킨다. 그리고 전류를 기초로 하여, 입력 유닛(168) 내의 공진 회로를 구성하는 코일(미도시)로부터 유도 자계가 발생하게 되고, 제2 터치 패널(460)은 유도 자계를 신호 수신 상태에 있는 루프 코일에서 검출하게 되어 입력 유닛(168)의 호버링(Hovering) 위치, 터치 위치, 그리고 휴대 단말(100)은 표시 패널(100)로부터 입력 유닛(168)의 펜촉(430)까지의 높이(h)를 감지한다. 이러한, 터치 스크린(190)의 표시 패널(440)에서 펜촉(430)까지의 높이(h)는 휴대 단말(100)의 성능 또는 구조에 대응하여 변경될 수 있음은 당해 기술 분야에서 통상의 지식을 가진 자에게 용이하게 이해될 수 있다. 제2 터치 패널(460)을 통해서는 전자기 유도에 기초한 전류를 발생시킬 수 있는 입력 유닛이라면 호버링 및 터치의 감지가 가능하며, 상기 제2 터치 패널(460)은 입력 유닛(168)에 의한 호버링 또는 터치 감지 전용으로 이용되는 것으로 설명한다. 그리고, 입력 유닛(168)은 전자기 펜 또는 EMR 펜으로도 지칭될 수 있다. 또한, 입력 유닛(168)은 상기 제1 터치 패널(450)을 통해 감지되는 공진회로가 포함되지 아니한 일반적인 펜과는 상이할 수 있다. 이러한, 입력 유닛(168)은 펜촉(430)에 인접된 영역의 펜대 내부에 배치되는 코일에 의해 발생하는 전자기 유도 값을 변경할 수 있는 버튼(420)을 포함하여 구성될 수 있다. 이러한, 입력 유닛(168)에 대한 보다 상세한 설명은 도 5에서 후술한다.
그리고, 터치 스크린 컨트롤러(195)는 제1 터치 패널 컨트롤러와 제2 터치 패널 컨트롤러를 포함할 수 있다. 상기 제1 터치 패널 컨트롤러는 상기 제1 터치 패널(450)로부터 손 또는 펜 터치 감지에 의해 수신된 아날로그 신호를 디지털 신호(예컨대 X, Y, Z 좌표)로 변환하여 제어부(110)로 전송한다. 그리고 상기 제2 터치 패널 컨트롤러는 제2 터치 패널(460)로부터 입력 유닛(168)의 호버링 또는 터치 감지에 의해 수신된 아날로그 신호를 디지털 신호로 변환하여 제어부(110)로 전송한다. 그리고, 제어부(110)는 상기 제1 및 제2 터치 패널 컨트롤러로부터 각각 수신된 디지털 신호를 이용하여 표시 패널(440), 제1 터치 패널(450), 제2 터치 패널(460)을 제어할 수 있다. 예를 들어, 제어부(110)는 손가락이나 펜, 또는 입력 유닛(168) 등의 호버링 또는 터치에 응답하여 표시 패널(440)에 미리 정해진 형태의 화면을 표시할 수 있다.
따라서 본 발명의 일 실시 예에 따른 휴대 단말(100)에 의하면 상기 제1 터치 패널은 사용자의 손가락이나 펜에 의한 터치를 감지하고, 상기 제2 터치 패널은 상기 입력 유닛(168)에 의한 호버링 또는 터치를 감지할 수 있다. 따라서 상기 휴대 단말(100)의 제어부(110)는 상기 사용자의 손가락이나 펜에 의한 터치와 입력 유닛(168)에 의한 호버링 또는 터치를 구별하여 감지할 수 있다. 그리고, 도 4에서는 단지 하나의 터치 스크린에 대해서만 도시하였으나, 본 발명은 단지 하나의 터치 스크린에 제한되지 않으며, 복수의 터치 스크린을 구비할 수 있다. 그리고, 각각의 터치 스크린은 각각 하우징에 구비되어 힌지에 의해 연결되거나 또는 하나의 하우징이 복수의 터치 스크린이 구비될 수 있다. 그리고, 복수의 터치 스크린 각각은 도 4에 도시된 바와 같이, 표시 패널과 적어도 하나의 터치 패널을 포함하여 구성된다.
도 5는 본 발명의 실시 에에 따른 호버링 입력 효과를 제공하는 입력 유닛을 나타낸 블럭도이다.
도 5를 참조하면, 본 발명의 실시 예에 따른 입력 유닛(예: 터치용 펜)은 펜대와, 펜대 끝에 배치된 펜촉(430), 펜촉(430)에 인접된 영역의 펜대 내부에 배치되는 코일 (510)에 의해 발생하는 전자기 유도 값을 변경할 수 있는 버튼(420), 호버링 입력 효과 발생시 진동하는 진동 소자(520), 휴대 단말(100)과의 호버링으로 인해 휴대 단말(100)로부터 수신되는 제어 신호를 분석하고, 이에 따른 입력 유닛(168)에 햅틱 효과를 제공하기 위해 진동 소자(520)의 진동 세기, 진동 주기를 제어하는 햅틱 제어부(530), 휴대 단말(100)과 근거리 통신을 수행하는 근거리 통신부(540) 및 입력 유닛(168)의 진동을 위한 전원을 공급하는 배터리(550)를 포함하여 구성될 수 있다. 또한, 상기 입력 유닛(168)은 입력 유닛(168)의 진동 주기 및/또는 진동 세기에 대응하는 소리를 출력하는 스피커(560)를 포함할 수 있다. 상기 스피커(560)는 입력 유닛(168)에 제공되는 햅틱 효과에 대응하는 소리를 휴대 단말(100)에 구비된 스피커(163)과 동시 또는 미리 정해진 시간(예: 10ms) 이전/이후에 출력할 수 있다.
보다 상세하게, 상기 스피커(560)는 햅틱 제어부(530)의 제어에 따라 휴대 단말(100)에 구비된 이동통신 모듈(120), 서브통신 모듈(130) 또는 멀티미디어 모듈(140)로부터 다양한 신호(예: 무선신호, 방송신호, 디지털 오디오 파일, 또는 디지털 동영상 파일 등)에 대응되는 사운드를 출력할 수 있다. 또한, 스피커(560)는 휴대 단말(100)이 수행하는 기능에 대응되는 사운드(예, 전화 통화에 대응되는 버튼 조작음, 또는 통화 연결음)를 출력할 수 있으며, 상기 입력 유닛(168)의 하우징의 적절한 위치 또는 위치들에 하나 또는 복수로 형성될 수 있다.
햅틱 제어부(530)는 입력 유닛(168)이 휴대 단말(100)의 터치 스크린(190)에 인접한 거리에 위치하거나, 휴대 단말(100)로부터 적어도 하나의 제어 신호를 수신하면, 근거리 통신부(540)와 진동 소자(520)를 활성화한다. 또한, 제어부(530)는 입력 유닛(168)이 휴대 단말(100)의 터치 스크린(190)에 인접한 거리에 위치하지 않거나, 휴대 단말(100)로부터 적어도 하나의 제어 신호를 수신하여 진동이 완료되면, 진동 소자(520)를 비활성화한다. 그리고, 터치 스크린(190)은 입력 유닛(168)의 위치를 감지한다. 즉, 터치 스크린(190)의 표면에 입력 유닛(168)이 인접한 거리에 위치하면 정전기에 의해 일정량의 전하가 인접된 위치로 이동하고, 터치 스크린(190)은 전하의 이동에 따른 전류의 변화량을 인식해서 인접된 위치를 감지하게 된다. 이와 같이, 터치 스크린(190)은 입력 유닛(168)이 터치 스크린(190) 상에 터치가 되지 않아도 마치 터치한 것처럼 인식할 수 있다.
또한, 햅틱 제어부(530)는 펜 촉(430)이 터치 스크린(190) 상에 놓이게 되면, 근거리 통신부(540)를 통해 휴대 단말(100)로부터 수신된 적어도 하나의 제어 신호를 분석하고, 분석된 제어 신호에 따라 입력 유닛(168)에 구비된 진동 소자(520)의 진동 주기, 진동 세기등을 제어한다. 이러한, 제어 신호는 휴대 단말(100)이 송신한 신호이며, 미리 정해진 시간 동안 또는 호버링이 종료되는 시점까지 주기적으로 입력 유닛(168)으로 전송될 수 있다. 즉, 휴대 단말(100)은 펜 촉(430)이 터치 스크린(190)에 인접하여 호버링이 발생되거나 접촉되면, 펜 촉(430)이 가르키는 터치 스크린(190)상의 객체(또는 아이콘)를 파악하고, 상기 객체에 기 설정된 햅틱 패턴에 따라 생성된 제어 신호를 입력 유닛(168)에 구성된 근거리 통신부(540)로 전송한다. 이러한, 제어 신호는 객체의 종류 즉, 이미지, 동영상, SMS 메시지, MMS 메시지 및 이메일에 따라 각각 다른 진동을 갖는 신호일 수 있거나, 각각의 객체의 속성 즉, 객체의 개수, 객체의 내용, 객체의 장르 및 객체의 중요도에 따라 각각 다른 진동을 갖는 신호일 수 있다.
보다 상세하게, 이러한 제어 신호는 휴대 단말(100)의 이동 통신 모듈(120) 및 서브 통신 모듈(130) 중 적어도 하나에 의해 입력 유닛(168)으로 전송된다. 그리고 제어 신호는 입력 유닛(168)의 진동 소자의 모드를 활성화하기 위한 정보, 입력 유닛(168)의 진동 세기를 나타내는 정보, 입력 유닛(168)의 진동 소자의 모드를 비활성화하기 위한 정보, 햅틱 효과를 제공하는 총 시간을 나타내는 정보 중 적어도 하나를 포함한다. 또한, 제어 신호는 대략 8bit의 크기를 가지며 미리 정해진 주기(예: 5ms) 마다 반복적으로 전송되어 입력 유닛(168)의 진동을 제어 할 수 있기 때문에, 사용자는 햅틱 효과에 따른 진동이 일정한 주기로 반복적으로 수행됨을 인지할 수 있다. 예를 들어, 제어 신호는 아래 [표 1]과 같은 정보를 포함할 수 있다.
필드 진동 소자 활성 진동 세기 진동 소자 비활성
정보 1 125 125 131 131 0 2
[표 1]과 같이, 제어 신호는 입력 유닛의 진동 소자(520)를 활성화하기위한 정보, 진동 소자(520)의 진동 세기를 나타내는 정보 및 진동 소자(520)를 비활성화하기 위한 정보를 포함한다. 그리고, 이러한 제어 신호는 5ms 단위로 입력 유닛(168)로 전송될 수 있으나, 이는 단지 실시 예일 뿐 햅틱 패턴의 주기에 따라 제어 신호의 전송은 가변적일 수 있다. 그리고, 제어 신호의 전송 주기와 전송 기간 역시 가변적이다. 이러한, 전송 기간은 호버링 인식이 종료되는 시점까지의 기간일 수 있다.
그리고, 객체의 종류 또는 객체의 속성은 각각의 객체가 가지는 고유한 특성(예: 이메일의 경우 송수신자의 이메일 주소, 사진의 경우 촬상된 사진의 해상도 및 촬상 시간)을 통해서 알 수 있다. 본 발명에서는 이러한 방법 외에 객체의 종류 또는 속성을 파악하는 다른 방법에서도 적용됨은 자명하다. 또한, 동영상의 경우 동영상 장르 또는 동영상에서 중요도가 높은 부분에 따라 각각 다른 제어 신호일 수 있고, 객체의 개수에 따라 각각 다른 제어 신호일 수 있다. 이러한, 동영상의 장르 또는 중요도가 높은 부분은 사용자에 의해 기 설정될 수 있으며, 제어부(110)는 이러한 설정된 정보를 통해 동영상의 장르 또는 동영상에서 중요도가 높은 부분을 파악할 수 있다. 그리고, 객체가 많은 폴더의 경우 제어 신호는 진동 세기를 크게 하는 신호일 수 있으며, 객체가 적은 폴더의 경우 진동 세기를 작게 하는 신호일 수 있다. 이와 같이, 하나의 폴더에 저장되어 있는 객체의 많고 적음은 사용자에 의해 설정될 수 있거나 또는 기본적으로 제조사에 의해 설정될 수 있다. 또한, 연락을 자주하는 연락처일 경우 제어 신호는 진동 세기를 크게 하는 신호일 수 있고, 연락을 적게 하는 연락처일 경우 제어 신호는 진동 세기를 작게 하는 신호일 수 있다.
뿐만 아니라, 휴대 단말(100)은 터치 스크린 상에서 선택하고자 하는 객체의 위치로의 이동을 제공하기 위해 스크롤 바를 제공하거나 또는 스크롤 바가 아닌 리스트 업/다운을 위한 기능을 제공한다. 휴대 단말(100)은 입력 유닛(168)을 통해 이러한 스크롤 바가 올려지거나 내려질 경우, 스크롤 바가 처음의 위치(예: 일반적으로 터치 스크린의 상단 또는 하단 끝부분)에 가까울수록 진동의 세기를 크게 하거나 작게 하는 제어 신호를 입력 유닛(168)으로 전송하고, 스크롤 바가 끝부분(예: 일반적으로 터치 스크린의 상단 또는 하단 끝부분)에 가까울수록 진동의 세기를 크게 하거나 작게 하는 제어 신호를 입력 유닛(168)으로 전송한다. 또한, 리스트 업/다운의 경우, 휴대 단말(100)은 입력 유닛(168)을 통한 호버링이 터치 스트린 상에 디스플레이되는 복수의 객체들의 리스트 업 또는 리스트 다운이면, 상기 리스트 업 또는 상기 리스트 다운으로 인해 변하는 객체의 수에 따라 진동의 세기를 크게 하거나 작게 하는 제어 신호를 입력 유닛(168)으로 전송한다. 이러한, 스크롤 바 및 리스트 업/다운은 복수의 객체가 디스플레이되어 있는 상태에서 터치 스크린의 크기의 제한으로 인해 하나의 화면에 디스플레이되지 못한 객체들을 스크롤 바의 이동, 리스트 업 또는 리스트 다운을 이용하여 디스플레이 하기 위한 기능이다. 통상적으로 스크롤 바는 터치 스크린의 우측과 하단에 위치하도록 구현할 수 있고, 리스트 업/다운은 터치 스크린의 상단 중앙과 하단 중앙에 위치하도록 구현할 수 있다. 그러나, 이는 단지 실시 예일 뿐이며, 본 발명의 스크롤 바 및 리스트 업/다운은 터치 스크린의 어느 위치에 있어도 적용될 수 있다. 이러한, 리스트 업/다운에 의한 객체들의 디스플레이는 도 12에서 보다 상세히 후술한다.
그리고, 이와 같은 구성을 가지는 입력 유닛(168)은 정전유도 방식을 지원하는 구성이다. 그리고, 코일(510)에 의하여 터치 스크린(190)의 일정 지점에 자기장이 형성되면, 터치 스크린(190)은 해당 자기장 위치를 검출하여 터치 지점을 인식할 수 있도록 구성된다.
도 6은 본 발명의 실시 예에 따른 객체 종류에 따른 햅틱 패턴을 설정하는 예를 나타낸 예시도이다.
도 6a는 본 발명의 실시 예에 따른 입력 유닛을 통해서 햅틱 효과를 제공하기 위해 휴대 단말의 각 항목별 설정을 나타낸 도면이고, 도 6b는 선택된 항목이 객체 종류별 햅틱일 경우, 객체 종류별로 햅틱 패턴을 설정하는 예를 나타낸 예시도이고, 도 6c는 객체 종류가 그림인 경우의 설정하고자 하는 햅틱 패턴의 예시도이고, 도 6d는 각각의 햅틱 패턴에 따른 진동 파형을 나타낸 예시도이다.
도 6a를 참조하면, 본 발명의 실시 예에 따른 햅틱 패턴을 설정하기 위한 복수의 항목들 중에서 에어뷰 햅틱(611)은 입력 유닛이 터치 스크린 상에 위치하면, 입력 유닛의 펜 촉이 위치한 객체의 내부 정보를 에어뷰(airview) 형태로 보여줄 때 햅틱 기능을 제공하는 기능을 설정하는 것으로서, 에어뷰 햅틱을 on 또는 off로 설정할 수 있다. 객체 종류별 햅틱(612)은 객체의 종류에 따라 햅틱 패턴을 설정하기 위한 기본 설정으로서 객체 종류별 햅틱을 on 또는 off로 설정할 수 있다. 그리고, 동영상 프리뷰 햅틱(613)은 동영상 재생되는 도중에 비재생 구간에 대한 에어뷰 형식의 미리 보기 기능을 제공하거나, 재생되지 않은 동영상의 경우, 선택된 구간의 동영상을 프리뷰 형태로 미리 보기를 보여주는 기능으로서 on 또는 off로 설정할 수 있다. 마찬가지로, 이메일, 문자 팝업 햅틱(614), 이미지 팝업 햅틱(615), 스크롤 햅틱(616)들이 있다. 본 발명은 상술한 기능 외에도 호버링 입력시 입력 유닛으로 제어 신호를 주기 위한 다양한 설정을 포함할 수 있다.
도 6b를 참조하면, 도 6a에서 선택된 항목이 객체 종류별 햅틱인 경우, 객체 종류별로 햅틱 패턴을 설정하는 예를 나타낸 예시도이다.
객체 종류가 그림, 동영상, 음악, 텍스트, 이메일 또는 문자일 경우 각각의 종류별로 설정 버튼(621 내지 626)을 선택하여 햅틱 패턴을 설정할 수 있다. 이러한 햅틱 패턴들은 서로 같거나 다를 수 있으며, 각 햅틱 패턴들을 사용자에 의해 지정 또는 선택되거나 랜덤하게 선택될 수 있으며, 진동 세기, 진동 주기의 설정을 포함한다. 이하, 도 6c 및 6d를 참조하여 햅틱 패턴의 설정을 보다 상세히 설명하면 다음과 같다.
도 6c를 참조하면, 도 6b에서 객체 종류가 그림인 경우의 설정하고자 하는 햅틱 패턴의 예시도를 나타낸 것으로서, 그림의 햅틱 패턴을 설정하기 위한 버튼(621)을 선택하면, 도 6c가 디스플레이 될 수 있다. 도 6c는 객체의 종류가 그림인 경우 햅틱 패턴 설정 화면(630)을 나타낸 것으로서, 입력 유닛(168)이 그림에 위치하여 호버링이 발생되었을 경우, 입력 유닛(168)의 진동 세기를 조절하는 진동 세기 조절 메뉴(640)와 복수의 진동 주기를 갖는 진동 주기 메뉴(650)와, 설정된 진동 패턴을 저장하는 저장 메뉴(655)와, 진동 패턴을 취소하는 취소 메뉴(656)를 포함한다. 그리고, 진동 주기 메뉴는 복수의 햅틱 패턴의 예(651 내지 654)가 있으며, 각각의 패턴은 서로 같거나 또는 서로 다른 햅틱 패턴의 파형을 가질 수 있다. 도 6d는 이러한 각각의 햅틱 파형에 따른 진동 패턴을 나타낸다. 이하에서는 다양한 햅틱 파형을 설명한다.
도 6d를 참조하면, 각각의 햅틱 패턴의 파형은 주기를 갖는 파형일 수 있고 비주기의 특성을 갖는 파형일 수 있다. 이러한 각 햅틱 패턴(661 내지 664)의 파형 세기는 사용자에 의해 지정될 수 있으며, 각 햅틱 패턴에 따라 진동 세기가 서로 다를 수 있다. 도 6d에서 가로축(즉, x축)은 시간에 따른 주기를 나타내고, 세로축(즉, y축)은 햅틱 패턴의 진동 세기를 나타낸다. 그리고, 도 6d에서는 단지 4개의 햅틱 패턴을 도시하고 있으나 이는 단지 실시 예일 뿐, 본 발명은 4개의 햅틱 파형에 국한되지 않고 4개 보다 많은 햅틱 파형을 적용할 수 있으며, 각각의 햅틱 파형은 도시된 바와 같이 서로 다를 수 있거나 또는 같을 수도 있다. 예를 들어, 사용자가 인지하는 측면에서의 햅틱 패턴은 사용자가 직접 톱질을 했을 경우, 손에 느껴지는 진동과 유사하거나 동일한 톱질느낌의 햅틱 패턴, 긴 주기의 작은 진동 세기로서 마치 사용자로 하여금 잔잔한 느낌을 갖게 하는 햅틱 패턴, 짧은 주기의 강한 진동 세기로서 사용자로 하여금 강한 느낌을 갖게 하는 햅틱 패턴, 벽과 같은 거친 표면을 긁었을 때 손에 느껴지는 진동과 유사하거나 동일한 느낌의 햅틱 패턴 등 본 발명은 다양한 햅틱 패턴을 제공할 수 있다. 그리고, 본 발명에 따른 햅틱 패턴은 상술한 햅틱 패턴의 예에 국한되지 않고, 사용자가 느낄 수 있는 모든 진동을 적용할 수 있다. 상술한 바와 같이, 본 발명의 실시 예에 따른 햅틱 패턴에 대한 보다 상세한 설명은 도 17에서 후술한다.
상술한 바와 같이, 도 6a 내지 도 6d의 과정을 통해 객체의 종류에 따라서 사용자가 원하는 햅틱 패턴이 설정된 후, 입력 유닛에 의해 햅틱 패턴이 설정된 객체가 선택되면, 상기 객체에 설정된 햅틱 패턴에 따른 제어 신호는 입력 유닛으로 전송되고, 입력 유닛은 수신된 제어 신호에 따라 사용자에게 햅틱 효과를 제공한다.
그리고, 이러한 햅틱 패턴을 설정하기 위한 메뉴들(도 6c), 기 설정된 햅틱 파형(도 6d)은 단지 실시 예일 뿐, 본 발명은 이에 국한하지 않으며, 햅틱 패턴을 선택하고 설정하는 다양한 방법을 포함함은 자명하다.
도 7은 본 발명의 실시 예에 따른 객체 개수에 따른 햅틱 패턴을 설정하는 예를 나타낸 예시도이다.
도 7a는 본 발명의 실시 예에 따른 입력 유닛을 통해서 햅틱 효과를 제공하기 위해 휴대 단말의 각 항목별 설정을 나타낸 도면이고, 도 7b는 선택된 항목이 스크롤 햅틱일 경우, 객체 개수에 따라 햅틱 패턴을 설정하는 예시도를 나타낸 도면이다.
도 7을 참조하면, 본 발명의 실시 예에 따른 햅틱 패턴을 설정하기 위한 항목들은 에어뷰 햅틱(711), 객체 종류별 햅틱(712), 동영상 프리뷰 햅틱(713), 이메일, 문자 팝업 햅틱(714), 이미지 팝업 햅틱(715), 스크롤 햅틱(716) 및 거리에 따른 햅틱(717)을 포함한다. 그러나, 본 발명은 상술한 항목들 뿐만 아니라 입력 유닛(168)에 햅틱 패턴을 제공할 수 있는 다양한 항목들을 포함할 수 있다. 이러한, 복수의 항목들 중에서 스크롤 햅틱 기능(716)을 선택하여, 스크롤을 조절 시 화면에 표시될 객체의 수에 따라 서로 다른 햅틱 패턴을 설정할 수 있다. 예를 들어, 화면에 표시될 객체의 수가 20개 미만인 경우의 햅틱 패턴을 설정하고자 하는 경우 버튼(721)를 선택하여 햅틱 패턴을 설정할 수 있다. 즉, 진동 세기 또는 진동 주기를 설정할 수 있다. 마찬가지로, 객체의 개수가 20개 내지 49개인 경우(722) 또는 50개 이상(723)인 경우에도 햅틱 패턴을 각각 설정할 수 있다. 이러한 햅틱 패턴은 진동 세기, 진동 주기의 설정을 포함한다. 보다 상세한 설명은 도 12에서 후술한다.
도 8은 본 발명의 실시 예에 따른 동영상의 객체에 햅틱 패턴을 설정하고, 중요 장면을 설정하는 예시도이다.
도 8a는 본 발명의 실시 예에 따른 입력 유닛을 통해서 햅틱 효과를 제공하기 위해 휴대 단말의 각 항목별 설정을 나타낸 도면이고, 도 8b는 선택된 항목이 동영상 프리뷰 햅틱일 경우, 동영상 장르 별로 햅틱 패턴을 설정하는 예시도이고, 도 8c는 햅틱 패턴이 설정된 동영상에서 중요 장면을 설정하는 예시도를 나타낸 도면이다.
도 8을 참조하면, 본 발명의 실시 예에 따른 햅틱 패턴을 설정하기 위한 복수의 항목들(810) 중에서 동영상 프리뷰 햅틱 기능(811)을 활성화하면, 동영상 장르에 따라 서로 다른 햅틱 패턴을 설정할 수 있다(820). 예를 들어, 동영상 장르가 가족, 드라마, 액션 또는 SF에 따라 각각 햅틱 패턴 즉, 진동 세기 또는 진동 주기를 다르게 설정할 수 있고, 동영상에서 중요하다고 판단되는 일정 구간의 동영상에 설정된 진동 세기 또는 진동 주기를 적용할 수 있다(830). 이후, 입력 유닛이 상기 동영상의 객체에 근접하면, 휴대 단말은 입력 유닛으로 상기 설정된 햅틱 패턴에 따른 제어 신호를 송신하고, 입력 유닛은 수신된 제어 신호에 의해 진동이 제어된다.
도 9는 본 발명의 실시 예에 따른 이미지 팝업 햅틱 기능을 활성화하고 메타 데이터에 이미지의 정보를 입력하는 예시도이다.
도 9a는 본 발명의 실시 예에 따른 이미지 팝업 햅틱 기능을 활성화한 예시도이고, 도 9b는 본 발명의 실시 예에 따른 메타 데이터에 이미지 정보를 입력하는 예시도이다.
도 9를 참조하면, 입력 유닛으로 햅틱 효과를 제공하기 위해 휴대 단말에 디스플레이된 또는 저장된 객체에 대한 항목들(910)에서 이미지 팝업 햅틱 기능을 활성화(on)하면(911), 이미지에 대한 정보를 입력할 수 있는 메타 데이터 선택 메뉴(920)가 활성화된다. 상기 메타 데이터는 상기 이미지에 관한 복수의 정보를 기재할 수 있는 항목들이 있다. 이러한, 메타 데이터에 기재할 수 있는 항목들에 대한 정보는 사용자에 의해 입력된 정보이거나, 휴대 단말(100)에 의해 자동으로 입력될 수 있다. 뿐만 아니라, 본 발명은 이러한 항목들에 대한 정보를 사용자 또는 휴대 단말 모두가 입력할 수 있는데, 이 경우, 각 항목들에 정보를 입력하는 객체의 우선 순위에 따라서 정해진다. 예를 들어, 상기 이미지가 사진일 경우, 메타 데이터에 사진에 찍힌 인물 이름, 사진을 찍은 장소명 그리고, 사진을 찍은 날짜 및 시간을 기재할 수 있다. 상기 인물 이름과 장소명은 사용자에 의해 입력가능하고, 날짜 및 시간 그리고, 장소는 휴대 단말이 촬상된 객체의 헤더를 분석하여 파악함으로써 자동으로 입력될 수 있다.
이와 같이, 이미지에 대한 정보를 입력하여 생성되는 메타 데이터는 저장된다. 그리고, 입력 유닛에 의해 상기 이미지에 근접함에 따른 호버링이 인식되는 경우 햅틱 패턴을 설정한다. 이러한, 햅틱 패턴은 입력 유닛을 진동하기 위한 제어 신호며 진동 주기 및 진동 세기 중 적어도 하나로 설정될 수 있다. 이후, 입력 유닛에 의한 호버링이 인식되면, 에어뷰 기능을 활성화하여 상기 이미지를 확대하여 터치 스크린에 디스플레이하고, 프리뷰 이미지에 상기 메타 데이터 정보를 디스플레이한다. 뿐만 아니라, 휴대 단말(100)은 상기 이미지에 설정된 햅틱 패턴에 따른 제어 신호를 입력 유닛으로 전송하고, 입력 유닛은 수신된 제어 신호를 분석하여 진동 주기 및 진동 세기 중 적어도 하나를 이용하여 햅틱 효과를 제공한다.
도 10은 본 발명의 실시 예에 따른 복수의 객체들에 호버링이 인식되면 객체의 프리뷰 이미지를 디스플레이하고 햅틱 패턴에 따른 제어 신호를 전송하는 과정을 나타낸 순서도이다.
이하, 도 10을 참조하여 본 발명의 실시 예에 따른 복수의 객체들에 호버링이 인식되면 객체의 프리뷰 이미지를 디스플레이하고 햅틱 패턴에 따른 제어 신호를 전송하는 과정을 상세히 설명하면 다음과 같다.
휴대 단말의 터치 스크린 상에 복수개의 객체들이 표시된 상태에서 터치 스크린에 복수의 객체 중 하나의 객체에 대한 호버링을 검출한다. 즉, 휴대 단말은 입력 유닛이 근접함에 따른 호버링이 인식되었는지 파악한다(S1010, S1012). 상기 호버링은 입력 유닛이 터치 스크린 상에 놓여지고 미리 정해진 거리(예: 3mm)보다 가깝게 되면, 마치 터치 스크린을 터치한 것과 유사한 기능을 휴대 단말에 제공하는 것을 의미한다. 상기 미리 정해진 거리는 휴대 단말 제조사 또는 사용자에 의해 가변적으로 변경될 수 있다.
입력 유닛으로 인한 호버링이 인식되면, 호버링이 발생한 위치에 대응하는 객체의 종류를 식별한다(S1014). 휴대 단말의 터치 스크린은 복수의 객체를 디스플레이할 수 있으며, 객체는 동영상, 이미지, 메일, SMS 메시지, MMS 메시지, 워드 문서, 음악 등의 다양한 파일과, 단축 아이콘, 복수의 파일을 그룹화하는 폴더등을 포함한다. 그리고, 객체의 종류가 식별되면, 해당 객체의 내용을 분석한다. 즉, 객체가 이미지이면 상기 이미지에 메타 데이터가 있는지, 상기 객체가 동영상이면, 동영상 중에서 사용자에 의해 미리 설정된 구간이 있는지, 상기 객체가 문서이면, 상기 문서의 내용에 미리 지정된 문자열이 있는지 등을 분석한다. 본 발명에서는 객체를 상술한 종류에 한정하지 않고, 휴대 단말에 저장 또는 디스플레이될 수 있는 모든 종류의 단축 아이콘, 파일등을 포함할 수 있다.
그리고, 식별된 객체에 대한 프리뷰 이미지를 디스플레이하고, 식별된 객체에 대응하여 미리 정해진 햅틱 패턴에 따른 제어 신호를 입력 유닛으로 전송한다(S1016). 상기 프리뷰 이미지는 객체에 호버링이 발생되면, 상기 객체에 지정 또는 설정된 내용을 객체 주변 또는 객체와 오버랩되게 팝업창 형식으로 보여주는 것으로서, 객체의 종류 또는 특성에 따라 사용자에 의해 기 설정된 내용이거나 상기 객체의 상세 내용(contents)일 수 있다. 또한, 상기 프리뷰 이미지는 호버링이 발생된 객체를 확대한 이미지이거나 축소한 이미지일 수 있다. 또한, 상기 프리뷰 이미지는 객체의 종류에 따라 객체의 상세 내용, 객체에 미리 입력된 메타 데이터 및 객체를 확대한 이미지 중 적어도 하나를 포함한다.
그리고, 프리뷰 이미지가 터치 스크린 상에 디스플레이되고 햅틱 패턴에 따른 제어 신호는 휴대 단말에 의해 입력 유닛으로 전송된다. 이러한 햅틱 패턴에 따른 제어 신호는 입력 유닛의 진동 세기 및 진동 주기 중 적어도 하나를 상기 햅틱 패턴으로 제어하는 신호이다. 그리고, 본 발명은 프리뷰 이미지가 디스플레이된 후 햅틱 패턴에 따른 제어 신호를 전송할 수 있고 프리뷰 이미지가 디스플레이되기 전에 햅틱 패턴에 따른 제어 신호를 전송할 수 있다. 또한, 본 발명은 프리뷰 이미지의 디스플레이와 햅틱 패턴에 따른 신호의 전송이 동시에 수행될 수 있다.
그리고, 이러한 햅틱 패턴은 객체의 특성 종류에 따라 미리 설정되고, 입력 유닛과 터치 스크린간의 거리에 따라 다르게 설정될 수 있다. 즉, 객체의 종류, 객체의 개수, 객체의 내용, 객체의 중요도 및 객체의 장르 중 적어도 하나에 따라 햅틱 패턴을 설정하고, 설정된 햅틱 패턴은 저장된다. 상기 중요도는 객체에 따라 사용자가 중요하다고 생각되는 문자열이 미리 설정된 경우, 이러한 문자열을 분석하여 객체의 중요도를 판단한다.
만일, 호버링 위치가 터치 스크린 상의 스크롤 바이면, 햅틱 패턴은 스크롤 바의 상하좌우 움직임으로 인해 변하는 객체의 개수에 따라 다르게 설정될 수 있으며, 설정 결과는 저장된다.
도 11은 본 발명의 실시 예에 따른 복수의 객체들 중에서 임의의 객체에 호버링이 인식되면 객체의 프리뷰 이미지를 디스플레이하는 예시도이다.
도 11a는 휴대 단말의 터치 스크린에 복수의 객체가 디스플레이되는 예시도(1110)이고, 도 11b는 복수의 객체들 중에 임의의 객체에 호버링이 인식되는 예시도(1120)이고, 도 11c는 호버링이 인식된 객체의 프리뷰 이미지를 디스플레이하는 예시도(1130)이다.
도 11을 참조하면, 휴대 단말의 터치 스크린에는 메일(1111), 사진(1112), 워드 파일(1113), 동영상(1114)을 포함하여 다양한 객체가 디스플레이될 수 있다. 이처럼, 복수의 객체들이 디스플레이된 상태에서 입력 유닛(168)에 의해 사진(1121)이 호버링으로 인해 선택 되면, 휴대 단말은 호버링이 발생한 위치에 대응하는 객체(즉, 사진(1121))를 식별하여 객체가 사진임을 파악한다. 그리고, 선택된 사진을 확대한 프리뷰 이미지를 디스플레이하고, 상기 사진에 대해 미리 설정된 햅틱 패턴에 따른 적어도 하나의 제어 신호를 입력 유닛(168)으로 전송한다. 이후, 입력 유닛(168)은 수신된 제어 신호에 대응되는 햅틱 패턴으로 자신을 진동하여 사용자로 하여금 상기 미리 설정된 햅틱 패턴의 진동을 느끼게 한다. 도 11에서는 단지 사진에 대해서 예시하고 있으나, 이는 단지 실시 예일 뿐이다. 만일, 워드 파일(1113)이 선택되면, 워드 파일(1113)의 상세 내용을 프리뷰 이미지로 디스플레이할 수 있다.
도 12는 본 발명의 실시 예에 따른 복수의 객체들이 디스플레이된 상태에서 호버링이 복수의 객체들의 리스트 다운 나타낸 예시도이다.
도 12a는 본 발명의 실시 예에 따른 복수의 객체들을 디스플레이하는 예시도(1210)이고, 도 12b는 복수의 객체들이 디스플레이된 상태에서 호버링이 복수의 객체들의 리스트 다운을 나타낸 예시도(1220)이다.
도 12를 참조하면, 복수의 객체들이 한 화면에 모두 디스플레이되지 못할 경우, 리스트 업 또는 리스트 다운 기능을 통해서 디스플레이되지 못한 객체들을 디스플레이할 수 있다. 이와 같이, 디스플레이되지 못한 객체들을 디스플레이하기 위해서는 입력 유닛(168)을 리스트 업 또는 리스트 다운할 수 있는 아이콘(1222)에 놓으면 휴대 단말(100)은 상기 아이콘(1222)에서의 호버링을 감지하고, 리스트 다운 명령이 입력되었음을 판단한다. 그리고, 현재 터치 스크린에 디스플레이되지 못한 리스트를 상향으로 디스플레이함으로써 디스플레이되지 못한 객체들을 디스플레이 한다. 이때, 객체들의 리스트 업 또는 리스트 다운이 수행되는 중에, 기 설정된 햅틱 패턴에 따른 적어도 하나의 제어 신호는 입력 유닛(168)으로 전송된다. 그리고, 입력 유닛(168)은 수신된 제어 신호를 분석하여 상기 기 설정된 햅틱 패턴에 따라 진동 세기 및 진동 주기 중 적어도 하나를 제어하여 진동한다. 도 7b에 도시된 바와 같이, 상기 햅틱 패턴은 디스플레이되지 못한 객체들의 개수에 따라 다르게 설정될 수 있다. 예를 들어, 도 7b에 도시된 바와 같이, 햅틱 패턴을 객체 개수가 20개 미만, 20개 내지 49개 및 50개 이상의 경우에 따라 각각 다르게 설정할 수 있다. 그리고, 이러한 디스플레이되지 못한 객체들의 개수는 총 개수 중에서 현재 디스플레이되고 있는 개수를 차감하여 판단할 수 있다. 예를 들어, 전화번호부에 총 60개의 전화번호가 저장된 상태에서 현재 디스플레이되고 있는 전화번호의 개수가 처음(알바벳 A)을 시작으로 6개인 경우, 디스플레이되지 못한 전화번호의 개수는 54개가 됨을 알 수 있다. 만일, 현재 디스플레이되고 있는 전화번호부 화면이 중간(알파벳 C)에 해당되는 전화번호인 경우, 중간에 해당되어 디스플레이된 전화번호 이후의 디스플레이되지 못한 전화번호(알파벳 D부터 Z)의 개수를 파악할 수 있다.
도 13은 본 발명의 실시 예에 따른 객체의 메타 데이터를 프리뷰 이미지로 디스플레이하고 햅틱 패턴에 따른 제어 신호를 입력 유닛으로 전송하는 과정을 나타낸 순서도를 나타내고, 도 14는 본 발명의 실시 예에 따른 객체의 메타 데이터를 프리뷰 이미지로 디스플레이하는 예시도이다.
이하, 도 13 및 도 14를 참조하여, 본 발명의 실시 예에 따른 객체의 메타 데이터를 프리뷰 이미지로 디스플레이하고 햅틱 패턴에 따른 제어 신호를 입력 유닛으로 전송하는 과정을 상세히 설명하면 다음과 같다.
휴대 단말의 터치 스크린 상에 복수개의 객체들이 표시된 상태에서 입력 유닛이 근접함에 따른 호버링이 인식되었는지 파악한다(S1310, S1312). 상기 과정(S1312)에서 호버링이 인식되면, 에어뷰 기능이 설정되어 있는지 체크한다(S1314). 상기 에어뷰 기능은 프리뷰 이미지를 디스플레이하기 위한 기본 설정으로서, 마치 터치 스크린 상에 표시된 객체 위에 프리뷰 이미지를 중첩되게 보여주는 기능이다. 프리뷰 이미지를 디스플레이하기 위해서는 에어뷰 기능이 활성화되어야 한다.
이러한, 에어뷰 기능이 설정되어 있으면, 호버링이 발생한 위치에 대응하는 객체에 대한 프리뷰 내용(1411)을 결정한다(S1316). 휴대 단말은 호버링이 발생한 위치에 대응되는 객체가 이미지 인지 동영상인지를 파악하고, 디스플레이하고자 하는 프리뷰 이미지를 결정한다. 즉, 객체가 이미지로 파악되면, 상기 이미지의 내용이 저장된 메타 데이터를 프리뷰 이미지로 디스플레이하고, 객체가 동영상이면, 상기 호버링이 발생한 위치로 동영상을 스킵하여 재생한다. 호버링이 발생한 위치로 동영상을 스킵하여 재생하고자 하는 경우, 동영상에 대한 기 저장된 메타 데이터를 프리뷰 이미지로 디스플레이 할 수 있다.
상기 과정(S1316)에서 객체에 대한 프리뷰 내용이 결정되면, 프리뷰할 내용 중에 햅틱 패턴이 설정된 메타 데이터가 포함되어 있는지 파악한다(S1318). 상기 메타 데이터는 이미지 또는 동영상에 대한 상세한 정보를 포함하는 것으로서, 객체가 사진과 같은 이미지인 경우 사진속 인물의 이름, 사진이 찍힌 장소명, 사진을 찍은 날짜 및 시간을 포함한다. 그리고, 객체가 동영상인 경우에도 메타 데이터는 사진과 같은 정보를 포함할 수 있으며, 동영상의 총 재생 시간에서 스킵된 부분에 해당되는 재생시간에 관한 정보를 포함할 수 있다. 또는 동영상에 관하여 사용자로부터 입력된 내용을 포함할 수 있다. 본 발명에 따른 메타 데이터는 상술한 정보 외에 사용자의 취미, 성향, 및 욕구에 맞는 다양한 정보를 포함할 수 있다.
상기 과정(S1318)에서 햅틱 패턴이 설정된 메타 데이터가 포함되어 있으면, 결정된 프리뷰할 내용을 에어뷰 기능을 이용하여 프리뷰 이미지로 출력하면서 메타 데이터에 대응하여 미리 정해진 햅틱 패턴에 따른 제어 신호를 입력 유닛으로 전송한다(S1320). 상기 메타 데이터에 대응하는 햅틱 패턴은 사용자에 의해 기 설정될 수 있다.
도 15는 본 발명의 실시 예에 따른 객체의 내용을 프리뷰 이미지로 디스플레이하고, 햅틱 패턴에 따른 제어 신호를 입력 유닛으로 전송하는 과정을 나타낸 순서도이다.
이하, 도 15를 참조하여 본 발명의 실시 예에 따른 객체의 내용을 프리뷰 이미지로 디스플레이하고, 햅틱 패턴에 따른 제어 신호를 입력 유닛으로 전송하는 과정을 상세히 설명하면 다음과 같다.
휴대 단말의 터치 스크린 상에 복수개의 객체들이 표시된 상태에서 입력 유닛이 근접함에 따른 호버링이 인식되었는지 파악한다(S1510, S1512).
그리고, 호버링이 발생한 위치에 대응하는 객체에 대한 프리뷰 내용을 결정한다(S1516). 즉, 휴대 단말은 호버링이 발생한 위치에 대응되는 객체가 메일인지, 문자 메시지인지, 전화번호 리스트인지 결정하고, 결정된 객체의 종류에 따라서 프리뷰 이미지에 디스플레이할 내용의 포맷을 결정하고, 결정된 포맷에 해당 객체의 내용을 디스플레이한다. 예를 들어, 객체가 메일이면, 메일의 세부 내용을 프리뷰 메시지에 디스플레이하고, 객체가 송수신되는 문자 메시지이면 호버링이 발생한 위치에 대응하는 문자 메시지의 세부 내용을 프리뷰 이미지를 통해 디스플레이한다.
그리고, 프리뷰 이미지에 표시할 내용 중에 미리 정해진 문자열이 있는지 체크한다(S1518). 상기 문자열은 사용자의 취향에 따라 미리 정해지며, 문자열을 통해서 해당 객체의 특성을 판별할 수 있다. 예를 들어, 객체에 경제에 관련한 용어들(즉, 물가, 고용율, 주식, 시세, 환율 등등)이 있으면, 상기 객체는 경제 관련한 뉴스 또는 메일로 판별한다. 그리고, 결정된 프리뷰 메시지에 객체의 내용을 디스플레이하면서, 미리 정해진 문자열에 대응하는 미리 정해진 햅틱 패턴에 따른 제어 신호를 입력 유닛으로 전송한다(S1520).
도 16은 본 발명의 실시 예에 따른 객체의 내용을 프리뷰 이미지로 디스플레이하는 예시도를 나타낸 도면이다.
도 16a는 본 발명의 실시 예에 따른 객체가 이메일 또는 기사인 경우 객체의 세부 내용을 프리뷰 이미지로 디스플레이한 예시도이고, 도 16b는 본 발명의 실시 예에 따른 송수신되는 메시지의 내용을 디스플레이한 예시도이고, 도 16c는 본 발명의 실시 예에 따른 전화번호의 세부 내용을 디스플레이한 예시도이다.
도 16을 참조하면(도 16a의 경우), 입력 유닛(168)을 읽고자하는 객체에 위치하면, 상기 입력 유닛(168)에 의해 호버링이 인식된 해당 객체의 세부 내용을 프리뷰 이미지(1611)를 통해 디스플레이한다. 그리고, 또한, 미리 설정된 햅틱 패턴에 따른 제어 신호를 입력 유닛(168)으로 전송하고, 입력 유닛은 제어 신호를 수신하여 입력 유닛의 진동 세기 및 진동 주기 중 적어도 하나를 미리 설정된 햅틱 패턴으로 제어한다. 마찬가지로, 문자열에 따른 객체의 종류(즉, 경제, 정치, 사회, 문화)를 판별하기 위해 종류에 따른 적어도 하나의 단어와 문자열에 따른 햅틱 패턴이 미리 지정될 수 있으며, 이러한 미리 지정된 문자열이 객체의 세부 내용에 포함되어 있으면, 종류에 따라 지정된 햅틱 패턴으로 입력 유닛은 제어된다.
그리고, 송수신 되는 문자의 경우에서도(도 16b), 입력 유닛(168)이 송수신되는 문자들 중에서 임의 메시지에 위치하면, 휴대 단말은 해당 메시지의 상세 내역을 프리뷰 이미지로 디스플레이한다. 그리고, 해당 메시지에 기 설정된 문자열, 상기 기 설정된 문자열에 따른 감정 상태, 및 문자열에 따른 햅틱 패턴이 지정되어 있으면, 수신되는 메시지에 상기 기설정된 문자열이 있는지 체크하고, 상기 체크된 문자열에 해당되는 감정 상태를 통해서 상기 메시지를 송신한 사람의 기분, 느낌, 감정, 상태등을 파악할 수 있다. 그리고, 휴대 단말(100)은 그에 따른 햅틱 패턴에 따른 제어 신호를 입력 유닛으로 전송한다. 예를 들어, 도 16b에서 송수신되는 메시지에서 좌측은 상대방이 작성한 메시지를 나타내고, 우측은 자신이 송신한 메시지를 나타낸다. 이러한 메시지에서 상대방이 "굿 좋아. 보라카이 가자~~"라고 송신한 경우, "굿", "좋아"등을 통해 상대방의 기분이 좋음 또는 어떤 제안에 대한 수락임을 판별할 수 있다. 그리고, 이러한 판별로 인해 상대방의 기분에 따라 기 설정된 햅틱 패턴에 따른 제어 신호를 입력 유닛(168)으로 전송하고, 입력 유닛(168)은 수신된 제어 신호에 따라 진동 세기 및 진동 주기 중 적어도 하나를 제어하여 진동한다. 마찬가지로, 전화 번호 리스트에서도 입력 유닛(168)이 복수의 전화번호들 중에서 임의 전화번호에 위치하면, 프리뷰 이미지(1631)를 생성하여 보다 상세한 내용을 프리뷰 이미지(1631)에 디스플레이한다.
도 17a 내지 도 17i는 본 발명의 실시 예에 따른 다양한 햅틱 패턴의 파형을 나타낸 예시도이다.
도 17a는 객체가 동영상인 경우의 햅틱 패턴의 파형 결과를 나타낸 도면이고, 도 17b는 객체가 이메일인 경우의 햅틱 패턴의 파형 결과를 나타낸 도면이고, 도 17c는 객체가 음악인 경우의 햅틱 패턴의 파형 결과를 나타낸 도면이고, 도 17d는 객체가 이미지인 경우의 햅틱 패턴의 파형 결과를 나타낸 도면이고, 도 17e는 스크롤 시 객체의 개수가 적은 경우의 햅틱 패턴의 파형 결과를 나타낸 도면이고, 도 17f는 스크롤 시 객체의 개수가 보통인 경우의 햅틱 패턴의 파형 결과를 나타낸 도면이고, 도 17g는 스크롤 시 객체의 개수가 많은 경우의 햅틱 패턴의 파형 결과를 나타낸 도면이고, 도 17h는 객체가 문자메시지인 경우의 햅틱 패턴의 파형 결과를 나타낸 도면이고, 도 17i는 객체가 문서인 경우의 햅틱 패턴의 파형 결과를 나타낸 도면이다.
도 17a 내지 도 17i는 휴대 단말(100)에서 전송한 제어 신호를 입력 유닛(168)이 수신하여 분석한 각 객체의 속성에 따른 햅틱 파형의 결과를 나타낸 것이다. 즉, 입력 유닛(168)의 햅틱 제어부(530)는 휴대 단말(100)로부터 수신된 제어 신호를 분석하여 입력 유닛(168)에 구비된 진동 소자(520)로 전달하는데, 도 17a 내지 도 17i는 이때 진동 소자(520)로 유입되는 신호를 센싱하여 분석한 것이며, 입력 유닛(168)은 객체의 속성에 따라 도 17a 내지 도 17i과 같은 파형으로 진동한다. 도 17a 내지 도 17i에 도시된 바와 같이, 본 발명에 따른 객체의 햅틱 패턴은 객체의 속성에 따라 각각 서로 다른 파형을 가질 수 있다. 그리고, 각각의 도면에서 가로축은 제어 신호를 수신하는 시간 축을 나타내고, 세로축은 햅틱 패턴의 진동 세기를 나타낸다. 가로축의 한 칸(도 17a의 1730)은 10ms이고, 세로축의 한 칸(도 17a의 1740)은 1V이다. 도 17b 내지 도 17i에서는 편의상 세로축은 생략하였다.
도 17a를 참조하면, 도 17a는 객체가 동영상인 경우의 햅틱 패턴에 대한 파형을 나타낸 것으로서, 햅틱 제어부(530)는 진동 소자(520)를 활성 모드로 전환하고(1710), 60ms 동안 입력 유닛(168)을 진동시킨 후, 60ms가 지나는 시점(1720)에 다시 진동 소자(520)를 비활성 모드로 전환한다. 상기 60ms 동안 입력 유닛은 객체의 속성에 따라 미리 정해진 햅틱 패턴에 따른 진동 세기 및 진동 주기로 진동된다. 이러한, 진동 세기 및 진동 주기는 가변적으로 설정될 수 있다.
도 17b를 참조하면, 도 17b는 객체가 이메일인 경우의 햅틱 패턴에 대한 파형을 나타낸 것으로서, 입력 유닛(168)의 진동 소자(520)의 활성/비활성의 주기는 동영상보다 비교적 짧음을 알 수 있고, 도 17c를 참조하면, 도 17c는 객체가 음악인 경우 햅틱 패턴에 대한 파형을 나타낸 것으로서, 진동 소자(520)의 활성/비활성 주기가 객체가 동영상인 경우보다 비교적 길며, 파형의 첫 부분과 끝 부분에서 진동 세기가 파형의 중간 부분보다 적음을 알 수 있다. 그리고, 도 17d 및 도 17e를 참조하면, 도 17d는 객체가 이미지인 경우 햅틱 패턴에 대한 파형을 나타낸 것으로서, 진동 소자(520)의 활성/비활성시의 진동 세기는 진동 소자의 진동 중보다 더 크고, 활성부터 비활성까지 지속적으로 진동이 발생했음을 알 수 있다.
그리고, 도 17e 내지 도 17g는 스크롤 시 객체의 개수에 따라 햅틱 패턴에 대한 서로 다른 파형을 가지며, 객체의 잔여 개수에 따라 서로 다른 햅틱 패턴을 가짐을 알 수 있다. 그리고, 도 17h는 객체가 문자메시지인 경우의 파형을 나타낸 것이고, 도 17i는 객체가 문서인 경우의 파형을 나타낸 것으로서, 객체가 문자메시지인 경우의 파형은 진동 소자(520)의 활성 이후부터 비활성까지 진동하고 어느 정도의 시간이 흐른 후, 진동 소자(520)를 다시 활성하여 진동한 후, 비활성한다. 그리고, 객체가 문서인 경우 진동 주기는 문자 메시지인 경우보다 진동 시간이 비교적 짧음을 알 수 있다. 즉, 도 17a 내지 도 17i에 도시된 바와 같이, 각각의 객체의 속성에 따라 설정된 햅틱 패턴의 파형은 서로 다름을 알 수 있다.
본 발명의 실시 예들은 하드웨어, 소프트웨어 또는 하드웨어 및 소프트웨어의 조합의 형태로 실현 가능하다는 것을 알 수 있을 것이다. 이러한 임의의 소프트웨어는 예를 들어, 삭제 가능 또는 재기록 가능 여부와 상관없이, ROM 등의 저장 장치와 같은 휘발성 또는 비휘발성 저장 장치, 또는 예를 들어, RAM, 메모리 칩, 장치 또는 집적 회로와 같은 메모리, 또는 예를 들어 CD, DVD, 자기 디스크 또는 자기 테이프 등과 같은 광학 또는 자기적으로 기록 가능함과 동시에 기계(예를 들어, 컴퓨터)로 읽을 수 있는 저장 매체에 저장될 수 있다. 이동 단말 내에 포함될 수 있는 메모리는 본 발명의 실시 예들을 구현하는 지시들을 포함하는 프로그램 또는 프로그램들을 저장하기에 적합한 기계로 읽을 수 있는 저장 매체의 한 예임을 알 수 있을 것이다. 따라서, 본 발명은 본 명세서의 임의의 청구항에 기재된 장치 또는 방법을 구현하기 위한 코드를 포함하는 프로그램 및 이러한 프로그램을 저장하는 기계로 읽을 수 있는 저장 매체를 포함한다. 또한, 이러한 프로그램은 유선 또는 무선 연결을 통해 전달되는 통신 신호와 같은 임의의 매체를 통해 전자적으로 이송될 수 있고, 본 발명은 이와 균등한 것을 적절하게 포함한다.
또한, 상기 이동 단말은 유선 또는 무선으로 연결되는 프로그램 제공 장치로부터 상기 프로그램을 수신하여 저장할 수 있다. 상기 프로그램 제공 장치는 상기 이동 단말이 기설정된 컨텐츠 보호 방법을 수행하도록 하는 지시들을 포함하는 프로그램, 컨텐츠 보호 방법에 필요한 정보 등을 저장하기 위한 메모리와, 상기 이동 단말과의 유선 또는 무선 통신을 수행하기 위한 통신부와, 상기 이동 단말의 요청 또는 자동으로 해당 프로그램을 상기 호스트 장치로 전송하는 제어부를 포함할 수 있다.
한편, 본 발명의 상세한 설명에서는 구체적인 실시 예에 관해 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 발명의 범위는 설명된 실시 예에 국한되어 정해져서는 안되며 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.
110: 제어부 120: 이동통신 모듈
130: 서브 통신 모듈 140: 멀티미디어 모듈
150: 카메라 모듈 160: 입/출력 모듈
168: 입력 수단 170: 센서 모듈
180: 전원 공급부 190: 터치 스크린

Claims (29)

  1. 휴대 단말이 입력 유닛의 햅틱을 제어하는 방법에 있어서,
    터치 스크린에 복수의 객체를 디스플레이하는 과정과,
    상기 터치 스크린에서 어느 하나의 객체에 대한 호버링(hovering)을 검출하는 과정과,
    상기 검출에 응답하여, 상기 객체를 결정하는 과정과,
    상기 호버링이 검출된 객체의 속성(property) 에 기초하여 결정된 햅틱 패턴에 대응되는 제어 신호를 입력 유닛으로 전송하는 과정을 포함하는 것을 특징으로 하는 햅틱 제어 방법.
  2. 제1 항에 있어서,
    상기 객체의 속성에 따라 다르게 설정되는 햅틱 패턴을 저장하는 과정을 더 포함하는 것을 특징으로 하는 햅틱 제어 방법.
  3. 제1 항에 있어서,
    상기 호버링이 검출된 위치에 대응하는 객체의 프리뷰 이미지를 디스플레이하는 과정을 더 포함하는 것을 특징으로 하는 햅틱 제어 방법.
  4. 제1 항에 있어서,
    상기 결정 과정은 상기 객체의 속성 및 상기 객체에 미리 설정된 햅틱 패턴을 결정하는 것을 특징으로 하는 햅틱 제어 방법.
  5. 제1 항에 있어서,
    상기 객체의 속성은 상기 객체의 종류, 상기 객체의 개수, 상기 객체의 내용, 상기 객체의 중요도 및 상기 객체의 장르 중 적어도 하나를 포함하는 것을 특징으로 하는 햅틱 제어 방법.
  6. 제1 항에 있어서,
    상기 제어 신호는 상기 입력 유닛의 진동 세기 및 진동 주기 중 적어도 하나를 이용하여 상기 입력 유닛을 상기 결정된 햅틱 패턴으로 제어하는 신호임을 특징으로 하는 햅틱 제어 방법.
  7. 제3 항에 있어서,
    상기 프리뷰 이미지는 상기 객체의 종류에 따라 상기 객체의 상세 내용, 상기 객체에 미리 입력된 메타 데이터 및 상기 객체를 확대한 이미지 중 적어도 하나를 포함하는 것을 특징으로 하는 햅틱 제어 방법.
  8. 제3 항에 있어서,
    상기 제어 신호에 의한 상기 입력 유닛의 진동과 상기 프리뷰 이미지의 디스플레이는 동시에 수행되거나 상기 입력 유닛의 진동 및 상기 프리뷰 이미지의 디스플레이 중 어느 하나가 먼저 수행되는 것을 특징으로 하는 햅틱 제어 방법.
  9. 제1 항에 있어서,
    상기 입력 유닛과 상기 터치 스크린간의 거리에 따라 다르게 설정되는 햅틱 패턴을 저장하는 것을 특징으로 하는 햅틱 제어 방법.
  10. 제2 항에 있어서,
    상기 저장 과정은 상기 객체의 종류가 이메일, SMS(Short Message Service) 메시지 또는 MMS(Multimedia Message Service) 메시지인 경우, 상기 객체의 내용에 기 설정된 문자열의 포함 유무에 의해 결정되는 중요도에 따라 다르게 설정되는 햅틱 패턴을 저장하는 과정을 포함하는 것을 특징으로 하는 햅틱 제어 방법.
  11. 제2 항에 있어서,
    상기 저장 과정은 상기 객체의 종류가 동영상인 경우, 상기 동영상의 장르에 따라 다르게 설정되는 햅틱 패턴을 저장하는 과정을 포함하는 것을 특징으로 하는 햅틱 제어 방법.
  12. 제2 항에 있어서,
    상기 저장 과정은 상기 호버링이 상기 복수의 객체들의 리스트 업 또는 리스트 다운인 경우, 상기 리스트 업 또는 상기 리스트 다운으로 인해 변하는 객체의 수에 따라 다르게 설정되는 햅틱 패턴을 저장하는 것을 특징으로 하는 햅틱 제어 방법.
  13. 입력 유닛의 햅틱을 제어하는 휴대 단말에 있어서,
    복수의 객체를 디스플레이하는 터치 스크린과,
    상기 복수의 객체 중 어느 하나의 객체에 대한 호버링을 검출하고, 상기검출에 응답하여 상기 객체를 결정하고, 상기 호버링이 검출된 객체의 속성 및 상기 객체의 속성 중 적어도 하나에 기초하여 결정된 햅틱 패턴에 대응되는 제어 신호를 생성하는 제어부와,
    상기 생성된 제어 신호를 입력 유닛으로 송신하는 송수신부를 포함하는 것을 특징으로 하는 휴대 단말.
  14. 제13 항에 있어서,
    상기 제어부는 상기 호버링으로 검출된 객체 및 상기 객체 중 적어도 하나의 객체의 속성을 분석하여 서로 다른 햅틱 패턴에 따른 적어도 하나의 제어 신호를 생성하는 것을 특징으로 하는 휴대 단말.
  15. 제14 항에 있어서,
    상기 객체의 속성은 상기 객체의 종류, 상기 객체의 개수, 상기 객체의 내용, 상기 객체의 중요도 및 상기 객체의 장르 중 적어도 하나를 포함하는 것을 특징으로 하는 휴대 단말.
  16. 제13 항에 있어서,
    상기 제어 신호는 상기 입력 유닛의 진동 세기 및 진동 주기 중 적어도 하나를 이용하여 상기 입력 유닛을 상기 미리 결정된 햅틱 패턴으로 제어하는 신호임을 특징으로 하는 휴대 단말.
  17. 제13 항에 있어서,
    상기 제어부는 상기 호버링이 발생한 위치에 대응하는 객체의 세부 내용을 포함하는 프리뷰 이미지를 상기 터치 스크린을 통해 디스플레이 제어하는 것을 특징으로 하는 휴대 단말.
  18. 제14 항에 있어서,
    상기 생성된 제어 신호는 상기 진동 소자의 활성 정보, 비활성 정보 및 상기 진동 소자의 진동 세기를 나타내는 정보 중 적어도 하나를 포함하며 미리 정해진 기간 동안 반복적으로 상기 입력 유닛으로 전송되는 것을 특징으로 하는 휴대 단말.
  19. 제14 항에 있어서,
    상기 제어 신호는 블루투스 통신을 통해서 상기 송수신부에서 상기 입력 유닛으로 미리 정해진 시간 단위로 전송되는 것을 특징으로 하는 휴대 단말.
  20. 제13 항에 있어서,
    상기 제어부는 상기 제어 신호에 포함된 진동 주기 및 진동 세기 중 적어도 하나에 대응하여 상기 휴대 단말의 진동을 제어하는 것을 특징으로 하는 휴대 단말.
  21. 휴대 단말의 햅틱 제공 방법에 있어서,
    복수의 객체들 각각의 속성에 따라 설정되는 서로 다른 햅틱 패턴을 저장하는 과정과,
    상기 입력 유닛에 의해 어느 하나의 객체에 근접함에 따른 호버링이 인식되는 경우, 상기 호버링이 발생한 위치에 대응하는 객체를 식별하고, 상기 식별된 객체의 속성을 파악하는 과정과,
    상기 객체의 상세 내용, 상기 객체에 미리 입력된 메타 데이터 및 상기 객체를 확대한 이미지 중 적어도 하나를 포함하는 프리뷰 이미지를 디스플레이하고, 상기 객체에 설정된 햅틱 패턴에 따라 상기 휴대 단말의 진동을 제어하는 과정을 포함하는 것을 특징으로 하는 햅틱 제공 방법.
  22. 제21 항에 있어서,
    상기 햅틱 패턴에 따른 제어 신호를 생성하여 상기 입력 유닛으로 전송하는 과정을 더 포함하는 것을 특징으로 하는 햅틱 제공 방법.
  23. 제22 항에 있어서,
    상기 제어 신호는 상기 입력 유닛의 진동 세기 및 진동 주기 중 적어도 하나를 이용하여 상기 입력 유닛을 상기 결정된 햅틱 패턴으로 제어하는 신호이며, 상기 호버링이 종료되는 시점까지 주기적으로 전송되는 것을 특징으로 하는 햅틱 제공 방법.
  24. 입력 유닛에 있어서,
    진동 소자와,
    휴대 단말과 호버링 중에 상기 휴대 단말로부터 제어 신호를 수신하는 근거리 통신부와,
    상기 수신된 제어 신호에 대응되게 상기 진동 소자를 제어하는 햅틱 제어부를 포함하되,
    상기 제어 신호는 상기 호버링이 검출되는 객체의 속성에 대응되게 상기 진동 소자의 활성, 상기 진동 소자의 비활성, 상기 진동 소자의 진동 주기 및 진동 세기 중 적어도 하나를 제어하기 위한 신호임을 특징으로 하는 입력 유닛.
  25. 제24 항에 있어서,
    유도 자계를 발생하는 코일을 더 포함하는 것을 특징으로 하는 입력 유닛.
  26. 제24 항에 있어서,
    상기 진동 소자의 진동 주기 및 진동 세기 중 적어도 하나에 대응되는 소리를 출력하는 스피커를 더 포함하는 것을 특징으로 하는 입력 유닛.
  27. 제24 항에 있어서,
    상기 햅틱 제어부는 상기 호버링이 발생되면 상기 진동 소자를 활성하고, 상기 호버링이 종료되거나 상기 휴대 단말과 상기 입력 유닛 간의 거리가 미리 정해진 거리 이상이면 상기 진동 소자를 비활성하는 것을 특징으로 하는 입력 유닛.
  28. 제26 항에 있어서,
    상기 스피커는 상기 진동 소자의 활성에 따른 소리, 상기 진동 소자의 비활성에 따른 소리 및 상기 진동 세기에 따라 볼륨이 제어된 소리 중 적어도 하나를 미리 정해진 시간 또는 상기 호버링을 인식하는 동안에 출력하는 것을 특징으로 하는 입력 유닛.
  29. 입력 유닛에서 햅틱 효과를 제공하는 방법에 있어서,
    휴대 단말에 표시되는 복수의 객체 중 어느 하나의 객체에 대면되게 호버링하는 과정과,
    상기 휴대 단말로부터 상기 호버링이 검출되는 객체의 속성에 대응되는 제어 신호를 수신하는 과정과,
    상기 수신된 제어 신호에 대응되게 입력 유닛에 내장되는 진동 소자의 진동 주기 및 진동 세기 중 적어도 하나를 이용하여 상기 진동 소자를 제어하는 과정을 포함하되,
    상기 제어 신호는 상기 진동 소자를 활성하기 위한 정보, 상기 진동 소자를 비활성하기 위한 정보, 상기 진동 소자의 진동 주기 및 상기 진동 소자의 진동 세기 중 적어도 하나를 포함하는 것을 특징으로 하는 햅틱 효과 제공 방법.
KR1020120146773A 2012-12-14 2012-12-14 입력 유닛의 피드백을 제어하는 휴대 단말 및 방법과, 이를 제공하는 상기 입력 유닛 및 방법 Expired - Fee Related KR102091077B1 (ko)

Priority Applications (8)

Application Number Priority Date Filing Date Title
KR1020120146773A KR102091077B1 (ko) 2012-12-14 2012-12-14 입력 유닛의 피드백을 제어하는 휴대 단말 및 방법과, 이를 제공하는 상기 입력 유닛 및 방법
RU2015128297A RU2669087C2 (ru) 2012-12-14 2013-12-16 Способ и устройство управления тактильной отдачей инструмента ввода для терминала мобильной связи
AU2013360490A AU2013360490B2 (en) 2012-12-14 2013-12-16 Method and apparatus for controlling haptic feedback of an input tool for a mobile terminal
CN201380064789.0A CN104838340B (zh) 2012-12-14 2013-12-16 控制用于移动终端的输入工具的触觉反馈的方法和设备
US14/107,491 US9239622B2 (en) 2012-12-14 2013-12-16 Method and apparatus for controlling haptic feedback of an input tool for a mobile terminal
PCT/KR2013/011663 WO2014092512A1 (en) 2012-12-14 2013-12-16 Method and apparatus for controlling haptic feedback of an input tool for a mobile terminal
EP13861594.3A EP2932360B1 (en) 2012-12-14 2013-12-16 Method and apparatus for controlling haptic feedback of an input tool for a mobile terminal
US15/000,669 US9483120B2 (en) 2012-12-14 2016-01-19 Method and apparatus for controlling haptic feedback of an input tool for a mobile terminal

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120146773A KR102091077B1 (ko) 2012-12-14 2012-12-14 입력 유닛의 피드백을 제어하는 휴대 단말 및 방법과, 이를 제공하는 상기 입력 유닛 및 방법

Publications (2)

Publication Number Publication Date
KR20140077697A true KR20140077697A (ko) 2014-06-24
KR102091077B1 KR102091077B1 (ko) 2020-04-14

Family

ID=50930303

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120146773A Expired - Fee Related KR102091077B1 (ko) 2012-12-14 2012-12-14 입력 유닛의 피드백을 제어하는 휴대 단말 및 방법과, 이를 제공하는 상기 입력 유닛 및 방법

Country Status (7)

Country Link
US (2) US9239622B2 (ko)
EP (1) EP2932360B1 (ko)
KR (1) KR102091077B1 (ko)
CN (1) CN104838340B (ko)
AU (1) AU2013360490B2 (ko)
RU (1) RU2669087C2 (ko)
WO (1) WO2014092512A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11809626B2 (en) 2017-05-18 2023-11-07 Atmel Corporation Techniques for identifying user interface elements and systems and devices using the same

Families Citing this family (69)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102091077B1 (ko) * 2012-12-14 2020-04-14 삼성전자주식회사 입력 유닛의 피드백을 제어하는 휴대 단말 및 방법과, 이를 제공하는 상기 입력 유닛 및 방법
JP2014183559A (ja) * 2013-03-21 2014-09-29 Casio Comput Co Ltd 報知制御装置、報知制御方法及びプログラム
US9411422B1 (en) * 2013-12-13 2016-08-09 Audible, Inc. User interaction with content markers
KR20160011388A (ko) * 2014-07-22 2016-02-01 삼성전자주식회사 전자 장치의 화면 표시 방법 및 그 전자 장치
KR102096146B1 (ko) 2014-09-02 2020-04-28 애플 인크. 가변 햅틱 출력을 위한 시맨틱 프레임워크
FR3026866B1 (fr) * 2014-10-02 2019-09-06 Dav Dispositif et procede de commande pour vehicule automobile
FR3026867B1 (fr) * 2014-10-02 2026-01-16 Dav Dispositif et procede de commande pour vehicule automobile
EP3265882A4 (en) * 2015-03-03 2018-10-24 Immersion Corporation Wearable device surface haptics interaction
US20160334901A1 (en) * 2015-05-15 2016-11-17 Immersion Corporation Systems and methods for distributing haptic effects to users interacting with user interfaces
US9990078B2 (en) 2015-12-11 2018-06-05 Immersion Corporation Systems and methods for position-based haptic effects
US12299210B2 (en) * 2016-03-31 2025-05-13 Sensel, Inc. Human-computer interface system
DK201670737A1 (en) * 2016-06-12 2018-01-22 Apple Inc Devices, Methods, and Graphical User Interfaces for Providing Haptic Feedback
DK179823B1 (en) 2016-06-12 2019-07-12 Apple Inc. DEVICES, METHODS, AND GRAPHICAL USER INTERFACES FOR PROVIDING HAPTIC FEEDBACK
US10296089B2 (en) * 2016-08-10 2019-05-21 Microsoft Technology Licensing, Llc Haptic stylus
DK201670720A1 (en) 2016-09-06 2018-03-26 Apple Inc Devices, Methods, and Graphical User Interfaces for Generating Tactile Outputs
US10268273B1 (en) 2016-09-09 2019-04-23 Apple Inc. Stylus with multiple inputs
US10725544B1 (en) 2016-09-09 2020-07-28 Apple Inc. Pencil haptics
US10268288B1 (en) 2016-09-20 2019-04-23 Apple Inc. Stiffness rendering for a pencil
US10249044B2 (en) * 2016-12-30 2019-04-02 Facebook, Inc. Image segmentation with touch interaction
CN106774948B (zh) * 2017-02-16 2024-07-12 江西卓讯微电子有限公司 触摸屏及电子装置
CN107015640A (zh) * 2017-02-23 2017-08-04 珠海市魅族科技有限公司 终端控制振动的方法及装置
US10732714B2 (en) 2017-05-08 2020-08-04 Cirrus Logic, Inc. Integrated haptic system
KR102389063B1 (ko) 2017-05-11 2022-04-22 삼성전자주식회사 햅틱 피드백을 제공하는 방법 및 이를 수행하는 전자 장치
DK201770372A1 (en) 2017-05-16 2019-01-08 Apple Inc. TACTILE FEEDBACK FOR LOCKED DEVICE USER INTERFACES
US11259121B2 (en) 2017-07-21 2022-02-22 Cirrus Logic, Inc. Surface speaker
JP2019066960A (ja) * 2017-09-28 2019-04-25 日本電産株式会社 振動システム
US10455339B2 (en) * 2018-01-19 2019-10-22 Cirrus Logic, Inc. Always-on detection systems
US10620704B2 (en) 2018-01-19 2020-04-14 Cirrus Logic, Inc. Haptic output systems
US11139767B2 (en) 2018-03-22 2021-10-05 Cirrus Logic, Inc. Methods and apparatus for driving a transducer
US10795443B2 (en) 2018-03-23 2020-10-06 Cirrus Logic, Inc. Methods and apparatus for driving a transducer
US10820100B2 (en) 2018-03-26 2020-10-27 Cirrus Logic, Inc. Methods and apparatus for limiting the excursion of a transducer
US10832537B2 (en) 2018-04-04 2020-11-10 Cirrus Logic, Inc. Methods and apparatus for outputting a haptic signal to a haptic transducer
US11069206B2 (en) 2018-05-04 2021-07-20 Cirrus Logic, Inc. Methods and apparatus for outputting a haptic signal to a haptic transducer
US11269415B2 (en) 2018-08-14 2022-03-08 Cirrus Logic, Inc. Haptic output systems
CN109451146B (zh) * 2018-10-15 2021-07-27 维沃移动通信有限公司 一种振动处理方法及终端
GB201817495D0 (en) 2018-10-26 2018-12-12 Cirrus Logic Int Semiconductor Ltd A force sensing system and method
US12035445B2 (en) 2019-03-29 2024-07-09 Cirrus Logic Inc. Resonant tracking of an electromagnetic load
US10992297B2 (en) 2019-03-29 2021-04-27 Cirrus Logic, Inc. Device comprising force sensors
US10726683B1 (en) 2019-03-29 2020-07-28 Cirrus Logic, Inc. Identifying mechanical impedance of an electromagnetic load using a two-tone stimulus
US11509292B2 (en) 2019-03-29 2022-11-22 Cirrus Logic, Inc. Identifying mechanical impedance of an electromagnetic load using least-mean-squares filter
US10955955B2 (en) 2019-03-29 2021-03-23 Cirrus Logic, Inc. Controller for use in a device comprising force sensors
US11644370B2 (en) 2019-03-29 2023-05-09 Cirrus Logic, Inc. Force sensing with an electromagnetic load
US10828672B2 (en) 2019-03-29 2020-11-10 Cirrus Logic, Inc. Driver circuitry
US11283337B2 (en) 2019-03-29 2022-03-22 Cirrus Logic, Inc. Methods and systems for improving transducer dynamics
US11150733B2 (en) 2019-06-07 2021-10-19 Cirrus Logic, Inc. Methods and apparatuses for providing a haptic output signal to a haptic actuator
US10976825B2 (en) 2019-06-07 2021-04-13 Cirrus Logic, Inc. Methods and apparatuses for controlling operation of a vibrational output system and/or operation of an input sensor system
WO2020254788A1 (en) 2019-06-21 2020-12-24 Cirrus Logic International Semiconductor Limited A method and apparatus for configuring a plurality of virtual buttons on a device
JP2021026618A (ja) * 2019-08-07 2021-02-22 ソニー株式会社 生成装置、生成方法、プログラム及び触覚提示デバイス
US11755117B2 (en) * 2019-09-25 2023-09-12 Sony Group Corporation Information processing device, information processing method, and server device
US11408787B2 (en) 2019-10-15 2022-08-09 Cirrus Logic, Inc. Control methods for a force sensor system
US11380175B2 (en) 2019-10-24 2022-07-05 Cirrus Logic, Inc. Reproducibility of haptic waveform
US12276687B2 (en) 2019-12-05 2025-04-15 Cirrus Logic Inc. Methods and systems for estimating coil impedance of an electromagnetic transducer
US11545951B2 (en) 2019-12-06 2023-01-03 Cirrus Logic, Inc. Methods and systems for detecting and managing amplifier instability
US11662821B2 (en) 2020-04-16 2023-05-30 Cirrus Logic, Inc. In-situ monitoring, calibration, and testing of a haptic actuator
US12244253B2 (en) 2020-04-16 2025-03-04 Cirrus Logic Inc. Restricting undesired movement of a haptic actuator
JP2022012375A (ja) * 2020-07-01 2022-01-17 株式会社東海理化電機製作所 触感呈示装置、触感呈示システム、制御装置、およびコンピュータプログラム
US20260056621A1 (en) * 2020-07-03 2026-02-26 Cirque Corporation Human-computer interface system
US11604516B2 (en) * 2020-12-17 2023-03-14 Disney Enterprises, Inc. Haptic content presentation and implementation
US12159337B2 (en) 2021-01-08 2024-12-03 Samsung Electronics Co., Ltd. Structural assembly for digital human interactive display
US11543931B2 (en) * 2021-01-27 2023-01-03 Ford Global Technologies, Llc Systems and methods for interacting with a tabletop model using a mobile device
US11775084B2 (en) * 2021-04-20 2023-10-03 Microsoft Technology Licensing, Llc Stylus haptic component arming and power consumption
US11933822B2 (en) 2021-06-16 2024-03-19 Cirrus Logic Inc. Methods and systems for in-system estimation of actuator parameters
US11765499B2 (en) 2021-06-22 2023-09-19 Cirrus Logic Inc. Methods and systems for managing mixed mode electromechanical actuator drive
US11908310B2 (en) 2021-06-22 2024-02-20 Cirrus Logic Inc. Methods and systems for detecting and managing unexpected spectral content in an amplifier system
US11868600B2 (en) * 2021-08-04 2024-01-09 Toyota Research Institute, Inc. Ranked choice on an absolute scale
US20240338078A1 (en) * 2021-09-09 2024-10-10 Toyoda Gosei Co., Ltd. Tactile presentation device
US11552649B1 (en) 2021-12-03 2023-01-10 Cirrus Logic, Inc. Analog-to-digital converter-embedded fixed-phase variable gain amplifier stages for dual monitoring paths
US11954256B2 (en) * 2021-12-17 2024-04-09 Google Llc Haptic interface for computing devices
WO2024127783A1 (ja) * 2022-12-12 2024-06-20 アルプスアルパイン株式会社 スタイラスペン、及び、入力システム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090054362A (ko) * 2007-11-26 2009-05-29 한국전자통신연구원 촉각 피드백이 가능한 입력 장치, 이를 이용한 촉각 상호작용 시스템 및 방법
US20120127088A1 (en) * 2010-11-19 2012-05-24 Apple Inc. Haptic input device

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6429846B2 (en) * 1998-06-23 2002-08-06 Immersion Corporation Haptic feedback for touchpads and other touch controls
JP4736605B2 (ja) 2005-08-01 2011-07-27 ソニー株式会社 表示装置、情報処理装置、及びその制御方法
RU2450318C2 (ru) * 2006-07-26 2012-05-10 Ей-Джин ОХ Устройство ввода символов и способ его применения
JP2008033739A (ja) * 2006-07-31 2008-02-14 Sony Corp 力覚フィードバックおよび圧力測定に基づくタッチスクリーンインターラクション方法および装置
DE202007014957U1 (de) * 2007-01-05 2007-12-27 Apple Inc., Cupertino Multimediakommunikationseinrichtung mit Berührungsbildschirm, der auf Gesten zur Steuerung, Manipulierung und Editierung von Mediendateien reagiert
KR100814685B1 (ko) 2007-10-12 2008-03-18 그로위드(주) 진동 마우스 구동 장치
US8253686B2 (en) * 2007-11-26 2012-08-28 Electronics And Telecommunications Research Institute Pointing apparatus capable of providing haptic feedback, and haptic interaction system and method using the same
US8004501B2 (en) 2008-01-21 2011-08-23 Sony Computer Entertainment America Llc Hand-held device with touchscreen and digital tactile pixels
US8487759B2 (en) * 2009-09-30 2013-07-16 Apple Inc. Self adapting haptic device
US8347221B2 (en) * 2009-10-07 2013-01-01 Research In Motion Limited Touch-sensitive display and method of control
CN102822784A (zh) * 2010-03-31 2012-12-12 诺基亚公司 用于虚拟触笔的装置、方法和计算机程序
US20120120002A1 (en) * 2010-11-17 2012-05-17 Sony Corporation System and method for display proximity based control of a touch screen user interface
US20120180001A1 (en) * 2011-01-06 2012-07-12 Research In Motion Limited Electronic device and method of controlling same
KR101771896B1 (ko) * 2011-11-18 2017-08-28 센톤스 아이엔씨. 국소형 햅틱 피드백
KR101919052B1 (ko) 2012-06-04 2018-11-16 삼성전자주식회사 좌표 표시 장치 및 좌표 표시 장치의 입력 좌표를 측정하는 좌표 측정 장치
KR102091077B1 (ko) * 2012-12-14 2020-04-14 삼성전자주식회사 입력 유닛의 피드백을 제어하는 휴대 단말 및 방법과, 이를 제공하는 상기 입력 유닛 및 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090054362A (ko) * 2007-11-26 2009-05-29 한국전자통신연구원 촉각 피드백이 가능한 입력 장치, 이를 이용한 촉각 상호작용 시스템 및 방법
US20120127088A1 (en) * 2010-11-19 2012-05-24 Apple Inc. Haptic input device

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11809626B2 (en) 2017-05-18 2023-11-07 Atmel Corporation Techniques for identifying user interface elements and systems and devices using the same

Also Published As

Publication number Publication date
KR102091077B1 (ko) 2020-04-14
US9239622B2 (en) 2016-01-19
CN104838340B (zh) 2018-10-19
US9483120B2 (en) 2016-11-01
RU2669087C2 (ru) 2018-10-08
RU2015128297A (ru) 2017-01-23
US20140168124A1 (en) 2014-06-19
AU2013360490A1 (en) 2015-07-16
WO2014092512A1 (en) 2014-06-19
CN104838340A (zh) 2015-08-12
EP2932360A4 (en) 2016-09-07
AU2013360490B2 (en) 2019-04-04
US20160132118A1 (en) 2016-05-12
EP2932360B1 (en) 2020-03-25
EP2932360A1 (en) 2015-10-21

Similar Documents

Publication Publication Date Title
KR102091077B1 (ko) 입력 유닛의 피드백을 제어하는 휴대 단말 및 방법과, 이를 제공하는 상기 입력 유닛 및 방법
KR102184288B1 (ko) 입력 유닛에 햅틱 효과를 제공하는 휴대 단말 및 방법
KR102178845B1 (ko) 햅틱을 제어하는 휴대 단말 및 방법
CN105074624B (zh) 用于提供触觉效果的便携式终端和方法
KR102081817B1 (ko) 디지타이저 모드 전환 방법
KR102035305B1 (ko) 휴대 단말에서 햅틱 효과를 제공하는 방법 및 기계로 읽을 수 있는 저장 매체 및 휴대 단말
KR102104910B1 (ko) 입력 유닛에 촉각 피드백을 제공하는 휴대 장치 및 그 방법
KR102090964B1 (ko) 터치 스크린에 디스플레이되는 아이콘을 제어하는 휴대 단말 및 방법
KR101815720B1 (ko) 진동 제어 방법 및 장치
KR20140097902A (ko) 햅틱 패턴을 생성하는 휴대 단말 및 방법
KR102155836B1 (ko) 터치 스크린 상에서 객체 디스플레이를 제어하는 휴대 단말 및 방법
KR20140147557A (ko) 제스처를 감지하여 기능을 제어하는 휴대 단말 및 방법
KR20140076261A (ko) 펜을 이용한 사용자 인터페이스 제공 단말 및 방법
KR20140111790A (ko) 가상 키보드에서 난수를 이용한 키 입력 방법 및 장치
KR20140137616A (ko) 다자간 대화를 제어하는 휴대 단말 및 방법
KR20140134940A (ko) 터치 스크린을 제어하는 휴대 단말 및 방법 및 이를 위한 시스템
CN103677480B (zh) 用于测量坐标的设备及其控制方法
KR20150007862A (ko) 데이터 제공을 제어하는 휴대 단말 및 방법
KR20150007577A (ko) 데이터 병합을 제어하는 휴대 단말 및 방법
KR20150008963A (ko) 스크린을 제어하는 휴대 단말 및 방법
KR20140137629A (ko) 이어폰 연결을 감지하는 휴대 단말 및 방법
KR20150044757A (ko) 플로팅 입력에 따라 동작을 제어하는 전자 장치 및 그 방법
KR20140113757A (ko) 핑거프린트를 이용하여 미디어를 수신하는 휴대 단말 및 방법

Legal Events

Date Code Title Description
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

AMND Amendment
P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

A201 Request for examination
AMND Amendment
E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

AMND Amendment
P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E601 Decision to refuse application
PE0601 Decision on rejection of patent

St.27 status event code: N-2-6-B10-B15-exm-PE0601

X091 Application refused [patent]
AMND Amendment
E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

PX0901 Re-examination

St.27 status event code: A-2-3-E10-E12-rex-PX0901

PX0701 Decision of registration after re-examination

St.27 status event code: A-3-4-F10-F13-rex-PX0701

X701 Decision to grant (after re-examination)
GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

PC1903 Unpaid annual fee

St.27 status event code: A-4-4-U10-U13-oth-PC1903

Not in force date: 20230314

Payment event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

PC1903 Unpaid annual fee

St.27 status event code: N-4-6-H10-H13-oth-PC1903

Ip right cessation event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

Not in force date: 20230314

R18 Changes to party contact information recorded

Free format text: ST27 STATUS EVENT CODE: A-5-5-R10-R18-OTH-X000 (AS PROVIDED BY THE NATIONAL OFFICE)

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

R18 Changes to party contact information recorded

Free format text: ST27 STATUS EVENT CODE: A-5-5-R10-R18-OTH-X000 (AS PROVIDED BY THE NATIONAL OFFICE)

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

R18 Changes to party contact information recorded

Free format text: ST27 STATUS EVENT CODE: A-5-5-R10-R18-OTH-X000 (AS PROVIDED BY THE NATIONAL OFFICE)

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000