BRPI0823080B1 - Sistema para a utilização de uma interface de usuário baseada em gestos, método para a utilização de uma interface de usuário baseada em gestos e meio legível por computador - Google Patents

Sistema para a utilização de uma interface de usuário baseada em gestos, método para a utilização de uma interface de usuário baseada em gestos e meio legível por computador Download PDF

Info

Publication number
BRPI0823080B1
BRPI0823080B1 BRPI0823080-3A BRPI0823080A BRPI0823080B1 BR PI0823080 B1 BRPI0823080 B1 BR PI0823080B1 BR PI0823080 A BRPI0823080 A BR PI0823080A BR PI0823080 B1 BRPI0823080 B1 BR PI0823080B1
Authority
BR
Brazil
Prior art keywords
gesture
primary
input device
processor
gestures
Prior art date
Application number
BRPI0823080-3A
Other languages
English (en)
Inventor
Glenn A. Wong
Mark C. Solomon
Original Assignee
Hewlett-Packard Development Company, L.P
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hewlett-Packard Development Company, L.P filed Critical Hewlett-Packard Development Company, L.P
Publication of BRPI0823080A2 publication Critical patent/BRPI0823080A2/pt
Publication of BRPI0823080B1 publication Critical patent/BRPI0823080B1/pt

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

sistema para a utilização de uma interface de usuário baseada em gestos, método para a utilização de uma interface de usuário baseada em gestos e meio legível por computador a invenção provê um sistema e um método para a utilização de uma interface de usuário baseada em gesto. o sistema inclui um dispositivo de entrada do operador e um processador. o dispositivo de entrada do operador detecta gestos e múltiplos pontos de toque simultaneamente. uma área de entrada do dispositivo de entrada do operador inclui uma pluralidade de zonas de detecção de gesto. o processador é acoplado ao dispositivo de entrada do operador. o processador executa um software programado de identificação de gesto que processa as entradas a partir do dispositivo de entrada. o programa de identificação de gesto faz com que o processador identifique um gesto primário e, simultaneamente, um gesto secundário execute uma função de processamento com base, pelo menos em parte, no gesto primário e na zona de detecção de gesto, na qual o gesto secundário foi detectado.

Description

Antecedentes da invenção
Ao longo dos anos, sistemas de interface de usuário de vários tipos foram desenvolvidos para facilitar o controle de computadores ê~ outros dispositivos eletrônicos. Os comutadores simples e botões são suficientes para prover informações de entrada ao operador para alguns dispositivos eletrônicos. Os sistemas de computação, por outro lado, têm geralmente empregado dados mais flexíveis e meios de controle de entrada. 'A entrada de dados pelo teclado prevalece no 15 ambiente de linha de comando, e a flexibilidade da entrada de dado.s pelo, teclado determina -cue alguma forma de entrada de dados pelo teclado, por exemplo, a entrada de dados pelo teclado, fácil ou dificil, seja mantida, provavelmente, no futuro próximo
A utilização de dispositivos apontadores aumentou com o surgimento das interfaces gráficas de usuário. O mouse, - trackball, touchpad, joystick, etc, “ são frequentemente utilizados para direcionar o movimento de um cursor na tela de exibição de uma interface gráfica de usuário.
As tecnologias de tela sensivel ao toque permitem que a superfície, ou a superfície próxima, de uma tela sirva como um dispositivo de interface de usuário. A tela sensivel ao toque detecta a entrada do usuário na forma de toques na tela, ou toques próximos da tela, quando 30 " utiliza algumas”tecnologias de tela sensivel ao toque. As telas sensíveis ao toque são vantajosas já que nenhum dispositivo de entrada dedicado, além do dispositivo de detecção de toque acoplado a tela, é requerido. Uma variedade de tecnologias de tela sensivel ao toque está 35 disponivel, incluindo resistiva, capacitiva, infravermelho, ondas acústicas de superficie, e video, cada uma com suas vantagens e desvantagens.
Os sistemas de tela sensível ao toque permitem a identificação de múltiplos pontos de toque e se tornaram de modo crescente, populares. Estes sistemas permitem a utilização de gestos (por exemplo, o movimento da mão ou 5 do dedo) e/ou um movimento de arraste ("chording") (por exemplo, a utilização simultânea de múltiplos pontos de toque do dedo ou da mão) para aumentar e simplificar as operações da tela sensível ao tóqüé*. No entanto, como um grande vocabulário de comandos em um sistema de linha de 10 comando, um conjunto extenso de gestos pode ser difícil para um usuário relembrar. Além disso, muitos gestos concebíveis podem implicar em movimentos não naturais.
Breve descrição dos desenhos
Para uma descrição detalhada das construções 15 exemplificativas da invenção, será feita referência agora com os desenhos, que a .acompanham, nos- quais:
A figura 1 ilustra um sistema que inclui zonas de detecção de gesto de acordo com várias construções;
A figura 2 ilustra um diagrama de bjLocqs de .um .sistema 20 incluindo zonas de detecção de gesto de acordo com várias construções; e
A -figura- 3— itust-ra -um- fluxogramã ~parã üfn método de implementação de zonas de detecção de gesto de acordo com várias construções.
Notação e nomenclatura
Determinados termos são utilizados durante a descrição e reivindicações a seguir para se referir a componentes de sistemas específicos. Como um técnico no assunto poderá apreciar, empresas de computação podem referir-se a um 30 ''componente põr home’s diferentes. Este documento não tem a intenção de distinguir entre os componentes que diferem no nome, mas não em função. Na descrição e nas reivindicações a seguir, os termos "incluindo" e "compreendendo" são utilizados em uma forma ilimitada, e, 35 portanto, devem ser interpretados para significar "incluindo, mas não limitado a. . ." Além disso, o termo "acoplado" ou "acoplados" é destinado a significar tanto uma conexão elétrica indireta, direta, óptica ou sem fio. Assim, se um primeiro dispositivo acoplar a um segundo dispositivo, tal conexão pode ser através de uma conexão elétrica direta, através de uma conexão elétrica indireta 5 através de outros dispositivos e conexões, através de uma conexão elétrica óptica, ou através de uma conexão elétrica sem fio. Além disso, o termo "software" inclui qualquer código executável capaz de executar um programa ("running") em um processador, independentemente da midia 10 utilizada para armazenar o software. Assim, o código armazenado na memória (por exemplo, a memória não- volátil) , e ocasionalmente referido como "firmware embutido", está incluido na definição de software.
Descrição detalhada da invenção
A descrição a seguir é direcionada a várias construções _ da invenção. Apesar de uma ou mais ' destas construções poder ser preferida, as construções descritas não devem ser interpretadas, ou de outra forma utilizadas, como limitativas do escopo da .invenção, incluindo as reivindicações. Adicionalmente, um técnico no assunto entenderá que a descrição a seguir tem ampla aplicação, e a descrição de ’qualquer construção tem o propósito apenas de ser exemplificativa dessa construção, e não se destina ao detalhamento ao qual o escopo de proteção da invenção, 25 incluindo as reivindicações, está limitado.
Nos sistemas que utilizam dispositivos de entrada baseados em gesto, por exemplo, uma tela sensivel ao toque capaz de detectar gestos e/ou múltiplos pontos de toque, progressivamente, grandes conjuntos de gestos têm 30 sido desenvolvidos para permitir a seleção de funções do sistema. Infelizmente, grandes conjuntos de gestos podem resultar que pelo menos alguns dos gestos requeiram movimentos não naturais ou um gesto sendo composto de múltiplos gestos sequenciais. As construções da presente 35 descrição incluem um novo modo de entrada baseado em gesto, que pode empregar um único gesto primário para selecionar uma de uma pluralidade de funções de processamento. Assim, as construções vantajosamente evitam a necessidade de gestos não naturais ou gestos sequencialmente compostos.
A figura 1 ilustra um sistema 100 que inclui zonas de 5 detecção de gesto, para utilização simultânea com gestos primário e secundário de acordo com várias construções. O sistema 100 inclui uma tela visual 110, um dispositivo de entrada de toque e/ou gesto 104, um processador 106, e memória de dados/programa 112.
Algumas construções do sistema 100 podem incluir outros dispositivos de entrada, tais como um teclado 108, um mouse, etc. As construções podem também incluir vários subsistemas de entrada/saida para executar, por exemplo, redes de comunicação com fios e/ou sem fio. Na figura 1, 15 o sistema 100 é descrito como um computador portátil, no - entanto,” na prática, o sistema '100 pode ser qualquer üm de uma variedade de dispositivos eletrônicos.
Por exemplo, o sistema 100 pode ser uma tela sensível ao toque ou um telefone baseado em-gesto, assistente pessoal 20 digital, tocador de música, computador de mesa, sistema de navegação por satélite, sistema de jogos ou outro dispositivo capacitado de entrada de gesto.
A tela visual 110 provê informações a um usuário do sistema 100, e pode ser, por exemplo, uma tela de cristal 25 líquido ("LCD"), tela de díodo orgânico emissor de luz ("OLED"), ou qualquer outra tecnologia de tela utilizável com toque e/ou tecnologia de entrada com base em gesto. 0 dispositivo de entrada baseado em toque e/ou gesto 104 provê entradas do operador para o sistema 100 por 30 detecção do contato do operador com o dispositivo 104, ou gestos na proximidade do dispositivo 104, e geração de sinais elétricos representativos do contato detectado e/ou gestos. O dispositivo de entrada 104 pode ser implementado em qualquer de uma variedade de tecnologias, 35 por exemplo, uma resistiva, capacitiva, ondas acústicas de superfícies, infravermelho, ou sistema óptico podem sobrepor a tela visual 110. Em algumas construções, um sistema de video pode ser utilizado para detectar gestos do usuário. As construções do sistema 100 abrangem todos os dispositivos de entrada 100, que detectam o contato do usuário e/ou gestos e converte o contato e/ou gestos 5 detectados em sinais elétricos.
As construções da presente descrição fornecem a capacidade de atribuir várias funções a um gesto. Para fins descritivos, os termos "gesto primário" e "gesto secundário" são aqui utilizados. Um gesto primário e um 10 gesto secundário podem ser utilizados em combinação para selecionar uma função de processamento. Em algumas construções, um gesto secundário é executado em conjunto com e simultaneamente com um gesto primário para selecionar uma operação a ser executada. Os gestos 15 primário e secundário podem ser naturais e fáceis para um usuário executar. Um gesto primário pode ser um primeiro gesto executado para selecionar um conjunto de funções. Um gesto secundário executado em conjunto com o gesto primário pode selecionar um elemento- doconjunto~de 20 funções a ser executado. Em pelo menos algumas construções, os gestos secundários podem ser identificados somente quando executados em areas predeterminadas do dispositivo de entrada 104. Por exemplo, uma construção pode identificar gestos 25 secundários do lado esquerdo do dispositivo de entrada 104 .
Na figura 1, a área de detecção de gesto/toque do dispositivo de entrada 104 é dividida em uma pluralidade _ de zonas de detecção gesto _116, _118 ,.„.12O. „ As zonas de 30 detecção de gesto 116-120 podem ser áreas distintas do dispositivo de entrada 104. Em algumas construções, uma função função de processamento executada em resposta a um gesto primário e secundário é determinada, pelo menos em parte, pela zona de detecção 116-120, na qual o gesto 35 secundário é executado. Pelo menos em algumas construções, o gesto secundário é iniciado antes do ou concomitante com o gesto primário e prolongado por toda a execução de um gesto primário. Por exemplo, se um gesto primário é um movimento descendente ("downward swipe") 122 do dispositivo de entrada 104 com o dedo de um usuário 114 (note que qualquer implementação de gesto 5 pode ser utilizada) , um gesto secundário pode ser um toque no dispositivo de entrada 104 com um segundo dedo 102 em uma zona de detecção selecionada 116-120. O gesto secundário, aqui ilustrado como o contato entre o dedo 102 e a zona 1 116 do dispositivo de entrada 104, pode 10 ser iniciado antes ou, pelo menos, simultaneamente com, o inicio do gesto primário. Além disso, o gesto secundário pode ser prolongado, em algumas construções, enquanto dure o gesto primário. Se, por exemplo, um usuário toca a zona 1 116 enquanto simultaneamente executa o movimento 15 descendente 122, a operação selecionada pode ser, por exêmploT a “seleção de linhas de texto cruzadas pelo movimento 122.
Se, por outro lado, um usuário toca a zona 2 118 enquanto simultaneamente executa o -movimento-descendente 122, uma 20 operação diferente pode ser executada. Por exemplo, linhas de texto cruzadas pelo movimento 122, podem ser removidas do documento mostrado. Conforme mais um exemplo, se um usuário toca a zona 3 120, enquanto simultaneamente executa o movimento descendente 122, uma 25 terceira operação pode ser executada. Por exemplo, as linhas de texto cruzadas pelo movimento 122 podem ser copiadas para uma área temporária de armazenamento.
Assim, através da combinação de um gesto primário com um gesto secundário e _zona.s_ de detecção de ...gesto, as construções da presente invenção, permitem a utilização de um único gesto primário para executar uma pluralidade de funções. Em algumas construções, o número de diferentes funções de processamento correspondentes ao gesto primário, é pelo menos tão maior quanto o número de 35 zonas de detecção de gesto.
Algumas construções permitem simultaneamente, gestos secundários em várias zonas de detecção de gesto. Por exemplo, conforme ilustrado na figura 1, o dedo 102 pode tocar a zona 1 116 enquanto o polegar 124 toca a zona 2 118 . Os dois gestos secundários simultâneos em diferentes zonas de detecção de gesto 116, 118 executados simultaneamente com o gesto primário 122, podem fazer com o que uma operação diferente seja executada além do gesto primário 122 em conjunto com um . único gesto secundário tanto na zona 1 116 quanto na zona 2 118.
As construções aumentam ainda o número de funções 10 executadas utilizando um gesto primário através da seleção de uma operação baseada no gesto secundário executado. Por exemplo, se, conforme acima descrito, em conjunto com um gesto primário 122, um gesto secundário é um único ponto de toque na zona de detecção 1 116, a 15 primeira operação é executada. Se, no entanto, um gesto secundário é múltiplos pontos de toque dentro de uma predeterminada proximidade para uma outra na zona de detecção 1 116, em conjugação com o gesto primário 122, uma operação''diferente pode^ser executada.
Enquanto as construções têm sido descritas nos termos gestos primáriosespecíficos, determinados gestos secundários, e um determinado número de zonas de detecção de gesto, as construções não estão limitadas a qualquer número determinado de zonas de detecção de gesto ou tipos 25 de gestos. Além disso, enquanto a detecção de um gesto secundário em uma determinada zona de detecção de gesto 116-120 pode ser um fator determinante na função de processamento que é selecionada, pelo menos algumas construções permitem que- um gesto primário seja executado 30 em qualquer zona de detecção de gesto 116-120.
O processador 106 do sistema 100 pode ser um microprocessador de uso geral, micro controlador, processador de sinal digital, etc. configurado para executar os softwares programados. Os componentes de um 35 processador são bem conhecidos na técnica, e geralmente incluem unidades de execução (por exemplo, inteira, ponto fixo, ponto flutuante, etc), instruções de decodificação, registros, memórias, portas de entrada/saida, etc, interconectadas por barramentos.
A memória de dados/programa 112 é um meio legivel por computador e está acoplado ao processador 106.
A memória de dados/programa 112 pode incluir várias midias de armazenamento, por exemplo, armazenamento magnético (por exemplo, discos rigidos, disquetes, fitas, etc), armazéharnenfõ óptico ~(pof exemplo, disco compacto,’ disco de video digital, etc), ou memória semicondutora 10 (por exemplo, estática ou memória de acesso aleatório dinâmica ("SRAM" ou "DRAM"), memória somente para leitura ("ROM"), memória FLASH, memória de acesso aleatório magnética ("MRAM"), etc.).
O sistema 100 inclui um software programado armazenado na 15 memória 112, que quando executado pelo processador 106 _provê a identificação degestos-primário e secundário, a criação de zonas de detecção de gesto no dispositivo de entrada 104, e a determinação de uma zona de detecção gesto na qual um gesto é executado. As construções 20 provêem zonas de detecção de gesto e/ou identificação de gesto primário e/ou identificação de gesto secundário, aplicáveis a uma única oura múltiplas “aplicações. Assim, as construções vantajosamente fornecem um meio de utilizar gestos naturais para executar várias funções.
A Figura 2 ilustra um diagrama de blocos do sistema 100, incluindo as zonas de detecção de gesto para uso com gestos primário e secundário, de acordo com as várias construções. Conforme acima explicado, a tela 110 provê uma saida visual para o usuário do sistema. A tela 110 é 30 acoplada ao processador 106. O processador 106 fornece dados de video 206 que é apresentado ao usuário na forma visual na tela 110. Os dados de video 206 podem incluir dados de texto, dados gráficos, etc.
O dispositivo de entrada de toque/gesto 104 detecta os 35 contatos do usuário e/ou gestos e fornece sinais elétricos 208 representativos dos contatos e/ou gestos para o processador 106. Os sinais 208 representam contatos/gestos identificando funções que o usuário deseja executar. Na construção da presente invenção, os sinais 208 são representativos de gestos primário e/ou secundário, indicando que o usuário deseja iniciar uma 5 função de processamento. Os sinais 208 também indicam a localização onde um gesto é executado para facilitar a identificação da zona de detecção de gesto 116-120, na “qual um gesto" secundário'" é executado. Por exemplo, os sinais 208 podem incluir um dispositivo de entrada 104 10 coordenando onde um gesto secundário de contato foi detectado. O processador 106 e o software programado associado podem correlacionar as coordenadas com as zonas de detecção de gesto 116-120.
O processador 106 executa o software programado 15 armazenado na memória de dados/programa 112. 0 programa .armazenadona memória- 112. inclui o programa -de identificação de gesto 202 e o programa de seleção de operação 204. O programa de identificação de gestos 202 processa os sinais 208 para determinar os gestos primário 20 e/ou secundário representados e as localizações no dispositivo de entrada 104, onde os gestos foram executados. Quando-- o gesto- primário” e/ou ‘ o gesto secundário especifico for identificado, e a(s) zona(s) de detecção de gesto, na qual um gesto secundário foi 25 executado tenha sido resolvido, o software de seleção de operação 204 faz com que o processador 106 execute uma função de processamento com base no gesto primário detectado e/ou no gesto secundário e/ou na (s) zona(s) de detecção de gesto.
Algumas construçõesdo sistema 100 incluem programa de identificação de gesto 202, e programa de seleção de operação 204 que executam as funções descritas a seguir com referência ao fluxograma da figura 3.
A figura 3 ilustra um fluxograma para um método de 35 execução de funções de processamento baseado em um gesto primário, um gesto secundário, e uma zona de detecção de gesto, de acordo com várias construções.
Embora descrita sequencialmente por uma questão de conveniência, pelo menos algumas das ações apresentadas podem ser executadas em uma ordem diferente e/ou executadas em paralelo. Adicionalmente, algumas 5 construções podem executar apenas algumas das ações apresentadas.
No bloco 302, o dispositivo de entrada de toque/gesto 104 detecta um' contato” ou” gesto primário do usuário. "Õ contato ou gesto é convertido em sinais elétricos 208, e 10 os sinais elétricos são fornecidos ao processador 106. O processador 106 executa as instruções do programa de identificação de gesto 202 para determinar, com base nos sinais 208, um gesto primário executado pelo usuário. As construções não estão limitadas a qualquer conjunto 15 particular de movimento de arraste ("chords") ou gestos nr - identif içados - como, gestos primários.-Adicionalmente, as construções não se limitam a identificação de gestos primários para quaisquer áreas especificas do dispositivo de entrada de 104.
No bloco 304, o dispositivo de entrada de toque/gesto 104 detecta um contato ou gesto secundário do usuário. O contato ou gesto é -convertido em-sinais elétricos 208, ê os sinais elétricos são fornecidos ao processador 106. O processador 106 executa instruções do programa de 25 identificação de gesto 202 para determinar, com base nos sinais 208, um gesto secundário executado pelo usuário. As construções não estão limitadas a qualquer conjunto particular de movimento de arraste ("chords") ou gestos identificados como gestos secundários. Em algumas ’ " construções, os sinais 208 representativos de um gesto secundário estão presentes simultaneamente com sinais representativos de um gesto primário.
No bloco 306, o processador 106, executando o programa de identificação de gesto 202, foi dividido em pelo menos 35 uma porção da zona de detecção gesto do dispositivo de entrada 104 em uma pluralidade de zonas de detecção de gestos 116-120. Utilizando a informação incluída nos sinais elétricos 208 (por exemplo, as coordenadas de contato), o processador 106 determina a(s) zona(s) de detecção de gesto 116-120 onde o gesto secundário foi executado.
No bloco 308, o processador 106 executando o programa de seleção de operação 204 seleciona uma função de processamento para execução com base no gesto primário identificado’“ e pelo menos "um do gesto secundário identificado e a(s) zona(s) de detecção de gesto onde o 10 gesto secundário foi executado. O processador de 106 executa a função de processamento selecionada no bloco 310.
A descrição acima pretende ser ilustrativa dos principios e várias construções da presente invenção. Inúmeras 15 variações e modificações se tornarão aparentes para os .. técnicos no assunto uma vez que, a descrição acima-é totalmente apreciada. Pretende-se que as reivindicações a seguir sejam interpretadas para abranger todas referidas variações e modificações.

Claims (8)

1. Sistema para a utilização de uma interface de usuário baseada em gestos, compreendendo: um dispositivo de entrada do operador (104) que detecta gestos e múltiplos pontos de toque simultâneos, em que pelo menos uma parte da área de detecção de gestos/toques do dispositivo de entrada do operador (104) compreende faixas horizontais, cada faixa horizontal formando uma zona de detecção de gesto discreta (116, 118, 120); e um processador (106) acoplado ao dispositivo de entrada do operador (104), o processador (106) executando a identificação de gesto processando as entradas do dispositivo de entrada (104); sendo que o processador (106) identifica um gesto primário e simultaneamente um gesto secundário, e executa uma função de processamento com base, pelo menos em parte, no gesto primário e em uma zona de detecção de gesto (116, 118, 120) na qual o gesto secundário é detectado, em que o gesto secundário é um único ponto de toque em uma das zonas de detecção de gesto discreta (116, 118, 120) , o sistema caracterizado pelo fato de que o gesto primário é um movimento descendente e em que a função de processamento é dentre uma de a) selecionar linhas de texto cruzadas pelo movimento descendente b) remover linhas de texto cruzadas pelo movimento descendente e c) copiar linhas de texto cruzadas pelo movimento descendente para uma área temporária de armazenamento, dependendo da zona de detecção de gesto (116, 118, 120) na qual o gesto secundário é detectado.
2. Sistema, de acordo com a reivindicação 1, caracterizado pelo fato de o gesto secundário compreender um ponto de contato com o dispositivo de entrada (104) previamente estabelecido e mantido durante o gesto primário.
3. Sistema, de acordo com a reivindicação 1, caracterizado pelo fato de o gesto primário ser executado em qualquer zona de detecção (116, 118, 120).
4. Sistema, de acordo com a reivindicação 1, caracterizado pelo fato de um número de funções correspondentes a um gesto primário ser igual a pelo menos um número total de zonas de detecção de gesto (116, 118, 120) .
5. Sistema, de acordo com a reivindicação 1, caracterizado pelo fato de que toda a área de detecção de gestos/toques compreende uma pluralidade de zonas de detecção (116, 118, 120) na qual os gestos secundários são executados simultaneamente.
6. Método para a utilização de uma interface de usuário baseada em gestos, compreendendo: dividir pelo menos uma porção da área de detecção de gestos de um dispositivo de entrada do operador (104) em uma pluralidade de zonas de detecção de gesto (116, 118, 120), de modo que toda a área de detecção de gestos do dispositivo de entrada do operador (104) compreende faixas horizontais, cada faixa horizontal formando uma zona de detecção de gesto discreta (116, 118, 120); detectar um gesto primário com um dispositivo de entrada do operador (104) acoplado a um processador (106); identificar (302) o gesto primário com o processador (106); detectar um gesto secundário com o dispositivo de entrada do operador (104), o segundo gesto sendo detectado ao mesmo tempo que o gesto primário; identificar (304) o gesto secundário com o processador (106); executar (310) uma função de processamento com o processador (106) com base, pelo menos em parte, no gesto primário e no gesto secundário; determinar em qual da pluralidade de zonas de detecção de gesto (116, 118, 120) o gesto secundário é executado; e executar (310) a função de processamento com base, pelo menos em parte, na zona de detecção de gesto (116, 118, 120) no qual o gesto secundário é executado; em que o gesto secundário é um único ponto de toque em uma das zonas de detecção de gesto discreta (116, 118, 120) , o método caracterizado pelo fato de que o gesto primário é um movimento descendente e em que a função de processamento é dentre uma de a) selecionar linhas de texto cruzadas pelo movimento descendente b) remover linhas de texto cruzadas pelo movimento descendente e c) copiar linhas de texto cruzadas pelo movimento descendente para uma área temporária de armazenamento, dependendo da zona de detecção de gesto (116, 118, 120) na qual o gesto secundário é detectado.
7. Método, de acordo com a reivindicação 6, caracterizado pelo fato de compreender ainda a seleção de uma função de processamento para executar a partir de uma pluralidade de funções de processamento correspondentes ao gesto primário, sendo que o número de funções de processamento correspondentes ao gesto primário é pelo menos tão grande quanto ao número de zonas de detecção de gesto (116, 118, 120).
8. Meio legivel por computador, compreendendo um método que: identifica um gesto primário e um gesto secundário executado simultaneamente com o gesto primário; divide a área de detecção de um dispositivo de entrada de gesto (104) em uma pluralidade de zonas de detecção de gesto (116, 118, 120), de modo que toda a área de detecção de gestos do dispositivo de entrada do operador (104) compreende faixas horizontais, cada faixa horizontal formando uma zona de detecção de gesto discreta (116, 118, 120); e seleciona uma função de processamento a ser executada com base, pelo menos em parte, no gesto primário e na zona 5 de detecção de gesto (116, 118, 120) na qual o gesto secundário foi executado, em que o gesto secundário é um único ponto de toque em uma das zonas de detecção de gesto discreta (116, 118, 120) , - o meio legivel caracterizadopelo fato de que o gesto primário é um movimento descendente e em que a função de processamento é dentre uma de a) selecionar linhas de texto cruzadas pelo movimento descendente b) remover linhas de texto cruzadas pelo movimento 15 descendente e c) copiar linhas de texto cruzadas pelo movimento descendente para uma área temporária de armazenamento, dependendo da zona de detecção de gesto (116, 118, 120) na qual o gesto secundário é detectado.
BRPI0823080-3A 2008-12-29 2008-12-29 Sistema para a utilização de uma interface de usuário baseada em gestos, método para a utilização de uma interface de usuário baseada em gestos e meio legível por computador BRPI0823080B1 (pt)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2008/088455 WO2010077235A1 (en) 2008-12-29 2008-12-29 Gesture detection zones

Publications (2)

Publication Number Publication Date
BRPI0823080A2 BRPI0823080A2 (pt) 2015-06-30
BRPI0823080B1 true BRPI0823080B1 (pt) 2020-08-04

Family

ID=42310022

Family Applications (1)

Application Number Title Priority Date Filing Date
BRPI0823080-3A BRPI0823080B1 (pt) 2008-12-29 2008-12-29 Sistema para a utilização de uma interface de usuário baseada em gestos, método para a utilização de uma interface de usuário baseada em gestos e meio legível por computador

Country Status (7)

Country Link
US (2) US8928604B2 (pt)
EP (1) EP2370878B8 (pt)
JP (1) JP5789516B2 (pt)
KR (1) KR101593727B1 (pt)
CN (1) CN102272699B (pt)
BR (1) BRPI0823080B1 (pt)
WO (1) WO2010077235A1 (pt)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5134517B2 (ja) * 2008-12-08 2013-01-30 キヤノン株式会社 情報処理装置及び方法
KR101608532B1 (ko) * 2009-08-11 2016-04-01 엘지전자 주식회사 이동 통신 단말기에서의 데이터 표시방법 및 이를 적용한 이동 통신 단말기
KR20110075404A (ko) * 2009-12-28 2011-07-06 삼성전자주식회사 이벤트 분리 방법 및 장치
US9870141B2 (en) * 2010-11-19 2018-01-16 Microsoft Technology Licensing, Llc Gesture recognition
US10444979B2 (en) 2011-01-31 2019-10-15 Microsoft Technology Licensing, Llc Gesture-based search
US10409851B2 (en) 2011-01-31 2019-09-10 Microsoft Technology Licensing, Llc Gesture-based search
US20130016129A1 (en) * 2011-07-14 2013-01-17 Google Inc. Region-Specific User Input
KR101885295B1 (ko) 2011-12-26 2018-09-11 엘지전자 주식회사 전자기기 및 그 제어방법
US8803831B1 (en) 2012-03-23 2014-08-12 Google Inc. Chording sheath for computing device
CN103376972A (zh) * 2012-04-12 2013-10-30 环达电脑(上海)有限公司 电子装置及其触控式屏幕控制方法
CN103513878A (zh) 2012-06-29 2014-01-15 国际商业机器公司 触摸输入方法及设备
CN109508091A (zh) * 2012-07-06 2019-03-22 原相科技股份有限公司 输入系统
CN103777746B (zh) * 2012-10-23 2018-03-13 腾讯科技（深圳）有限公司 一种人机交互方法、终端及系统
US9535503B2 (en) * 2013-01-29 2017-01-03 Blackberry Limited Methods and devices for simultaneous multi-touch input
US9170676B2 (en) 2013-03-15 2015-10-27 Qualcomm Incorporated Enhancing touch inputs with gestures
WO2014149700A1 (en) * 2013-03-15 2014-09-25 Intel Corporation System and method for assigning voice and gesture command areas
KR20140138424A (ko) 2013-05-23 2014-12-04 삼성전자주식회사 제스쳐를 이용한 사용자 인터페이스 방법 및 장치
KR102378570B1 (ko) 2015-06-08 2022-03-25 삼성전자주식회사 휴대 장치 및 휴대 장치의 화면 변경방법
US10261584B2 (en) 2015-08-24 2019-04-16 Rambus Inc. Touchless user interface for handheld and wearable computers
WO2017086578A1 (ko) * 2015-11-17 2017-05-26 삼성전자 주식회사 에지 스크린을 통한 터치 입력 방법 및 전자 장치
CN106708399A (zh) 2015-11-17 2017-05-24 天津三星通信技术研究有限公司 用于具有双侧边曲面屏幕的电子终端的触控方法和设备
US10459676B2 (en) 2016-10-16 2019-10-29 Dell Products, L.P. Dynamic user interface for multiple shared displays in an electronic collaboration setting
US10664215B2 (en) 2016-10-16 2020-05-26 Dell Products, L.P. Controlling multiple shared displays in an electronic collaboration setting
US10514769B2 (en) 2016-10-16 2019-12-24 Dell Products, L.P. Volumetric tracking for orthogonal displays in an electronic collaboration setting
CN110597446A (zh) * 2018-06-13 2019-12-20 北京小鸟听听科技有限公司 手势识别方法和电子设备
CN109582144A (zh) * 2018-12-06 2019-04-05 江苏萝卜交通科技有限公司 一种人机交互的手势识别方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070177804A1 (en) 2006-01-30 2007-08-02 Apple Computer, Inc. Multi-touch gesture dictionary
US8479122B2 (en) * 2004-07-30 2013-07-02 Apple Inc. Gestures for touch sensitive input devices
US9292111B2 (en) 1998-01-26 2016-03-22 Apple Inc. Gesturing with a multipoint sensing device
JP2001134382A (ja) * 1999-11-04 2001-05-18 Sony Corp 図形処理装置
US7030861B1 (en) 2001-02-10 2006-04-18 Wayne Carl Westerman System and method for packing multi-touch gestures onto a hand
US6570557B1 (en) 2001-02-10 2003-05-27 Finger Works, Inc. Multi-touch system and method for emulating modifier keys via fingertip chords
US7055110B2 (en) * 2003-07-28 2006-05-30 Sig G Kupka Common on-screen zone for menu activation and stroke input
KR100958491B1 (ko) 2004-07-30 2010-05-17 애플 인크. 터치 감지 입력 장치용 모드 기반 그래픽 사용자 인터페이스
GB0417293D0 (en) * 2004-08-03 2004-09-08 Miracle Factory The A touchpad device
US7477233B2 (en) 2005-03-16 2009-01-13 Microsoft Corporation Method and system for providing modifier key behavior through pen gestures
JP5092255B2 (ja) 2006-03-09 2012-12-05 カシオ計算機株式会社 表示装置
US8970503B2 (en) * 2007-01-05 2015-03-03 Apple Inc. Gestures for devices having one or more touch sensitive surfaces
US8059101B2 (en) * 2007-06-22 2011-11-15 Apple Inc. Swipe gestures for touch screen keyboards
US20090106682A1 (en) * 2007-10-19 2009-04-23 Sanaa Fahkeri Abdelhadi Method and apparatus for selecting hardware components using a pointing device
KR100914438B1 (ko) * 2008-05-20 2009-08-28 엘지전자 주식회사 터치 디바이스를 구비한 전자 기기와 그 기능 실행 방법

Also Published As

Publication number Publication date
US20110254791A1 (en) 2011-10-20
EP2370878B1 (en) 2019-04-17
EP2370878B8 (en) 2019-06-19
BRPI0823080A2 (pt) 2015-06-30
KR20110132313A (ko) 2011-12-07
US9563353B2 (en) 2017-02-07
EP2370878A4 (en) 2013-05-15
CN102272699A (zh) 2011-12-07
EP2370878A1 (en) 2011-10-05
US20150062053A1 (en) 2015-03-05
CN102272699B (zh) 2018-06-12
KR101593727B1 (ko) 2016-02-15
US8928604B2 (en) 2015-01-06
WO2010077235A1 (en) 2010-07-08
JP5789516B2 (ja) 2015-10-07
JP2012514270A (ja) 2012-06-21

Similar Documents

Publication Publication Date Title
BRPI0823080B1 (pt) Sistema para a utilização de uma interface de usuário baseada em gestos, método para a utilização de uma interface de usuário baseada em gestos e meio legível por computador
CN102246126B (zh) 基于手势的编辑模式
CN104321786B (zh) 使用合成指纹图像的注册和指纹感测系统
JP6038898B2 (ja) エッジ・ジェスチャー
US9563352B2 (en) Accessing a menu utilizing a drag-operation
US9547428B2 (en) System and method for touchscreen knob control
US9152317B2 (en) Manipulation of graphical elements via gestures
JP5980913B2 (ja) エッジ・ジェスチャー
CN104303145B (zh) 根据应用的转化配置文件将触摸输入转化成本地输入
AU2017202901A1 (en) Information display apparatus having at least two touch screens and information display method thereof
US20120026077A1 (en) Mapping trackpad operations to touchscreen events
JP2009205685A (ja) シングルポインティングデバイスによるマルチポイントジェスチャのシミュレーション
KR101474856B1 (ko) 음성인식을 통해 이벤트를 발생시키기 위한 장치 및 방법
WO2017143860A1 (zh) 基于交互式电子白板的触摸操作方法及其系统
BRPI0908274B1 (pt) Meio legível por computador, dispositivo de computador para interpretar um evento de toque ambíguo em relação a uma tela sensível ao toque e método para interpretar um evento de toque ambíguo em relação a um ou mais alvos de clique associados com um aplicativo
BR112015029209B1 (pt) Dispositivo eletrônico e método de exibição de um dispositivo eletrônico
BR112012014412B1 (pt) dispositivo de computação, método e meio legível por computador
US20160162098A1 (en) Method for providing user interface using multi-point touch and apparatus for same
CN105247463A (zh) 增强的画布环境
WO2019101073A1 (zh) 工具栏显示控制方法以及装置、可读存储介质及计算机设备
US20150355769A1 (en) Method for providing user interface using one-point touch and apparatus for same
CN102866850A (zh) 用于在触摸屏上输入字符的装置和方法
US20120313975A1 (en) Information processing apparatus, program and information processing method
CN104487945B (zh) 用于转换手势的计算机设备和方法
WO2014103355A1 (ja) 情報処理装置、情報処理方法及びプログラム

Legal Events

Date Code Title Description
B06F Objections, documents and/or translations needed after an examination request according [chapter 6.6 patent gazette]
B06T Formal requirements before examination [chapter 6.20 patent gazette]
B06A Patent application procedure suspended [chapter 6.1 patent gazette]
B09A Decision: intention to grant [chapter 9.1 patent gazette]
B15K Others concerning applications: alteration of classification

Free format text: AS CLASSIFICACOES ANTERIORES ERAM: G06F 3/041 , G06F 3/01

Ipc: G06F 3/0488 (2013.01), G06F 3/01 (2006.01)

B25G Requested change of headquarter approved

Owner name: HEWLETT-PACKARD DEVELOPMENT COMPANY, L.P. (US)

B16A Patent or certificate of addition of invention granted [chapter 16.1 patent gazette]

Free format text: PRAZO DE VALIDADE: 10 (DEZ) ANOS CONTADOS A PARTIR DE 04/08/2020, OBSERVADAS AS CONDICOES LEGAIS.

B21F Lapse acc. art. 78, item iv - on non-payment of the annual fees in time

Free format text: REFERENTE A 15A ANUIDADE.

B24J Lapse because of non-payment of annual fees (definitively: art 78 iv lpi, resolution 113/2013 art. 12)

Free format text: EM VIRTUDE DA EXTINCAO PUBLICADA NA RPI 2755 DE 24-10-2023 E CONSIDERANDO AUSENCIA DE MANIFESTACAO DENTRO DOS PRAZOS LEGAIS, INFORMO QUE CABE SER MANTIDA A EXTINCAO DA PATENTE E SEUS CERTIFICADOS, CONFORME O DISPOSTO NO ARTIGO 12, DA RESOLUCAO 113/2013.