CH707208A2

CH707208A2 - Gesture 3D per la definizione della giacitura di un sistema cartesiano e il controllo di sei gradi di libertà: tre rotazioni e tre traslazioni lungo gli assi cartesiani.

Info

Publication number: CH707208A2
Application number: CH23012012A
Authority: CH
Inventors: Camillo Trevisan
Original assignee: Camillo Trevisan
Priority date: 2012-11-09
Filing date: 2012-11-09
Publication date: 2014-05-15
Also published as: WO2014072786A9; WO2014072786A2

Abstract

La gesture 3D è identificata dalla postura specifica di tre dita di una mano, sia essa la destra o la sinistra, tese e disposte perpendicolarmente l’una all’altra a identificare i tre assi di un sistema cartesiano di riferimento. In particolare, il pollice puntato verso l’alto indica la direzione positiva dell’asse verticale del sistema di riferimento; l’indice puntato in avanti indica la direzione positiva di un asse orizzontale e il medio puntato lateralmente indica la direzione positiva, mano sinistra, o negativa, mano destra, dell’altro asse orizzontale. Tale gesture consente il controllo, simultaneo e/o individuale, di sei gradi di libertà, tre rotazioni e tre traslazioni, utile tra l’altro, ma non esclusivamente, per definire i movimenti della camera virtuale di rappresentazione di un modello digitale 3D. Possibili altre applicazioni d’uso riguardano, ad esempio, ma non esclusivamente, la robotica e il controllo remoto dei movimenti di apparecchiature e/o veicoli.

Description

Oggetto e ambito tecnico

[0001] L’invenzione consiste nell’identificazione di una gesture 3D, una postura specifica del corpo umano, molto ben riconoscibile e facilmente riproducibile, in questo caso tre dita di una mano dell’utente: pollice, indice e medio, con le altre due dita ripiegate. Tale gesture 3D è utile per la definizione univoca della giacitura di un sistema cartesiano tri ortogonale. E’ anche utile per il controllo simultaneo e/o individuale, a sei gradi di libertà: tre rotazioni e tre traslazioni rispetto ai tre assi cartesiani di riferimento, dei movimenti del centro di proiezione e della direzione di vista di una camera virtuale di rappresentazione di un modello digitale 3D, corrispondente ai movimenti dell’osservatore che esplora e naviga all’interno del modello stesso. Il controllo simultaneo e/o individuale dei sei gradi di libertà può trovare applicazioni anche in altri campi, come ad esempio, ma non esclusivamente, nella robotica e per il controllo remoto di apparecchiature e/o veicoli.

Esposizione dell’invenzione

Stato della tecnica

[0002] Attualmente, alcuni dispositivi, ad esempio Microsoft Kinect<©>o Asus Xtion<©>, consentono l’identificazione di alcune gesture 3D, dunque specifiche posizioni del corpo umano nello spazio tridimensionale, utili sia per la fruizione di videogiochi sia anche per altri usi, professionali e non professionali, per mezzo di appositi SDK. La navigazione virtuale all’interno di modelli digitali 3D avviene in vari modi, di norma identificando la giacitura del corpo umano e delle sue membra.

[0003] Un completo controllo della navigazione prevede, tra l’altro, la necessità di orientare liberamente la Direzione Principale di Vista e la traslazione libera del Punto di Vista della camera virtuale lungo i tre assi cartesiani.

[0004] Ad esempio, simulando i movimenti delle due mani che impugnano un volante, non solo si impegnano entrambe le mani ma sono anche ridotti i gradi di libertà. Ancora, simulando i movimenti della mano o delle due mani che impugnano la cloche di un aereo è necessario avere dimestichezza con i principi del pilotaggio, mancando comunque la possibilità di un controllo della manetta e del timone mediante i pedali.

[0005] In altri campi – come ad esempio, ma non esclusivamente, nella robotica – il controllo dei sei gradi di libertà - imbardata, beccheggio, rollio e traslazioni lungo gli assi X, Y, Z – è effettuato tipicamente mediante strumenti hardware.

[0006] Per riferimenti al riconoscimento delle gesture 3D della mano, vedi anche: http://airccse.org/journal/ijaia/papers/3412ijaia12.pdf http://www.cs.rutgers.edu/~vladimir/pub/pavlovic97pami.pdf http://airccj.org/CSCP/vol2/csit2320.pdf http://www.ics.forth.gr/~zabulis/2009_06_book_hci_gestures.pdf http://cs-people.bu.edu/athitsos/publications/athitsos_cvpr2004.pdf http://cs-people.bu.edu/athitsos/publications/athitsos_cues2001.pdf http://reference.kfupm.edu.sa/content/v/i/vision_based_gesture_recognition_a_revi_291732.pdf http://www.ampublisher.com/Mar%202012/IPCV-1203-015-Hand-Gesture-Modeling-Recognition-Geometric-Features-Review.pdf http://cs.anu.edu.aU/student/projects/11S2/Reports/Jianming%20Guo.pdf http://cg.cs.uni-kl.de/~denker/publications/pdf/muc12.pdf

Svantaggi

[0007] L’uso dei movimenti del corpo umano per orientare e traslare liberamente la direzione di vista e la posizione della camera virtuale – dunque la posizione e la direzione di vista dell’osservatore virtuale o i movimenti di un veicolo virtuale – può comportare alcuni svantaggi: 1. Il controllo, di frequente, non è affatto completo né agevole se la persona è seduta su di una sedia. 2. Tali meccanismi prevedono talvolta spazi di manovra relativamente grandi. 3. Risulta spesso quasi impossibile l’uso contemporaneo di mouse e/o tastiera. 4. Alcuni movimenti involontari dell’utente possono essere facilmente scambiati per volontari e produrre movimenti della camera di rappresentazione e/o del veicolo o dell’apparato sottoposti a controllo mediante gesture 3D.

Obiettivi

[0008] Gli obiettivi sono di consentire all’utente, pur se seduto, un completo controllo, simultaneo o individuale, dei 6 gradi di libertà – tre rotazioni e tre traslazioni rispetto agli assi cartesiani –, usando una soia mano, indifferentemente la mano destra o la sinistra, senza avere necessità di ampi spazi di manovra e avendo anche una mano libera per operare sulla tastiera o con il mouse o per impartire ulteriori indicazioni al sistema mediante altre gesture 3D effettuate con l’altra mano. Un ulteriore obiettivo è pertanto rendere possibile la navigazione interattiva di modelli digitali 3D anche in configurazioni più tradizionali (notebook, ultrabook, desktop ecc.) ed anche con altri strumenti utili per il rilevamento di gesture 3D, ad esempio, Leapmotion Leap3D<©>o Creative Interactive Gesture Camera<©>, dotati di un limitato campo di rilevamento, tipicamente di circa 1 metro.

Soluzione

[0009] L’obiettivo è raggiunto grazie alle caratteristiche delle rivendicazioni 1,2,3, 4, 5, 6.

Vantaggi

[0010] Le rivendicazioni dipendenti evidenziano alcuni sviluppi vantaggiosi. L’invenzione comporta i seguenti vantaggi: 1. Controllo completo, simultaneo e/o individuale, dei movimenti della camera virtuale di rappresentazione di un modello digitale 3D mediante sei gradi di libertà, tre rotazioni attorno ai tre assi cartesiani e tre traslazioni lungo i tre assi. 2. Uso di una sola mano, indifferentemente la mano destra o la sinistra, rendendo in tal modo pienamente disponibile la gesture 3D anche per i mancini. 3. Necessità di un ridotto spazio di manovra, tipicamente inferiore al metro. 4. Possibilità d’uso anche restando seduti e nelle immediate vicinanze del monitor. 5. Disponibilità d’uso dell’altra mano per manovrare il mouse o la tastiera o per impartire altri comandi mediante altre gesture 3D effettuate con l’altra mano. 6. Il controllo simultaneo e/o individuale dei sei gradi di libertà può trovare applicazioni anche in altri campi, come ad esempio, ma non esclusivamente, nella robotica e per il controllo remoto di apparecchiature e/o veicoli. 7. La gesture 3D è identificata da una postura chiara e univoca – essendo facilmente rilevabile anche se le dita non sono perfettamente distese e ortogonali tra loro –, semplice, naturale e immediatamente relazionabile ai movimenti da indicare oltre che di impostazione e terminazione facile e rapida.

Elenco delle figure

[0011] L’invenzione è spiegata nel dettaglio tramite due disegni, riguardanti rispettivamente l’uso della mano sinistra e destra. <tb>Fig. 1 :<SEP>Disposizione delle dita della mano sinistra: il pollice verso l’alto a identificare la direzione positiva dell’asse cartesiano verticale (qui l’asse Z), l’indice puntato a identificare la direzione positiva di uno dei due assi orizzontali (qui l’asse Y) e il medio puntato a identificare la direzione positiva del secondo asse cartesiano orizzontale (qui l’asse X). <tb>Fig. 2 :<SEP>Disposizione delle dita della mano destra. In questo caso il dito medio puntato identifica la direzione negativa dell’asse X.

Realizzazione/descrizione dell’invenzione

[0012] Il rilevamento della gesture 3D – dunque della disposizione delle dita della mano destra o sinistra, a indicare i tre assi cartesiani del sistema di riferimento – potrà essere compiuto sia via hardware (per mezzo di appositi strumenti utili per il rilevamento di gesture 3D come, ad esempio, Leapmotion Leap3D<©>, Creative Interactive Gesture Camera<©>, Microsoft Kinect<©>o Asus Xtion<©>), sia via software (per mezzo di apposite librerie di Computer Vision come, ad esempio, OpenCV<©>). Una volta identificata la gesture 3D e la mano (destra o sinistra) è possibile controllare simultaneamente i tre assi di rotazione (rispetto agli assi cartesiani X, Y, Z) della Direzione principale di Vista della camera virtuale di rappresentazione del modello digitale 3D e le tre traslazioni (sempre rispetto agli assi X, Y, Z) del Punto di Vista della camera virtuale stessa.

[0013] Lo stesso può essere fatto per il controllo a distanza di apparecchiature e/o veicoli. In altre parole, la mano con le tre dita disposte come gli assi riproduce gli spostamenti e le rotazioni della vista dell’osservatore che esplora il modello digitale 3D oppure i movimenti e le rotazioni dell’apparecchiatura controllata.

[0014] Ogni volta che si alza la mano e si dispongono le dita per indicare la gesture 3D, queste vengono rilevate e, dopo una prima latenza (tempo che consente di sistemare la mano nella corretta postura iniziale), le rotazioni e gli spostamenti sono misurati di continuo sia rispetto alla posizione iniziale sia rispetto alla posizione precedente. Chiudendo la mano, o comunque dismettendo la postura, la gesture 3D è interrotta. Il leggero ritardo tra l’azione della mano e l’applicazione del relativo comando è necessario sia per consentire il riconoscimento della gesture, sia per l’applicazione delle trasformazioni geometriche e la rappresentazione del modello e sia anche, e soprattutto, per consentire l’interruzione dell’azione senza modificare involontariamente i parametri.

[0015] Da notare che i movimenti (sia le rotazioni, sia le traslazioni) possono essere effettuati sia muovendo il polso sia anche l’avambraccio o l’intero braccio, poiché il sistema di rilevamento rileva l’ideale origine del sistema di riferimento, posto alla radice delle tre dita – oltre che la posizione della testa dell’utente, del suo gomito e della spalla –, ed è pertanto in grado di identificare il movimento complessivo del braccio dell’utente stesso e dunque è anche in grado di riconoscere e interpretare le sue possibili «intenzioni». Così, ad esempio, se l’utente, mantenendo la postura della Gesture 3D e dunque le tre dita puntate, ruota rapidamente l’avambraccio verso l’alto e poi lo riporta nella posizione iniziale, questo movimento può essere interpretato come un salto da far effettuare all’osservatore virtuale, estendendo così ulteriormente i possibili comandi associati alla gesture 3D.

Claims

1. Gesture 3D definita univocamente da una specifica postura di tre dita di una mano, caratterizzata dal fatto che il pollice è puntato verso l’alto, l’indice è puntato in avanti e il medio è puntato ortogonalmente al piano individuato dalle altre due dita, con l’anulare e il mignolo ripiegati.

2. Gesture 3D che, secondo la rivendicazione 1, consente il controllo, simultaneo e/o individuale, di sei gradi di libertà caratterizzata dal fatto che - se le tre dita identificano i tre assi cartesiani del sistema di riferimento, in particolare il pollice l’asse verticale, l’indice uno dei due assi orizzontali, il medio l’altro asse orizzontale - il movimento della mano consente di definire univocamente la giacitura degli assi cartesiani e di controllare dinamicamente le tre rotazioni attorno agli assi X, Y, Z e le tre traslazioni lungo gli assi X, Y, Z.

3. Gesture 3D che, secondo le rivendicazioni 1 e 2, è caratterizzata dal fatto che consente di operare nello spazio tridimensionale.

4. Gesture 3D che, secondo le rivendicazioni 1, 2, 3, è caratterizzata dal fatto che consente di operare in un ristretto ambito di manovra.

5. Gesture che, secondo le rivendicazioni 1, 2, 3, è caratterizzata dal fatto che consente di operare indifferentemente con la mano destra o con la mano sinistra.

6. Gesture che, secondo le rivendicazioni 1, 2, 3, 4, 5, è caratterizzata dal fatto che consente di operare, mantenendo la postura relativa delle tre dita, muovendo, in abbinamento o in alternativa, la mano, il polso, il gomito, la spalla e/o il corpo dell’utente.