PL224722B1 - System komputerowy i sposób korzystania z komputera - Google Patents

Description

Przedmiotem wynalazku jest system komputerowy i sposób korzystania z komputera. Przezn aczony jest on do różnego rodzaju zastosowań umożliwiających korzystanie z komputera w sposób nietypowy. W szczególności przeznaczony jest do aktywacji poleceń sterujących pracą komputera bez użycia tradycyjnego interfejsu użytkownika w postaci myszy i klawiatury, co umożliwia użytkowanie komputera przez osobę niepełnosprawną. Innym przykładowym zastosowaniem wynalazku jest wyk orzystanie go do treningu logopedycznego.

Znane są różnego rodzaju systemy komputerowe, które w swych najbardziej typowych konfiguracjach składają się z komputera z dołączonymi do niego urządzeniami wejścia-wyjścia, takimi jak klawiatura, mysz, monitor, kamera, modem itp., które umożliwiają komunikację z użytkownikiem oraz prezentację wyników działania, przy czym urządzenia wprowadzania danych, takie jak klawiatura i mysz, przystosowane są do obsługiwania przy pomocy rąk. Komputer w znanych systemach zawier a jeden lub więcej procesorów, układy pamięci, magistrale komunikacyjne, moduły programowe, moduły danych, interfejsy do współpracy z urządzeniami zewnętrznymi oraz do pracy w środowisku sieciowym. Znany jest z opisu międzynarodowego zgłoszenia patentowego WO 03/036453 system komputerowy zawierający centralny procesor, moduły pamięci oraz klawiaturę i mysz, który dodatkowo ma jednostkę kontrolną myszy służącą do określania informacji związanych z ruchem myszą i klikaniem, przesyłania ich do pamięci oraz do klawiatury za pośrednictwem procesora oraz jednostkę przetwarzającą klawiatury przeznaczoną do generowania sygnałów liter na podstawie sygnałów informacyjnych otrzymanych z jednostki kontrolnej myszy. Znane są również systemy komputerowe przeznaczone dla osób z niedowładem rąk, w których tradycyjną mysz zastępuje tzw. mysz nagłowna, która wykorzystuje śledzenie ruchów gałek ocznych użytkownika komputera i wdmuchiwanie powietrza przez rurkę trzymaną w ustach. Innym podobnym rozwiązaniem jest znany ze zgłoszenia międzynarodowego opublikowanego pod numerem WO 02/075515 system komputerowy, który zawiera element zewnętrzny mocowany na głowie użytkownika mający co najmniej jedno urządzenie ultradźwiękowe emitujące sygnały ultradźwiękowe w kierunku wnętrza ust użytkownika i odbierający sygnały odbite oraz jednostkę przetwarzającą do przekształcania tych sygnałów ultradźwiękowych na sygnały sterujące kursorem na ekranie monitora. Rozwiązanie ujawnia różne konstrukcje elementu zewnętrznego nagłownego z urządzeniami ultradźwiękowymi, który może być także zaopatrzony w nadajnik do bezprzewodowej transmisji sygnałów.

Znane sposoby korzystania z komputera w typowych zastosowaniach polegają na wydawaniu poleceń, wprowadzaniu danych i uruchamianiu różnego rodzaju programów, aplikacji na danym komputerze lub na odległych komputerach włączonych w sieć. Realizowane jest to najczęściej przy pom ocy myszy i klawiatury za pośrednictwem graficznego interfejsu użytkownika. Wszelkie działania użytkownika oraz wyniki obserwowane są na ekranie monitora. W zastosowaniach specjalistycznych komputer wykorzystywany jest także do analizy i przetwarzania obrazu odbieranego za pomocą kamery połączonej z nim za pośrednictwem interfejsu sygnału wizyjnego, w tym do detekcji twarzy użytkownika systemu. Znany jest ze zgłoszenia patentowego opublikowanego pod numerem WO 03/036453 sposób korzystania z komputera, który polega na wprowadzaniu liter pisma za pomocą myszy w następujących krokach: generowanie szeregu informacji poprzez przesunięcia i klikania myszy, przechowywanie tych informacji w jednostce pamięci, określanie, czy informacja o pozycji kursora jest spoza zakresu współrzędnych odpowiadających ekranowi, a jeśli tak - sprawdzenie, czy jest to informacja o kliknięciu, transmisja informacji o kliknięciu do jednostki przetwarzającej w klawiaturze, generowanie kodu litery przez tę jednostkę, transmisja odpowiedniego kodu do procesora komputera i wyświetlenie litery.

Sposób korzystania z komputera ujawniony w opisie zgłoszeniowym opublikowanym pod numerem WO 02/075515 polega na przekształceniu sygnałów z urządzenia ultradźwiękowego na sygnały sterujące kursorem na ekranie monitora w następujących krokach: pobranie sygnałów ultradźwiękowych odbitych wewnątrz ust użytkownika komputera, przekształcenie odebranych sygnałów na dane odpowiadające różnym warunkom wewnątrz ust, analiza i przekształcenie tych danych na sygnały sterujące kursorem.

Znany jest z opisu patentowego JP 2006048485A system komputerowy składający się z komputera z dołączoną do niego kamerą i zawierający jednostkę analizy twarzy.

Znany jest z opisu patentowego US 5008946A system komputerowy zawierający kamerę do przechwytywania obrazu źrenic i ust oraz moduł wykonawczy z tyrystorem.

PL 224 722 B1

System komputerowy składający się z komputera wyposażonego w interfejs sygnału wizyjnego, jednostkę analizy obrazu oraz jednostkę interpretacji i prezentacji, przy czym do tego komputera poprzez interfejs sygnału wizyjnego przyłączona jest kamera oraz moduł wykonawczy w postaci monitora, który również bezpośrednio przyłączony jest do jednostki interpretacji i prezentacji, zaś jednostka analizy obrazu zawiera detektor twarzy, który zawiera jednostką wykrywania ust charakteryzuje się według wynalazku tym, że jednostka wykrywania ust zawiera detektor obszaru ust i zbiór detektorów szczegółów, których wyjścia dołączone są do estymatora dynamiki zmian, przy czym estymator d ynamiki zmian dołączony jest bezpośrednio, a także pośrednio poprzez klasyfikator, który zawiera bazę gestów i detektor gestów, do jednostki interpretacji.

W wariancie realizacji wynalazku zbiór detektorów szczegółów zawiera detektor kształtu ust, detektor obrazu zębów oraz detektor obrazu języka.

Korzystnie, gdy klasyfikator zawiera estymator dokładności gestów.

W innym wariancie wynalazku jednostka interpretacji i prezentacji zawiera interfejs sygnałów sterujących użytkownika i/lub jednostkę treningu logopedycznego.

Sposób korzystania z komputera polegający na automatycznym pobieraniu i analizie w czasie rzeczywistym ramek obrazu z kamery oraz detekcji twarzy użytkownika, a w wykrytym obrazie twarzy dokonuje się detekcji obszaru ust i kluczowych elementów tego obszaru, wyznacza się parametry tych elementów definiujące ich wygląd, estymuje dynamikę ich zmian i na tej podstawie generuje się s ygnały odpowiadające wykrytym gestom obszaru ust, które wykorzystuje się jako sygnały kontrolne i/lub sterujące w module wykonawczym charakteryzuje się tym, że w obszarze ust przeprowadza się przeprowadza się detekcję położenia i kształtu ust i/lub języka i/lub zębów oraz tworzy się bazę wzorców gestów z obszaru ust, po czym tworzy się szereg zbiorów określających związki między gestami z obszaru ust i sygnałami kontrolnymi i/lub sterującymi.

Korzystnie, gdy użytkownik określa indywidualnie związek między gestem z obszaru ust i generowanym sygnałem kontrolnym lub sterującym.

W wariancie wynalazku sygnały generowane na podstawie wykrytych gestów z obszaru ust w ykorzystuje się jako sygnały sterujące ruchem kursora na ekranie monitora i aktywujące polecenia emulujące działanie przycisków myszy i klawiatury.

W innym wariancie wynalazku, sygnały generowane na podstawie wykrytych gestów z obszaru ust wykorzystuje się do treningu logopedycznego.

Rozwiązanie według wynalazku umożliwia przede wszystkim sterowanie pracą komputera przez osobę niepełnosprawną za pomocą ruchów i gestów wykonywanych ustami przez użytkownika komputera, bez konieczności stosowania żadnych dodatkowych elementów, treningów, ani przygotowań. Umożliwia ono emulowanie zdarzeń związanych z klawiaturą i myszą, a także obsługę dowolnej aplikacji komputerowej. Dzięki swej uniwersalności, sposób i system stwarza nieograniczone możliwości różnych praktycznych zastosowań, których przykładem może być wykorzystanie go do treningu log opedycznego.

System i sposób według wynalazku cechuje się dużą ergonomią i możliwością dostosowania parametrów działania do upodobań użytkownika oraz bardzo szeroką gamą możliwości zastosowań.

Wynalazek jest bliżej objaśniony na przykładzie zilustrowanym rysunkiem, na którym pos. 1 przedstawia ogólny znany schemat blokowy systemu, fig. 1 przedstawia szczegółowy schemat blok owy według wynalazku.

System komputerowy w przykładowej realizacji składa się z komputera 1 z dołączonym do niego modułem wykonawczym 2 w postaci monitora oraz kamery 3, która połączona jest z komputerem 1 za pośrednictwem interfejsu sygnału wizyjnego 4. Komputer 1 zawiera typowe elementy, takie jak procesor, moduły pamięci z systemem operacyjnym, aplikacjami programowymi i zbiorami danych, magistrale komunikacyjne, interfejsy wejścia-wyjścia. Ponadto komputer 1 ma wbudowaną jednostkę analizy obrazu 5 włączoną między interfejsem sygnału wizyjnego 4 i jednostką interpretacji i prezent acji 6. Jednostka analizy obrazu 5 zawiera detektor twarzy 7 połączony z jednostką wykrywania ust 8 oraz klasyfikator 9. W jednostce wykrywania ust 8 znajduje się detektor obszaru ust 10 oraz zbiór detektorów szczegółów 11 : detektor kształtu ust 13, detektor obrazu zębów 14, detektor obrazu jęz yka 15. Wyjścia detektora obszaru ust 10 oraz zbioru detektorów szczegółów 11 dołączone są do estymatora dynamiki zmian 12, którego wyjście połączone jest z jednostką interpretacji i prezentacji 6 bezpośrednio oraz przez klasyfikator 9. Blok klasyfikatora 9 składa się z bazy gestów 16, detektora gestów 17 oraz estymatora dokładności gestów 18. Jednostka interpretacji i prezentacji 6 zawiera interfejs sygnałów sterujących użytkownika 19 oraz jednostkę treningu logopedycznego 20.

PL 224 722 B1

Przykładowy sposób korzystania z komputera polega na automatycznym pobieraniu w czasie rzeczywistym obrazu z kamery i przesyłaniu go do komputera w celu analizy i przetwarzania. W ramkach obrazu dokonuje się detekcji twarzy użytkownika, a następnie wykrywa się obszar ust. Do w ykrywania twarzy stosuje się jeden ze znanych algorytmów, przy czym w przypadku wykrycia więcej niż jednej twarzy, jako twarz użytkownika wybiera się twarz o największych rozmiarach, tzn. znajdującą się najbliżej kamery.

Detekcja obszaru ust może być realizowana różnymi sposobami, najprościej jako wybieranie dolnej części obszaru twarzy użytkownika lub metodami bardziej złożonymi, np. wykorzystującymi inną barwę ust w porównaniu z otaczającą je skórą twarzy. Oprócz detekcji obszaru ust, dokonuje się detekcji kluczowych elementów tego obszaru, a mianowicie: położenia i kształtu ust, języka i zębów. Kształt ust, w zależności od potrzeb, może być estymowany np. za pomocą elipsy, dokładniejszej krzywej lub w postaci określonej liczby punktów umieszczonych na krawędzi ust. Analizowane mogą być wargi jako całość lub niezależnie od siebie krawędzie zewnętrzne i wewnętrzne ust. Obraz języka może być opisany jako wartość binarna określająca fakt widoczności języka, jako stopień wysunięcia języka i/lub kierunek tego wysunięcia. Podobnie, w zależności od potrzeb, może być opisana widoczność zębów - jako wartość binarna lub np. stopień widoczności zębów. Na podstawie parametrów opisujących wygląd elementów ust, za pomocą estymatora dynamiki zmian określa się prędkość, z jaką następuje zmiana położenia ust oraz prędkości zmiany parametrów opisujących wygląd kluczowych elementów obszaru ust. W systemie tworzy się bazę gestów ust stanowiących wzorce, które w trakcie pracy z systemem są porównywane z gestami ust wykonanymi przez użytkownika i przek azanymi za pomocą kamery do systemu. Zawartość tej bazy jest uzależniona od przeznaczenia i konkretnego zastosowania. W systemie rozpoznawane są zarówno gesty związane z ułożeniem ust, jęz yka i zębów, takie jak zwinięcie ust w dzióbek, wysunięcie języka itp., jak również gesty związane z ruchem obszaru ust - przesunięcie w poziomie, w pionie.

W trakcie analizy jednej ramki obrazu może więc być wykryty więcej niż jeden gest, np. potrząśnięcie głową w poziomie i jednoczesne otwarcie ust. Gesty ust mogą być definiowane zarówno jako stany statyczne, np. usta otwarte, jak i stany dynamiczne, np. otwieranie ust i dowolnie interpretowane. Na podstawie wykrytych gestów ust, poprzez ich przyporządkowanie do określonych działań, g eneruje się sygnały wywołujące ruch kursora na ekranie monitora oraz aktywujące różnego rodzaju polecenia dla komputera, w szczególności uruchamiające aplikacje i sterujące ich pracą. Przykładowo ruchy ust w płaszczyźnie poziomej i pionowej są w bezpośredni sposób przekładane na ruchu kursora na ekranie monitora, przy czym im większe odchylenie ust od pozycji spoczynkowej, tym kursor szybciej porusza się w wybranym kierunku, a gesty ust interpretowane są np. jako kliknięcie lewego lub prawego przycisku myszy, przewinięcie ekranu itp. Dla wygody użytkownika w systemie tworzy się szereg zbiorów, profili, z których każdy określa związki między określonym gestem obszaru ust i s ygnałem sterującym lub kontrolnym. W ten sposób użytkownik może korzystać z systemu bez przygotowania i jakiejkolwiek wstępnej adaptacji, wybierając przed przystąpieniem do pracy jeden z dostępnych, najbardziej odpowiadający mu profil.

W innej wersji użytkownik może samodzielnie określić związki między gestami obszaru ust i s ygnałami kontrolnymi i/lub sterującymi, tworząc własny, indywidualny profil. Użytkownik może więc samodzielnie definiować, jakie gesty i jak mają być interpretowane oraz przypisać do każdego gestu określoną akcję. Może ponadto ustalać dla każdego gestu tryb pracy - dana akcja może być generowana wielokrotnie przez cały czas trwania gestu lub może wywoływać określoną akcję tylko raz, w momencie wykrycia gestu. Na przykład otwarcie i trzymanie otwartych ust może być interpretowane jako trzymanie wciśniętego klawisza myszy lub w momencie wykrycia otwarcia ust generowane jest zdarzenie polegające na wciśnięciu i puszczeniu klawisza myszy; ponowne, jednokrotne wygenerowanie tego samego zdarzenia wymaga zamknięcia i ponownego otwarcia ust. W systemie może być określany próg aktywacji, np. minimalne odchylenie ust od pozycji spoczynkowej, które jest wymagane, aby kursor myszy mógł się poruszyć oraz czułość i przyspieszenie, które determinują sposób, w jaki odchylenie ust pozycji spoczynkowej przekładane jest na prędkość ruchu kursora myszy. W opisanym przykładzie system i sposób przekształca gesty obszaru ust użytkownika na sygnały emulujące działanie przycisków myszy i klawiatury i umożliwia sterowanie pracą aplikacji komputerowych. Rezultaty działania systemu użytkownik obserwuje na monitorze komputerowym, na którym wyświetlany jest poruszany przez niego kursor oraz aplikacje, których działaniem steruje.

Przy wykorzystaniu specjalnego oprogramowania możliwe jest wykorzystanie systemu w innych, specjalnie stworzonych aplikacjach, np. wybieranie jednej z wielu hierarchicznie rozmieszczoPL 224 722 B1 nych opcji przedstawionych w programie w postaci piktogramów, wykrywanie gestów potwierdzenia i zaprzeczenia wykonywanych przez użytkownika za pomocą odpowiednich ruchów głowy i ust w odpowiedzi na postawione przez program pytanie lub sterowanie artykulacją, głośnością i tempem syntetyzowanej przez komputer mowy za pomocą ruchu ust.

W innym zastosowaniu system i sposób według wynalazku może być zastosowany do treningu logopedycznego. W tym przypadku wykorzystując bazę wzorców gestów obszaru ust określa się, jaki gest został wykonany i porównuje z gestem wzorcowym. W ten sposób można kontrolować się, jak dokładnie zostały ułożone poszczególne elementy obszaru ust i określać najistotniejsze rozbieżności. Można to wykorzystać w aplikacji treningu logopedycznego, która będzie pokazywała, np. na filmie, jak należy ułożyć usta, a następnie sprawdzi, czy gest został poprawnie powtórzony przez użytkownika i w przypadku rozbieżności wskaże, co należy poprawić.

Możliwe są także dowolne inne zastosowania wynalazku, w których system komputerowy rozpoznaje gesty ust użytkownika i zamienia ja na sygnały sterujące i/lub kontrolne przekazywane do dowolnego modułu wykonawczego.

Claims (8)

1. System komputerowy składający się z komputera (1) wyposażonego w interfejs sygnału wizyjnego (4), jednostkę analizy obrazu (5) oraz jednostkę interpretacji i prezentacji (6), przy czym do komputera (1) poprzez interfejs sygnału wizyjnego (4) przyłączona jest kamera (3) oraz moduł wyk onawczy (2) w postaci monitora, który również bezpośrednio przyłączony jest do jednostki interpretacji i prezentacji (6), zaś jednostka analizy obrazu (5) zawiera detektor twarzy (7), który zawiera jednostką wykrywania ust (8), znamienny tym, że jednostka wykrywania ust (8) zawiera detektor obszaru ust (10) i zbiór detektorów szczegółów (11), których wyjścia dołączone są do estymatora dynamiki zmian (12), przy czym estymator dynamiki zmian (12) dołączony jest bezpośrednio, a także pośrednio poprzez klasyfikator (9), który zawiera bazę gestów (16) i detektor gestów (17), do jednostki interpretacji (6).

2. System według zastrz. 1, znamienny tym, że zbiór detektorów szczegółów (11) zawiera detektor kształtu ust (13), detektor obrazu zębów (14) oraz detektor obrazu języka (15).

3. System według zastrz. 2, znamienny tym, że klasyfikator (9) zawiera estymator dokładności gestów (18).

4. System według zastrz. 1-3, znamienny tym, że jednostka interpretacji i prezentacji (6) zawiera interfejs sygnałów sterujących użytkownika (19) i/lub jednostkę treningu logopedycznego (20).

5. Sposób korzystania z komputera polegający na automatycznym pobieraniu i analizie w czasie rzeczywistym ramek obrazu z kamery oraz detekcji twarzy użytkownika, a w wykrytym obrazie twarzy dokonuje się detekcji obszaru ust i kluczowych elementów tego obszaru, wyznacza się parametry tych elementów definiujące ich wygląd, estymuje dynamikę ich zmian i na tej podstawie gener uje się sygnały odpowiadające wykrytym gestom obszaru ust, które wykorzystuje się jako sygnały kontrolne i/lub sterujące w module wykonawczym, znamienny tym, że w obszarze ust przeprowadza się detekcję położenia i kształtu ust i/lub języka i/lub zębów oraz tworzy się bazę wzorców gestów z o bszaru ust, po czym tworzy się szereg zbiorów określających związki między gestami z obszaru ust i sygnałami kontrolnymi i/lub sterującymi.

6. Sposób według zastrz. 5, znamienny tym, że użytkownik określa indywidualnie związek między gestem z obszaru ust i generowanym sygnałem kontrolnym lub sterującym.

7. Sposób według zastrz. 6, znamienny tym, że sygnały generowane na podstawie wykrytych gestów z obszaru ust wykorzystuje się jako sygnały sterujące ruchem kursora na ekranie monitora i aktywujące polecenia emulujące działanie przycisków myszy i klawiatury.

8. Sposób według zastrz. 6-7, znamienny tym, że sygnały generowane na podstawie wykrytych gestów z obszaru ust wykorzystuje się do treningu logopedycznego.