PL224722B1

PL224722B1 - Computer system and method of using the computer

Info

Publication number: PL224722B1
Application number: PL385706A
Authority: PL
Inventors: Andrzej Czyżewski; Piotr Dalka
Original assignee: Politechnika Gdańska
Priority date: 2008-07-21
Filing date: 2008-07-21
Publication date: 2017-01-31
Also published as: PL385706A1

Description

Przedmiotem wynalazku jest system komputerowy i sposób korzystania z komputera. Przezn aczony jest on do różnego rodzaju zastosowań umożliwiających korzystanie z komputera w sposób nietypowy. W szczególności przeznaczony jest do aktywacji poleceń sterujących pracą komputera bez użycia tradycyjnego interfejsu użytkownika w postaci myszy i klawiatury, co umożliwia użytkowanie komputera przez osobę niepełnosprawną. Innym przykładowym zastosowaniem wynalazku jest wyk orzystanie go do treningu logopedycznego.The invention relates to a computer system and a method of using a computer. It is intended for various types of applications enabling the use of a computer in an unusual way. In particular, it is designed to activate computer control commands without the use of a traditional user interface in the form of a mouse and keyboard, which enables the use of the computer by a disabled person. Another exemplary application of the invention is for speech therapy training.

Znane są różnego rodzaju systemy komputerowe, które w swych najbardziej typowych konfiguracjach składają się z komputera z dołączonymi do niego urządzeniami wejścia-wyjścia, takimi jak klawiatura, mysz, monitor, kamera, modem itp., które umożliwiają komunikację z użytkownikiem oraz prezentację wyników działania, przy czym urządzenia wprowadzania danych, takie jak klawiatura i mysz, przystosowane są do obsługiwania przy pomocy rąk. Komputer w znanych systemach zawier a jeden lub więcej procesorów, układy pamięci, magistrale komunikacyjne, moduły programowe, moduły danych, interfejsy do współpracy z urządzeniami zewnętrznymi oraz do pracy w środowisku sieciowym. Znany jest z opisu międzynarodowego zgłoszenia patentowego WO 03/036453 system komputerowy zawierający centralny procesor, moduły pamięci oraz klawiaturę i mysz, który dodatkowo ma jednostkę kontrolną myszy służącą do określania informacji związanych z ruchem myszą i klikaniem, przesyłania ich do pamięci oraz do klawiatury za pośrednictwem procesora oraz jednostkę przetwarzającą klawiatury przeznaczoną do generowania sygnałów liter na podstawie sygnałów informacyjnych otrzymanych z jednostki kontrolnej myszy. Znane są również systemy komputerowe przeznaczone dla osób z niedowładem rąk, w których tradycyjną mysz zastępuje tzw. mysz nagłowna, która wykorzystuje śledzenie ruchów gałek ocznych użytkownika komputera i wdmuchiwanie powietrza przez rurkę trzymaną w ustach. Innym podobnym rozwiązaniem jest znany ze zgłoszenia międzynarodowego opublikowanego pod numerem WO 02/075515 system komputerowy, który zawiera element zewnętrzny mocowany na głowie użytkownika mający co najmniej jedno urządzenie ultradźwiękowe emitujące sygnały ultradźwiękowe w kierunku wnętrza ust użytkownika i odbierający sygnały odbite oraz jednostkę przetwarzającą do przekształcania tych sygnałów ultradźwiękowych na sygnały sterujące kursorem na ekranie monitora. Rozwiązanie ujawnia różne konstrukcje elementu zewnętrznego nagłownego z urządzeniami ultradźwiękowymi, który może być także zaopatrzony w nadajnik do bezprzewodowej transmisji sygnałów.There are various types of computer systems, which in their most typical configurations consist of a computer with input-output devices connected to it, such as a keyboard, mouse, monitor, camera, modem, etc., which enable communication with the user and presentation of the results of operation, wherein the data input devices such as the keyboard and mouse are hand-held. A computer in known systems includes one or more processors, memory chips, communication buses, program modules, data modules, interfaces for cooperation with external devices and for operating in a network environment. It is known from the international patent application WO 03/036453 a computer system comprising a central processor, memory modules and a keyboard and a mouse, which additionally has a mouse control unit for determining information related to mouse movement and clicking, transmitting it to memory and to the keyboard via a processor and a keyboard processing unit for generating the letter signals based on the information signals received from the mouse control unit. There are also computer systems designed for people with hand paresis, in which the traditional mouse replaces the so-called A head mouse that uses a computer user to track eye movements and to blow air through a tube held in the mouth. Another similar solution is a computer system known from the international application published under the number WO 02/075515, which includes an external element mounted on the head of a user, having at least one ultrasonic device emitting ultrasound signals towards the inside of the user's mouth and receiving the reflected signals and a processing unit for converting them. ultrasonic signals to signals that control the cursor on the monitor screen. The solution discloses different designs of the outer headpiece with ultrasonic devices, which may also be provided with a transmitter for wireless signal transmission.

Znane sposoby korzystania z komputera w typowych zastosowaniach polegają na wydawaniu poleceń, wprowadzaniu danych i uruchamianiu różnego rodzaju programów, aplikacji na danym komputerze lub na odległych komputerach włączonych w sieć. Realizowane jest to najczęściej przy pom ocy myszy i klawiatury za pośrednictwem graficznego interfejsu użytkownika. Wszelkie działania użytkownika oraz wyniki obserwowane są na ekranie monitora. W zastosowaniach specjalistycznych komputer wykorzystywany jest także do analizy i przetwarzania obrazu odbieranego za pomocą kamery połączonej z nim za pośrednictwem interfejsu sygnału wizyjnego, w tym do detekcji twarzy użytkownika systemu. Znany jest ze zgłoszenia patentowego opublikowanego pod numerem WO 03/036453 sposób korzystania z komputera, który polega na wprowadzaniu liter pisma za pomocą myszy w następujących krokach: generowanie szeregu informacji poprzez przesunięcia i klikania myszy, przechowywanie tych informacji w jednostce pamięci, określanie, czy informacja o pozycji kursora jest spoza zakresu współrzędnych odpowiadających ekranowi, a jeśli tak - sprawdzenie, czy jest to informacja o kliknięciu, transmisja informacji o kliknięciu do jednostki przetwarzającej w klawiaturze, generowanie kodu litery przez tę jednostkę, transmisja odpowiedniego kodu do procesora komputera i wyświetlenie litery.Known ways of using a computer in typical applications consist of issuing commands, entering data and running various types of programs, applications on a given computer or on remote computers connected to the network. This is most often done with the help of a mouse and keyboard via a graphical user interface. All user actions and results are observed on the monitor screen. In specialized applications, the computer is also used to analyze and process the image received by a camera connected to it via the video signal interface, including the detection of the user's face. There is known from the patent application published under the number WO 03/036453 a method of using a computer, which consists in entering letters with a mouse in the following steps: generating a series of information by moving and clicking the mouse, storing this information in a memory unit, determining whether the information the cursor position is outside the range of coordinates corresponding to the screen, and if so - checking if it is click information, transmitting the click information to the processing unit in the keyboard, generating a letter code by this unit, transmitting the corresponding code to the computer processor and displaying the letter.

Sposób korzystania z komputera ujawniony w opisie zgłoszeniowym opublikowanym pod numerem WO 02/075515 polega na przekształceniu sygnałów z urządzenia ultradźwiękowego na sygnały sterujące kursorem na ekranie monitora w następujących krokach: pobranie sygnałów ultradźwiękowych odbitych wewnątrz ust użytkownika komputera, przekształcenie odebranych sygnałów na dane odpowiadające różnym warunkom wewnątrz ust, analiza i przekształcenie tych danych na sygnały sterujące kursorem.The method of using the computer disclosed in the application published under the number WO 02/075515 consists in converting the signals from the ultrasonic device into signals controlling the cursor on the screen of the monitor by the following steps: collecting the ultrasound signals reflected inside the mouth of the computer user, converting the received signals into data corresponding to various conditions inside the mouth, analyze and transform this data into cursor control signals.

Znany jest z opisu patentowego JP 2006048485A system komputerowy składający się z komputera z dołączoną do niego kamerą i zawierający jednostkę analizy twarzy.There is known from the patent description JP 2006048485A a computer system consisting of a computer with a camera connected to it and containing a face analysis unit.

Znany jest z opisu patentowego US 5008946A system komputerowy zawierający kamerę do przechwytywania obrazu źrenic i ust oraz moduł wykonawczy z tyrystorem.A computer system containing a camera for capturing an image of the pupils and mouth and an actuator with a thyristor is known from the patent description US 5008946A.

PL 224 722 B1PL 224 722 B1

System komputerowy składający się z komputera wyposażonego w interfejs sygnału wizyjnego, jednostkę analizy obrazu oraz jednostkę interpretacji i prezentacji, przy czym do tego komputera poprzez interfejs sygnału wizyjnego przyłączona jest kamera oraz moduł wykonawczy w postaci monitora, który również bezpośrednio przyłączony jest do jednostki interpretacji i prezentacji, zaś jednostka analizy obrazu zawiera detektor twarzy, który zawiera jednostką wykrywania ust charakteryzuje się według wynalazku tym, że jednostka wykrywania ust zawiera detektor obszaru ust i zbiór detektorów szczegółów, których wyjścia dołączone są do estymatora dynamiki zmian, przy czym estymator d ynamiki zmian dołączony jest bezpośrednio, a także pośrednio poprzez klasyfikator, który zawiera bazę gestów i detektor gestów, do jednostki interpretacji.A computer system consisting of a computer equipped with a video signal interface, an image analysis unit and an interpretation and presentation unit, whereby a camera and an executive module in the form of a monitor are connected to this computer through the video signal interface, which is also directly connected to the interpretation and presentation unit and the image analysis unit comprises a face detector which comprises a mouth detection unit, the invention is characterized in that the mouth detection unit comprises a mouth area detector and a plurality of detail detectors, the outputs of which are coupled to the dynamics of change estimator, the dynamics of change estimator being included. directly, as well as indirectly through a classifier that includes a gesture base and a gesture detector, to the interpretation unit.

W wariancie realizacji wynalazku zbiór detektorów szczegółów zawiera detektor kształtu ust, detektor obrazu zębów oraz detektor obrazu języka.In an embodiment, the plurality of detail detectors comprises a mouth shape detector, a tooth image detector, and a tongue image detector.

Korzystnie, gdy klasyfikator zawiera estymator dokładności gestów.Preferably, the classifier includes a gesture accuracy estimator.

W innym wariancie wynalazku jednostka interpretacji i prezentacji zawiera interfejs sygnałów sterujących użytkownika i/lub jednostkę treningu logopedycznego.In another variant of the invention, the interpretation and presentation unit comprises an interface for user control signals and / or a speech-language training unit.

Sposób korzystania z komputera polegający na automatycznym pobieraniu i analizie w czasie rzeczywistym ramek obrazu z kamery oraz detekcji twarzy użytkownika, a w wykrytym obrazie twarzy dokonuje się detekcji obszaru ust i kluczowych elementów tego obszaru, wyznacza się parametry tych elementów definiujące ich wygląd, estymuje dynamikę ich zmian i na tej podstawie generuje się s ygnały odpowiadające wykrytym gestom obszaru ust, które wykorzystuje się jako sygnały kontrolne i/lub sterujące w module wykonawczym charakteryzuje się tym, że w obszarze ust przeprowadza się przeprowadza się detekcję położenia i kształtu ust i/lub języka i/lub zębów oraz tworzy się bazę wzorców gestów z obszaru ust, po czym tworzy się szereg zbiorów określających związki między gestami z obszaru ust i sygnałami kontrolnymi i/lub sterującymi.The method of using a computer consisting in automatic downloading and real-time analysis of image frames from the camera and the detection of the user's face, and in the detected image of the face, the area of the mouth and key elements of this area are detected, the parameters of these elements define their appearance, and the dynamics of their changes is estimated and on this basis, signals are generated corresponding to the detected gestures of the mouth area, which are used as control and / or control signals in the executive module, characterized in that in the mouth area, detection of the position and shape of the mouth and / or tongue and / or or teeth, and a base of mouth-area gesture patterns is created, then a series of collections are created to define the relationship between mouth-area gestures and control and / or steering signals.

Korzystnie, gdy użytkownik określa indywidualnie związek między gestem z obszaru ust i generowanym sygnałem kontrolnym lub sterującym.Preferably, the user individually determines the relationship between the gesture from the mouth area and the control or command signal generated.

W wariancie wynalazku sygnały generowane na podstawie wykrytych gestów z obszaru ust w ykorzystuje się jako sygnały sterujące ruchem kursora na ekranie monitora i aktywujące polecenia emulujące działanie przycisków myszy i klawiatury.In a variant of the invention, signals generated on the basis of the detected gestures from the mouth area are used as signals controlling the cursor movement on the monitor screen and activating commands emulating the operation of the mouse and keyboard buttons.

W innym wariancie wynalazku, sygnały generowane na podstawie wykrytych gestów z obszaru ust wykorzystuje się do treningu logopedycznego.In another variant of the invention, the signals generated from the detected gestures from the mouth area are used for speech therapy training.

Rozwiązanie według wynalazku umożliwia przede wszystkim sterowanie pracą komputera przez osobę niepełnosprawną za pomocą ruchów i gestów wykonywanych ustami przez użytkownika komputera, bez konieczności stosowania żadnych dodatkowych elementów, treningów, ani przygotowań. Umożliwia ono emulowanie zdarzeń związanych z klawiaturą i myszą, a także obsługę dowolnej aplikacji komputerowej. Dzięki swej uniwersalności, sposób i system stwarza nieograniczone możliwości różnych praktycznych zastosowań, których przykładem może być wykorzystanie go do treningu log opedycznego.The solution according to the invention allows, first of all, to control the operation of the computer by a disabled person by means of movements and gestures performed with the mouth by the computer user, without the need for any additional elements, training or preparation. It allows you to emulate keyboard and mouse events, as well as support any desktop application. Thanks to its versatility, the method and system create unlimited possibilities for various practical applications, an example of which can be its use in log opedics training.

System i sposób według wynalazku cechuje się dużą ergonomią i możliwością dostosowania parametrów działania do upodobań użytkownika oraz bardzo szeroką gamą możliwości zastosowań.The system and method according to the invention are characterized by high ergonomics and the possibility of adjusting the operating parameters to the user's preferences and a very wide range of application possibilities.

Wynalazek jest bliżej objaśniony na przykładzie zilustrowanym rysunkiem, na którym pos. 1 przedstawia ogólny znany schemat blokowy systemu, fig. 1 przedstawia szczegółowy schemat blok owy według wynalazku.The invention is explained in more detail using the example illustrated in the drawing in which Fig. 1 is a general known block diagram of a system, Fig. 1 is a detailed block diagram of the invention.

System komputerowy w przykładowej realizacji składa się z komputera 1 z dołączonym do niego modułem wykonawczym 2 w postaci monitora oraz kamery 3, która połączona jest z komputerem 1 za pośrednictwem interfejsu sygnału wizyjnego 4. Komputer 1 zawiera typowe elementy, takie jak procesor, moduły pamięci z systemem operacyjnym, aplikacjami programowymi i zbiorami danych, magistrale komunikacyjne, interfejsy wejścia-wyjścia. Ponadto komputer 1 ma wbudowaną jednostkę analizy obrazu 5 włączoną między interfejsem sygnału wizyjnego 4 i jednostką interpretacji i prezent acji 6. Jednostka analizy obrazu 5 zawiera detektor twarzy 7 połączony z jednostką wykrywania ust 8 oraz klasyfikator 9. W jednostce wykrywania ust 8 znajduje się detektor obszaru ust 10 oraz zbiór detektorów szczegółów 11 : detektor kształtu ust 13, detektor obrazu zębów 14, detektor obrazu jęz yka 15. Wyjścia detektora obszaru ust 10 oraz zbioru detektorów szczegółów 11 dołączone są do estymatora dynamiki zmian 12, którego wyjście połączone jest z jednostką interpretacji i prezentacji 6 bezpośrednio oraz przez klasyfikator 9. Blok klasyfikatora 9 składa się z bazy gestów 16, detektora gestów 17 oraz estymatora dokładności gestów 18. Jednostka interpretacji i prezentacji 6 zawiera interfejs sygnałów sterujących użytkownika 19 oraz jednostkę treningu logopedycznego 20.The computer system in the exemplary implementation consists of a computer 1 with an executive module 2 connected to it in the form of a monitor and a camera 3, which is connected to the computer 1 via a video signal interface 4. The computer 1 includes typical components, such as a processor, memory modules with operating system, software applications and data sets, communication buses, input-output interfaces. Furthermore, the computer 1 has an embedded image analysis unit 5 connected between the video interface 4 and the interpretation and presentation unit 6. The image analysis unit 5 comprises a face detector 7 connected to the mouth detection unit 8 and a classifier 9. In the mouth detection unit 8 there is an area detector. 10 and a set of detail detectors 11: a mouth shape detector 13, a tooth image detector 14, a tongue image detector 15. The outputs of the mouth area detector 10 and the set of detail detectors 11 are connected to a dynamics estimator 12, the output of which is connected to an interpretation unit and presentation 6 directly and through a classifier 9. Classifier block 9 consists of a gesture base 16, a gesture detector 17 and a gesture accuracy estimator 18. The interpretation and presentation unit 6 includes an interface for user control signals 19 and a speech therapy training unit 20.

PL 224 722 B1PL 224 722 B1

Przykładowy sposób korzystania z komputera polega na automatycznym pobieraniu w czasie rzeczywistym obrazu z kamery i przesyłaniu go do komputera w celu analizy i przetwarzania. W ramkach obrazu dokonuje się detekcji twarzy użytkownika, a następnie wykrywa się obszar ust. Do w ykrywania twarzy stosuje się jeden ze znanych algorytmów, przy czym w przypadku wykrycia więcej niż jednej twarzy, jako twarz użytkownika wybiera się twarz o największych rozmiarach, tzn. znajdującą się najbliżej kamery.An example of how to use a computer is to automatically take real-time image from the camera and transfer it to the computer for analysis and processing. In the image frames, the user's face is detected, and then the area of the mouth is detected. One of the known algorithms is used for face detection, where in case of detecting more than one face, the face with the largest size, i.e. the one closest to the camera, is selected as the user's face.

Detekcja obszaru ust może być realizowana różnymi sposobami, najprościej jako wybieranie dolnej części obszaru twarzy użytkownika lub metodami bardziej złożonymi, np. wykorzystującymi inną barwę ust w porównaniu z otaczającą je skórą twarzy. Oprócz detekcji obszaru ust, dokonuje się detekcji kluczowych elementów tego obszaru, a mianowicie: położenia i kształtu ust, języka i zębów. Kształt ust, w zależności od potrzeb, może być estymowany np. za pomocą elipsy, dokładniejszej krzywej lub w postaci określonej liczby punktów umieszczonych na krawędzi ust. Analizowane mogą być wargi jako całość lub niezależnie od siebie krawędzie zewnętrzne i wewnętrzne ust. Obraz języka może być opisany jako wartość binarna określająca fakt widoczności języka, jako stopień wysunięcia języka i/lub kierunek tego wysunięcia. Podobnie, w zależności od potrzeb, może być opisana widoczność zębów - jako wartość binarna lub np. stopień widoczności zębów. Na podstawie parametrów opisujących wygląd elementów ust, za pomocą estymatora dynamiki zmian określa się prędkość, z jaką następuje zmiana położenia ust oraz prędkości zmiany parametrów opisujących wygląd kluczowych elementów obszaru ust. W systemie tworzy się bazę gestów ust stanowiących wzorce, które w trakcie pracy z systemem są porównywane z gestami ust wykonanymi przez użytkownika i przek azanymi za pomocą kamery do systemu. Zawartość tej bazy jest uzależniona od przeznaczenia i konkretnego zastosowania. W systemie rozpoznawane są zarówno gesty związane z ułożeniem ust, jęz yka i zębów, takie jak zwinięcie ust w dzióbek, wysunięcie języka itp., jak również gesty związane z ruchem obszaru ust - przesunięcie w poziomie, w pionie.Detection of the mouth area can be carried out in various ways, most simply by selecting the lower part of the user's face area or by more complex methods, e.g. using a different color of the mouth compared to the surrounding facial skin. In addition to the detection of the mouth area, key elements of this area are detected, namely: the position and shape of the mouth, tongue and teeth. The shape of the mouth, depending on the needs, can be estimated e.g. by means of an ellipse, a more precise curve or in the form of a certain number of points placed on the edge of the mouth. The lips can be analyzed as a whole or the outer and inner edges of the mouth can be analyzed independently. The language image can be described as a binary value specifying the fact of the visibility of the language, the degree of tongue extension and / or the direction of this extension. Similarly, depending on the needs, the visibility of the teeth can be described - as a binary value or e.g. the degree of visibility of the teeth. On the basis of the parameters describing the appearance of the elements of the mouth, the dynamics of changes estimator determines the speed with which the change in the position of the mouth occurs and the speed of change of the parameters describing the appearance of the key elements of the mouth area. The system creates a base of mouth gestures, which are patterns that, while working with the system, are compared with the mouth gestures made by the user and transmitted to the system by means of a camera. The content of this database depends on the intended use and specific application. The system recognizes both gestures related to the positioning of the mouth, tongue and teeth, such as curling the mouth into a spout, sticking out the tongue, etc., as well as gestures related to the movement of the mouth area - horizontally, vertically.

W trakcie analizy jednej ramki obrazu może więc być wykryty więcej niż jeden gest, np. potrząśnięcie głową w poziomie i jednoczesne otwarcie ust. Gesty ust mogą być definiowane zarówno jako stany statyczne, np. usta otwarte, jak i stany dynamiczne, np. otwieranie ust i dowolnie interpretowane. Na podstawie wykrytych gestów ust, poprzez ich przyporządkowanie do określonych działań, g eneruje się sygnały wywołujące ruch kursora na ekranie monitora oraz aktywujące różnego rodzaju polecenia dla komputera, w szczególności uruchamiające aplikacje i sterujące ich pracą. Przykładowo ruchy ust w płaszczyźnie poziomej i pionowej są w bezpośredni sposób przekładane na ruchu kursora na ekranie monitora, przy czym im większe odchylenie ust od pozycji spoczynkowej, tym kursor szybciej porusza się w wybranym kierunku, a gesty ust interpretowane są np. jako kliknięcie lewego lub prawego przycisku myszy, przewinięcie ekranu itp. Dla wygody użytkownika w systemie tworzy się szereg zbiorów, profili, z których każdy określa związki między określonym gestem obszaru ust i s ygnałem sterującym lub kontrolnym. W ten sposób użytkownik może korzystać z systemu bez przygotowania i jakiejkolwiek wstępnej adaptacji, wybierając przed przystąpieniem do pracy jeden z dostępnych, najbardziej odpowiadający mu profil.Thus, when analyzing one image frame, more than one gesture may be detected, e.g., horizontally shaking the head and opening the mouth at the same time. Mouth gestures can be defined both as static states, e.g. mouth open, and dynamic states, e.g. mouth opening and freely interpreted. On the basis of the detected mouth gestures, by assigning them to specific actions, signals are generated that trigger cursor movement on the screen of the monitor and activate various commands for the computer, in particular launching applications and controlling their work. For example, the movements of the lips in the horizontal and vertical planes are directly translated into the movement of the cursor on the monitor screen, while the greater the deviation of the mouth from the resting position, the faster the cursor moves in the selected direction, and the mouth gestures are interpreted e.g. as a left or right click. the right mouse button, scrolling the screen, etc. For the user's convenience, the system creates a series of files, profiles, each of which defines the relationship between a specific gesture of the mouth area and a control or control signal. In this way, the user can use the system without any preparation and any preliminary adaptation, selecting before starting work one of the available profiles that best suits him.

W innej wersji użytkownik może samodzielnie określić związki między gestami obszaru ust i s ygnałami kontrolnymi i/lub sterującymi, tworząc własny, indywidualny profil. Użytkownik może więc samodzielnie definiować, jakie gesty i jak mają być interpretowane oraz przypisać do każdego gestu określoną akcję. Może ponadto ustalać dla każdego gestu tryb pracy - dana akcja może być generowana wielokrotnie przez cały czas trwania gestu lub może wywoływać określoną akcję tylko raz, w momencie wykrycia gestu. Na przykład otwarcie i trzymanie otwartych ust może być interpretowane jako trzymanie wciśniętego klawisza myszy lub w momencie wykrycia otwarcia ust generowane jest zdarzenie polegające na wciśnięciu i puszczeniu klawisza myszy; ponowne, jednokrotne wygenerowanie tego samego zdarzenia wymaga zamknięcia i ponownego otwarcia ust. W systemie może być określany próg aktywacji, np. minimalne odchylenie ust od pozycji spoczynkowej, które jest wymagane, aby kursor myszy mógł się poruszyć oraz czułość i przyspieszenie, które determinują sposób, w jaki odchylenie ust pozycji spoczynkowej przekładane jest na prędkość ruchu kursora myszy. W opisanym przykładzie system i sposób przekształca gesty obszaru ust użytkownika na sygnały emulujące działanie przycisków myszy i klawiatury i umożliwia sterowanie pracą aplikacji komputerowych. Rezultaty działania systemu użytkownik obserwuje na monitorze komputerowym, na którym wyświetlany jest poruszany przez niego kursor oraz aplikacje, których działaniem steruje.In another version, the user can independently define the relationship between the gestures of the mouth area and the control and / or steering signals, creating his own individual profile. Thus, the user can independently define which gestures are to be interpreted and how, and assign a specific action to each gesture. Moreover, it can set the operating mode for each gesture - a given action can be generated many times for the duration of the gesture or it can trigger a specific action only once, when the gesture is detected. For example, opening and holding the mouth open can be interpreted as holding down a mouse button, or when the mouth opening is detected, an event is generated of pressing and releasing the mouse button; re-generating the same event once requires closing and re-opening the mouth. The system may define an activation threshold, e.g., the minimum mouth deviation from the rest position that is required for the mouse cursor to move, and the sensitivity and acceleration that determine how the deviation of the rest position mouth is translated into the speed of the mouse cursor movement. In the example described, the system and method converts the gestures of the user's mouth area into signals that emulate the operation of the mouse and keyboard buttons and enables the control of the computer applications. The results of the system operation are observed by the user on a computer monitor on which the cursor moved by him and the applications controlled by him are displayed.

Przy wykorzystaniu specjalnego oprogramowania możliwe jest wykorzystanie systemu w innych, specjalnie stworzonych aplikacjach, np. wybieranie jednej z wielu hierarchicznie rozmieszczoPL 224 722 B1 nych opcji przedstawionych w programie w postaci piktogramów, wykrywanie gestów potwierdzenia i zaprzeczenia wykonywanych przez użytkownika za pomocą odpowiednich ruchów głowy i ust w odpowiedzi na postawione przez program pytanie lub sterowanie artykulacją, głośnością i tempem syntetyzowanej przez komputer mowy za pomocą ruchu ust.With the use of special software, it is possible to use the system in other, specially created applications, e.g. selecting one of the many hierarchically arranged options presented in the program in the form of pictograms, detection of confirmation and denial gestures made by the user with appropriate head and mouth movements. in response to a question posed by the program or control of articulation, volume and pace of speech synthesized by the computer with the help of mouth movement.

W innym zastosowaniu system i sposób według wynalazku może być zastosowany do treningu logopedycznego. W tym przypadku wykorzystując bazę wzorców gestów obszaru ust określa się, jaki gest został wykonany i porównuje z gestem wzorcowym. W ten sposób można kontrolować się, jak dokładnie zostały ułożone poszczególne elementy obszaru ust i określać najistotniejsze rozbieżności. Można to wykorzystać w aplikacji treningu logopedycznego, która będzie pokazywała, np. na filmie, jak należy ułożyć usta, a następnie sprawdzi, czy gest został poprawnie powtórzony przez użytkownika i w przypadku rozbieżności wskaże, co należy poprawić.In another application, the system and method of the invention may be used for speech therapy training. In this case, using the base of the mouth area gesture patterns, it is determined which gesture has been made and compared with the model gesture. In this way, you can control how accurately the individual elements of the mouth area have been arranged and identify the most important discrepancies. This can be used in a speech therapy application that will show, e.g. in a video, how to position the mouth, and then check whether the gesture has been correctly repeated by the user and in case of discrepancies, it will indicate what should be corrected.

Możliwe są także dowolne inne zastosowania wynalazku, w których system komputerowy rozpoznaje gesty ust użytkownika i zamienia ja na sygnały sterujące i/lub kontrolne przekazywane do dowolnego modułu wykonawczego.Any other applications of the invention are also possible, in which the computer system recognizes the gestures of the user's mouth and converts them into control and / or control signals transmitted to any executive module.

Claims

1. A computer system consisting of a computer (1) equipped with a video signal interface (4), an image analysis unit (5) and an interpretation and presentation unit (6), connected to the computer (1) via the video signal interface (4) there is a camera (3) and an executive module (2) in the form of a monitor, which is also directly connected to the interpretation and presentation unit (6), and the image analysis unit (5) includes a face detector (7) that includes a mouth detection unit ( 8), characterized in that the mouth detection unit (8) comprises a mouth area detector (10) and a plurality of detail detectors (11), the outputs of which are coupled to the dynamics of change estimator (12), the dynamics of change estimator (12) being coupled directly, and also indirectly through the classifier (9), which includes the gesture base (16) and the gesture detector (17), to the interpretation unit (6).

2. The system according to p. The method of claim 1, wherein the plurality of detail detectors (11) comprises a mouth shape detector (13), a tooth image detector (14) and a tongue image detector (15).

3. The system according to p. The method of claim 2, characterized in that the classifier (9) comprises an estimator of the accuracy of the gestures (18).

4. The system according to p. The method according to 1-3, characterized in that the interpretation and presentation unit (6) comprises a user control interface (19) and / or a speech therapy unit (20).

5. The method of using a computer consisting in automatic collection and real-time analysis of image frames from the camera and the detection of the user's face, and in the detected image of the face, the mouth area and key elements of this area are detected, the parameters of these elements defining their appearance are determined, and the dynamics is estimated their changes and on this basis signals are generated corresponding to the detected gestures of the mouth area, which are used as control and / or control signals in the executive module, characterized in that in the mouth area, detection of the position and shape of the mouth and / or tongue and / or or teeth, and build a base of mouth-to-mouth gesture patterns, then build a series of collections that define the relationship between mouth-to-mouth gestures and control and / or steering signals.

6. The method according to p. The method of claim 5, characterized in that the user individually determines the relationship between the gesture from the mouth area and the control or command signal generated.

7. The method according to p. 6. The method according to claim 6, characterized in that the signals generated from the mouth area of the detected gestures are used as signals controlling the cursor movement on the monitor screen and activating commands emulating the operation of the mouse and keyboard buttons.

8. The method according to p. 6-7, characterized in that the signals generated from the detected mouth area gestures are used for speech therapy training.