RS62703B1

RS62703B1 - Mobilni sistem i postupak za akviziciju biofizioloških signala koji je ugrađen u bežični set za glavu koji sadrži slušalice u svrhu određivanja mentalnih stanja

Info

Publication number: RS62703B1
Application number: RS20150679A
Authority: RS
Inventors: Bogdan Mijović; Ivan Gligorijević; Dejan Popović; Vos Maarten De
Original assignee: Mbraintrain Doo Beograd
Priority date: 2015-10-22
Filing date: 2015-10-22
Publication date: 2022-01-31
Also published as: RS20150679A1; WO2017069644A3; WO2017069644A2; US10874356B2; US20190053766A1

Description

Opis Pronalaska

Oblast tehnike kojoj pronalazak pripada je

Medicina i psihologija, tačnije praćenje mentalnih stanja subjekta u realnom vremenu i po potrebi određivanje i puštanje zvučnih i vizualnih stimulusa u svrhu promene trenutnih mentalnih stanja.

Prema međunarodnoj klasifikaciji patenata (MKP) odgovarajuća oznaka je:

G06Q 50/00 i G06Q 90/00

Tehnički Problem:

Predstavljeni pronalazak omogućava merenje biofizioloških signala, koji su elektroencefalografski signali, signali za merenje srčanog ritma, krvnog pritiska, telesne temperature i elektrodermalne aktivnosti i njihovo bežično slanje uređaju za snimanje i obradu pomenutih signala u svrhu određivanja mentalnih stanja stanja (kognitivnih procesa i emotivnih stanja]. Uređaj predložen ovim pronalaskom je osmišljen na način da ispunjava uslove ergonomičnosti i kompaktnosti proizvoda koja nije dostignuta do sada predloženim rešenjima.

Opis stanja tehnike:

Iako je prvi elektroencefalografski (EEG) snimak napravljen još 1924. godine, još uvek nisu u dovoljnoj meri našli svoju primenu svakodnevnoj upotrebi za razliku od drugih uređaja za merenje biofizioloških signala (kao na primer aparati za merenje srčanog ritma, krvnog pritiska i drugi]. Tome je doprinelo sa jedne strane mala upotreba EEG uređaja uopšte, zbog velikih gabarita i skupe opreme, a sa druge strane ponuđeni elektroencefalografski uređaji nisu uspeli da zadovolje zahteve ergonomičnosti i kompaktnosti neophodne za svakodnevnu upotrebu.

Sa napretkom elektronike, EEG uređaji su postali gabaritno dovoljno mali da je omogućena njihova upotreba kao potpuno mobilnih i prenosivih sistema. Takvi uređaji su sistem Epoc kompanije Emotiv, sistem Smarting, kompanije mBrainTrain, sistemi Nautilus kompanije G-Tec i drugi. Ovi uređaji tipično u sebi sadrže bežične odašiljače i šalju snimljene signale na druge uređaje, kao što su personalni i prenosivi računari ili mobilni ("pametni") telefoni na kojima se uglavnom vrši dalja obrada. Ovi uređaji se, međutim, i danas upotrebljavaju najčešće u istraživačke svrhe, jer zahtevi dovoljne kompaktnosti i ergonomičnosti ni do danas nisu rešeni.

Sa druge strane, pojavili su se brojni nosivi uređaji (wearables) za merenje fiziološke aktivnosti, kao što su Fitbit narukvice, Jawbone narukvice, kao i iWatch. Ovi uređaji manje ili više uspešno dozvoljavaju korisnicima praćenje njihovih fizičkih aktivnosti i fizičkog stanja. Međutim, u poslednje vreme se pojavljaju i uređaji za merenje kognitivnih procesa (stresa, produktivnosti itd) i emotivnih stanja. Jedan od takvih uređaja je narukvica Embrace, kompanije Empatica. Problem kod ovakvih nosivih uređaja je sto mere mentalna stanja indirektno (merenjem raznih fizioloških aktivnosti kao što su srčani ritam i elektrodermalna aktivnost), ne uzimajući pri tome u obzir direktnu moždanu aktivnost. Razlog ovome je pre svega to što uređaji za merenje elekroencefalogrfske aktivnosti (EEG) ne zadovoljavaju standardne ergonomičnosti i kompaknosti neophodne da bi se našli u svakodnevnoj upotrebi kod korisnika.

Nekoliko patenata uključuje snimanje EEG signala, mobilnim sistemima, neki od njih se oslanjaju na nosače oko ušiju, a neki se upravo koriste za određivanje emotivnih stanja.

US 20110004089 А1 predstavlja sistem za snimanje elektroencefalografskih (EEG) signala u mobilnom okruženju. Sistem se oslanja na ušne školjke koje podržavaju nosač elektroda, RF kolo za slanje signala i sistem za snimanje EEG signala. Predloženo je nekoliko različitih izvođenja. Međutim, sistem podrazumeva raspoređivanje elektroda svuda po glavi korisnika, što zahteva raspoređivanje pritiska na različitim tačkama na glavi, čime su kompaktnost i ergonomičnost u značajnoj meri ugrožena.

US 5740812 A predstavlja sistem za neuralnu povratnu spregu koji je ugrađen u slušalice. Sistem sadrži elektrode na sredini glave i slušalice, tako da korisnik može istovremeno da prima zvučni zapis kroz slušalice i da mu se u odnosu na taj zapis meri električna aktivnost. Međutim, sistem je vezan za uređaje za stimulaciju i snimanje kablom što, zajedno sa činjenicom da postoje dve elektrode koje stoje blizu sredine glave i spojena su sa poglavinom preko kose, značajno ugrožava ergonomičnost, kompaknost i kvalitet snimljenih signala.

US 8,781,570 B2 opisuje još jedan sistem kompanije Neurosky Inc. koji u jednom od izvođenja predstavlja slušalice sa ugrađenim EEG senzorima. Međutim, ovakav sistem pretpostavlja akviziciju EEG signala sa ušnog zavojka i predzavojka i tragusa, koji nisu pogodni za akviziciju kvalitetnog signala, kao i sa čela korisnika, što ugrožava ergonomiju i kompaknost uređaja.

Postoje i brojni dizajn patenti mobilnih bežičnih EEG sistema, kao na primer kompanije Emotiv Inc US 2007225585 Al, koji takođe ugrožavaju kompaknost i ergonomičnost mobilnog EEG uređaja.

Ni jedan od pomenutih rešenja se nije uspešno našao u širokoj svakodnevnoj primeni iz jasnog razloga što problemi ergonomičnosti i kompaknosti uređaja koji su od krucijalne važnosti i dalje nisu rešeni.

Međutim, razvojem novih tehnologija su gabariti EEG uređaja postali sve manji i nosivi i mnogi od nabrojanih uređaja (SMARTING, kompanije mBrainTrain, EPOC, kompanije Emotiv Inc, Mindwave kompanije Neurosky Inc, i Muse kompanije Interaxon Inc...] su se uspešno raširili među naučnom i istraživačkom zajednicom i počelo se sa razvojem postupaka i algoritama za obradu snimljenih elektrofizioloških podataka u svrhu određivanja mentalnih stanja i emocija.

Razni pronalasci u ovom domenu se već mogu naći u naučnoj literaturi, ali i u patentima određenih pojedinaca i kompanija. Kao na primer:

US 5601090 A predstavlja generalni postupak određivanja somatskih stanja tako pomoću neuralnih mreža takozvanom "brut force" metodom, gde se na ulaz neuralne mreže dovode jednostavna merenja dobijena Furijeovom transformacijom EEG signala sa određenih mernih mesta (elektroda). Ovaj patent ne daje posebne mere mentalnih stanja opisana u sledećim patentima. Pored toga, ovaj patent predstavlja merenja od 6 do 15 Hz, što predstavlja mešanje benda α opsega (8-13Hz), θ opsega (4-8Hz) i β opsega (13-32Hz).

US 8473044 B2 definiše aparat i postupak za merenje dobrog raspoloženja (pozitivnog ili negativnog] koji opisuje kao odnos snage α i β benda na merenih na levoj i desnoj strani glave. Ukratko, povećanje snage α benda na levoj strani u odnosu na desnu i povećanje snage θ benda na desnoj strani u odnosu na levu daju naznaku pozitivnog osećanja. Analogno smanjenje snage α benda na desnoj strani u odnosu na levu i smanjenje snage θ benda na levoj strani u odnosu na desnu, daju naznaku negativnog raspoloženja.

US 8,764,652 B2 za razliku od malopre navedenih patenata, uključuje i merenje brzine otkucaja srca kao meru mentalnog stanja (a ne samo podatke dobijene iz elektroencefalografskih merenja). Ovaj patent uvodi merenje mentalnog angažovanja koji se meri posredno tako što rast brzine otkucaja srca i snage u α bendu EEG signala i smanjenje snage u θ bendu EEG signala ukazuje na rast mentalnog angažovanja.

Neki od metoda za obradu biofizioloških signala u svrhu određivanja mentalnih stanja i karakteristike signala koje opisuju mentalna stanja se mogu naći u sledećim naučnim radovima:

Wilson, G.M., Sasse, M.A., 2000a. Do users always know what’s good for them? Utilizing physiological responses to assess media quality. In: The Proceedings of HCI 2000: People and Computers XIV—Usability or Else! (HCI 2000), pp.

327-339 i Ward, Robert D., and Philip H. Marsden. Physiological responses to different web page designs. International Journal of Human-Computer Studies 59.1 (2003): 199-212 opisuju uticaj stresa na brzinu otkucaja srca i elektrodermalnu aktivnost.

Freeman, Frederick G., et al. Evaluation of an adaptive automation system using three EEG indices with a visual tracking task. Biological psychology 50.1 (1999): 61-76 prikazuju uticaj α opsega (8-13Hz), θ opsega (4-8Hz) i β opsega (13-32Hz) na mentalna stanja.

Lewis RS, Weekes NY, Wang TH. The effect of a naturalistic stressor on frontal EEG asymmetry, stress, and health. Biol Psychol. 2007 Jul ;75(3):239- 47 i James A. Coan and John J. B. Allen. Frontal eeg asymmetry as a moderator and mediator of emotion. Biological Psychology, 67(1-2):7-49, 2004 prikazuju uticaj asimetrije snage frontalnog α opsega (8-13Hz) na levoj i desnoj strani glave usled promene mentalnih stanja.

Drugi metodi za obradu biofizioloških signala u svrhu pretprocesiranja ili utvrđivanja mentalnih stanja uključuju i upotrebu metode nezavisnih komponenata, metode zajedničkih prostornih paterna i upotrebu veštačkih neuralnih mreža.

Pomenuti pronalasci predstavljaju korak napred u oblasti određivanja mentalnog stanja korisnika i neka od ponuđenih rešenja su sastavni deo predloženog pronalaska. Međutim, ovaj pronalazak se fokusira pre svega na rešavanje problema ergonomičnosti i kompaknosti kako bi se upotreba EEGa kao svakodnevnog uređaja raširila. Takođe, skup neophodnih senzora i njihovo pozicioniranje je od presudnog značaja da bi se sa dobrom preciznošću pristupilo merenju mentalnih stanja, kao i kombinovanje merenih fizioloških vrednosti sa pomenutih senzora.

Izlaganje Suštine Pronalaska:

Ovaj pronalazak predstavlja nosivi uređaj za merenje biofizioloških signala, kao što su elektroencefalografija (EEG), srčani ritam, zasićenost krvi kiseonikom, telesna temperatura i elektrodermalna aktivnost, u svrhu određivanja mentalnog stanja (kognitivnih procesa i emotivnih stanja) koji je ugrađen u bežični set za glavu koji sadrži slušalice.

Senzori za prikupljanje biofizioloških signala se nalaze na lučnom nosaču (311) iza jednog ili oba uva korisnika, tako da ne opterećuju ostale delove glave i nisu vidljivi na drugim delovima glave ili tela. EEG signali se prikupljaju pomoću neodređenog broja elektroda koje prijanjaju na kožu glave iza uva korisnika. Elektrode su takve da prijanjaju na kožu glave korisnika i ne stvaraju neprijatan pritisak. Signali se od elektroda provodnim slojem dovode do ulaznog električnog kola za akviziciju elektroencefalografskih signala.

Elektrodermalna aktivnost se meri takođe elektrodama koji se nalaze na lučnom nosaču iza uva, koji mogu biti iste elektrode kojima se mere EEG signali, a mogu biti i posebne elektrode. Izmereni signal se dovodi takođe provodnim slojem do kola za merenje elektrodermalne aktivnosti.

Srčani ritam se meri obradom signala sa svetlosnih senzora, koji mere promenu intenziteta svetlosti puštene sa svetlosnih dioda (na primer infracrvene, crvene i zelene elektrode) i svetlosti merene na mernoj elektrodi. Merna elektroda može meriti ili svetlost koja prolazi kroz deo tela koji sadrži krvne sudove (na primer ušna školjka) ili svetlost koja se reflektovala od deo tela koji sadrži krvne sudove (na primer deo glave iza uva).

Temperatura tela se meri temperaturnim senzorima koji su minijaturne infracrvene kamere i na osnovu količine isijane infra-crvene svetlosti određuju tačnu temperature tela.

Ovi signali se dalje dovode do kola za obradu merenih signala i dalje se izmerene i obrađene vrednosti šalju do integrisanog modula za bežični prenos digitalnog signala (npr. Bluetooth). Takav signal se dalje šalje bežično ka uređajima za primanje i vizualizaciju, na primer mobilnom telefonu ili kompjuteru.

Takođe, snimljeni i obrađeni signali se mogu direktnom internet vezom, na primer korišćenjem GPRS modula, slati sa uređaja centralnom serveru na obradu i skladištenje u centralnoj bazi podataka.

Ovaj pronalazak predlaže mobilni uređaj i postupak za merenje biofizioloških signala, pre svega EEG signala (koji je direktna mera električne aktivnosti mozga), srčanog ritma (koji je jedan od glavnih indikatora stresa), elektrodermalne aktivnosti (koja je najbrža fiziološka reakcija na promenu mentalnog stanja) i telesne temperature u svrhu određivanja mentalnih stanja korisnika. Uređaj je ugrađen u bežični set za glavu koji sadrži slušalice. Nosivi uređaj, u odnosu na prethodne pronalaske znatno poboljšava kompaknost i ergonomičnost. Sa druge strane, pozicija senzora i kompletan skup neophodnih senzora, omogućuju preciznije određivanje mentalnih stanja nego prethodne izvedbe.

Snimljeni signali se mogu obrađivati u potpunosti na nosivom uređaju za akviziciju, ili se mogu mrežom kratkog dometa (kao što je Bluetooth mreža) slati do mobilnog uređaja za obradu, prikaz i skaldištenje biofizioloških signala koji može biti mobilni telefon ili personalni računar, ili se mogu mrežom za komunikaciju dugog dometa (kao što je internet) slati direktno (na primer pomoću GPRS modula ili WiFi modula) centralnom serveru na obradu, ili se mogu obrađivati parcijalno na nosivom uređaju za akviziciju biofizioloških signala i na centralnom server i na mobilnom uređaju za obradu, prikaz i skladištenje biofizioloških signala.

Karakteristike iz EEG signala koje se koriste za merenje mentalnih stanja su frekvencijski opsezi (α: 8-13Hz, β: 13-32Hz, γ: 32-60Hz, δ: l-4Hz, Θ: 4-8Hz] i odnosi između frekvencijskih opsega sa različitih mernih mesta (elektroda), kao i amplitude i pomeraji određenih talasa sadržanih u evociranim potencijalima snimljenim pomoću EEG senzora (kao na primer P100, N200, P300, N400 ili drugi) koji se javljaju kao posledica stimulusa (vizualnih ili zvučnih) koji se mogu prezentovati subjektu kroz slušalice koje se nalaze u bežičnom setu za glavu u koji je uređaj, ili preko ekrana mobilnog telefona sa kojim uređaj ima ostvarenu bežičnu vezu (na primer Bluetooth vezu) ili sa nekog trećeg uređaja ili iz okoline. Mobilni uređaj za akviziciju biofizioloških signala može sadržati senzore za prihvatanje stimuluse iz okoline. Senzori za prihvatanje zvuka iz okoline mogu biti mikrofon, za prihvatanje zvučnih stimulusa, ili svetlosni senzor za prihvatanje svetlosnih stimulusa.

Na primer, dobro osećanje se može meriti razlikom snage (ili odnosa snage) sadržane u Θ i α EEG frekvencijskom opsegu na desnoj i levoj strani glave. Uzbuđenje se može određivati na osnovu odnosa snaga iz β, Θ i α opsega. Međutim, za preciznije određivanje mentalnih stanja, neophodno je koristiti i druge fiziološke signale, kao što su elektrodermalna aktivnost i ritam otkucaja srca. Na primer, uzbuđenje dovodi do porasta ritma otkucaja srca. Dalje, porast uzbuđenja dovodi do porasta elektrodermalne provodnosti, dok sa druge strane dosada dovodi do smanjenja elektrodermalne aktivnosti. Ova komponenta se zove tonična komponenta elektrodermalne aktivnosti. Elektrodermalna aktivnost sadrži i fazičnu komponentu, koja brzo reaguje na nadražaje (prepad, vrelinu itd).

Algoritmi za određivanje mentalnih stanja uglavnom koriste samo jedan modalitet za određivanje (na primer elektroencefalografiju ili ritam otkucaja srca ili elektrodermalnu aktivnost). Ovaj pronalazak predlaže uređaj koji kombinuje različite modalitete u svrhu određivanja mentalnih stanja.

Posle obrade i određivanja mentalnih stanja, ili trenutnih mentalnih promena kao posledice određenih stimulusa, mentalna stanja se beleže u bazi podataka koja može biti na mobilnom telefonu ili kompjuteru, ili u udaljenoj centralnoj bazi podataka. U slučaju korišćenja centralne baze podataka, neophodno je voditi računa o privatnosti skladištenih biofizioloških podataka.

Iako se sistem može koristiti u svrhu neuromarketinga, asistivnog personalizovanog učenja, terapeutske, kao i medicinske dijagnostičke svrhe i druge, primarna primena ovog pronalaska je kvantifikovanje i praćenje mentalnih stanja korisnika u svrhu održavanja mentalnog zdravlja, povećanja produktivnosti i smanjenja nivoa stresa. Sistem može biti praćen aplikativnim software-om ili platformom koja daje određene preporuke korisniku u cilju poboljšanja mentalnog stanja i povećanja fokusa i radne efikasnosti i efikasnijeg iskorišćavanja vremena. Takođe, aplikativni software, ili platforma, može davati razne druge preporuke (kao na primer automatski preporučivati i puštati muziku korisniku kroz bežične slušalice) na osnovu izmerenog mentalnog stanja korisnika, a uzevši u obzir preference korisnika na osnovu izmerenih mentalnih stanja u prošlosti.

Prema tome, glavni predmet ovog pronalaska je nosivi uređaj i postupak za akviziciju biofizioloških signala sa Slike 1 u svrhu određivanja mentalnih stanja koji je ugrađen u bežični set za glavu koji sadrži slušalice ne narušavajući pri tome ergonomičnost i kompaktnost uređaja.

Drugi predmet ovog pronalaska je mobilni sistem za akviziciju biofizioloških signala u svrhu određivanja mentalnih stanja koji sadrži nosivi uređaj za akviziciju biofizioloških signala, centralni server, centralnu bazu podataka i mobilni uređaj za obradu, prikaz i skladištenje biofizioloških signala i postupak povezivanja nosivog uređaja za akviziciju biofizioloških signala sa centralnim serverom i centralnom bazom podataka i mobilnim uređajem za obradu, prikaz i skladištenje biofizioloških signala.

Treći predmet ovog pronalaska je sistem i postupak za određivanje mentalnih stanja kao posledice spoljnjih zvučnih stimulusa.

Četvrti predmet ovog pronalaska je sistem i postupak za određivanje mentalnih stanja kao posledice spoljnjih vizualnih stimulusa.

Peti predmet ovog pronalaska je sistem i postupak za određivanje mentalnih stanja kao posledice uticaja iz okoline.

Šesti predmet ovog pronalaska je sistem i postupak za modifikaciju zvučnih stimulusa prezentovanih korisniku u svrhu održavanje ili promene mentalnih stanja (na primer u svrhu muzičke terapije, ili sistema za preporuku muzike).

Sedmi predmet ovog pronalaska je sistem i postupak za modifikaciju vizualnih stimulusa prezentovanih korisniku u svrhu održavanja ili promene mentalnih stanja (na primer u svrhu vizualne terapije ili pravlje).

U drugačijoj izvedbi, lučni nosači koji se nalaze oko uva korisnika u mobilnom uređaju za akviziciju biofizioloških signala sa Slike 1 se izvode iznad glave korisnika.

U još jednoj drugačijoj izvedbi mobilni sistem za akviziciju biofizioloških signala u svrhu određivanja mentalnih stanja ne sadrži centralni server i centralnu bazu podataka, već samo mobilni uređaj za akviziciju biofizioloških signala i uređaj za obradu, prikaz i skladištenje biofizioloških signala.

U još jednoj drugačijoj izvedbi, mobilni sistem za akviziciju biofizioloških signala u svrhu određivanje mentalnih stanja ne sadrži mobilni uređaj za obradu, pirkaz i skladištenje biofizioloških signala već samo nosivi uređaj za akviziciju biofizioloških signala, centralni server i centralnu bazu podataka.

U još jednoj drugačijoj izvedbi, mobilni sistem za akviziciju biofizioloških signala u svrhu određivanje mentalnih stanja ne sadrži mobilni uređaj za obradu, prikaz i skladištenje biofizioloških signala i centralni server i centralnu bazu podataka, već samo nosivi uređaj za akviziciju biofizioloških signala i postupak za obradu biofizioloških signala u svrhu određivanja mentalnih stanja.

U još jednoj drugačijoj izvedbi, set za glavu u koji je ugrađen nosivi uređaj za akviziciju biofizioloških signala ne sadrži slušalice i namenjen je da se koristi u medicinske dijagnostičke svrhe, kao što je na primer praćenje pacijenata za koje se sumnja da imaju epilepsiju, ili za praćenje pacijenata kojima je epilepsija dijagnostikovana

Potreba za sistemom predloženim ovim pronalaskom nastaje pre svega iz činjenice da trenutni sistemi za prikupljanje biofizioloških signala (pre

1

svega elektroencefalografskih signala) ne ispunjavaju zahteve ergonomičnosti i kompaknosti da bi se našli u svakodnevnoj upotrebi i prema tome, današnji korisnici nemaju mogućnost svakodnevnog praćenja svog mentalnog stanja. Ako bi se ovakav sistem ipak našao u svakodnevnoj upotrebi, na duže staze bi mogao da postane i korisni alat za ličnu zdravstvenu zaštitu, dijagnostiku i prevenciju korisnika koji ga koristi. Takođe, ovakav sistem bi omogućio zvučnu ili svetlosnu terapiju u svrhu zadržavanja istih mentalnih stanja ili promene mentalnih stanja. Dalje, ovakav uređaj, uzevši u obzir da je ugrađen u bežični set za glavu koji sadrži slušalice, bi omogućio konstruisanje sistema za preporuku muzike koju bi korisnik želeo da sluša u datom trenutku na osnovu trenutnog mentalnog stanja, kao i prethodnih mentalnih stanja i preferencije korisnika prema određenom muzičkom žanru.

Jedan ili samo deo ili svega ukupnog i drugih karakteristika i prednosti pomenutog pronalaska su sasvim očigledne onima koji su vešti u ovoj oblasti tehnike na osnovu sledećeg opisa u kome se prikazuje i opisuje željeno izvođenje pronalaska, jednostavnim ilustrovanjem jednog od najpogodnijih načina za izvođenje pronalaska. Kao što se može uvideti, pronalazak ima različita izvođenja, i njegovih nekoliko detalja moguće je izmeniti na sasvim različite očigledne apekte bez udaljavanja od pronalaska. Shodno tome, slike nacrta i opise treba posmatrati kao ilustrativne, a ne kao restriktivne.

Kratak Opis Slika:

SLIKA 1 predstavlja prikaz nosivog uređaja (21) za akviziciju biofizioloških signala ugrađenog u telo (319) mobilnog uređaja za akviziciju biofizioloških signala koji sadrži slušalice (320) postavljenog na glavu korisnika iz više uglova.

SLIKA 2 predstavlja šematsku ilustraciju koja prikazuje nosivi sistem za akviziciju biofizioloških signala u svrhu određivanja mentalnog stanja koji je sadrži mobilni uređaj za akviziciju biofizioloških signala sa Slike 1.

SLIKE 3а i 3b predstavljaju šematsku ilustraciju koja prikazuje nosivi uređaj (21) za akviziciju biofizioloških signala ugrađen u telo (319) mobilnog uređaja za akviziciju biofizioloških signala koji sadrži slušalice (320).

SLIKA 4 je šematski prikaz električnog sastava uređaja za akviziciju biofizioloških signala.

SLIKE 5a, 5b i 5c su primeri željenog izvođenja skupa i rasporeda biofizioloških senzora koji naležu na kožu glave iza uva korisnika

SLIKA 6 je postupak kojim se signali prikupljeni sa senzora biofizioloških signala nosivog uređaja (21) obrađuju, šalju mobilnom uređaju (22) za obradu, prikaz i skladištenje biofizioloških signala gde se dalje obrađuju, prikazuju na ekranu, smeštaju u memoriju i šalju centralnom server (23) na dalju obradu i skladištenje u centralnoj bazi podataka (24).

SLIKA 7 je postupak skladištenja snimljenih podataka u centralnu bazu podataka (24).

SLIKA 8 je postupak slanja obrađenih podataka mobilnom uređaju (22) za obradu, prikaz i skladištenje biofizioloških signala od strane centralnog servera (23).

SLIKE 9a, 9b su šeme prikupljanja biofizioloških signala kao posledice biološke povratne sprege na spoljne (vizualne ili zvučne) stimuluse.

SLIKA 10 je postupak prikupljanja biofizioloških signala kao posledice biološke povratne sprege sa vizualnim stimulusima.

SLIKA 11 je postupak prikupljanja biofizioloških signala kao posledice biološke povratne sprege sa zvučnim stimulusima.

SLIKA 12 je postupak prikupljanja biofizioloških signala kao posledice stimulusa iz okoline.

SLIKA 13 je postupak modifikacije zvučnog stimulusa na osnovu izmerenih mentalnih stanja u svrhu promene mentalnog stanja

SLIKA 14 je postupak modifikacije vizualnog stimulusa na osnovu izmerenih mentalnih stanja u svrhu promene mentalnog stanja

Detaljan Opis Pronalaska:

SLIKA 2 predstavlja šematsku ilustraciju koja prikazuje mobilni sistem za merenje biofizioloških signala u svrhu određivanja mentalnog stanja. Mobilni sistem za merenje biofizioloških signala u svrhu određivanja mentalnog stanja obuhvata nosivi uređaj 21 za akviziciju biofizioloških signala, mobilni uređaj 22 za obradu, prikaz i skladištenje biofizioloških signala, centralni server 23 i centralnu bazu podataka 24.

Nosivi uređaj 21 za akviziciju biofizioloških signala pomoću Bluetooth modula za bežičnu komunikaciju povezan sa mobilnim uređajem 22 za obradu, prikaz i skladištenje biofizioloških signala i može da pošalje snimljene biofiziološke signale u digitalnom obliku mobilnim uređajima 22 za obradu, prikaz i skladištenje biofizioloških signala. Nosivi uređaj 21 za akviziciju i obradu biofizioloških signala je pomoću modula za bežičnu komunikaciju (na primer WiFi modula ili GPRS modula) povezan sa centralnim serverom 23 i može da pošalje snimljene biofiziološke signale zajedno sa metapodacima u digitalnom obliku centralnom serveru 23 preko interneta. Centralni server 23 može da prihvata snimljene podatke od nosivog uređaja 21 za akviziciju i obradu biofizioloških signala, da vrši dalju obradu signala. Centralni server 23 je dalje povezan sa centralnom bazom podataka 24. Centralni server 23 može da skladišti signale u centralnoj bazi podataka 24. Centralni server 23 može da pročita podatke skladištene u centralnoj bazi podataka 24. Centralni server 23 je pomoću modula za bežičnu komunikaciju dugog dometa (na primer WiFi modula ili GPRS modula) povezan sa mobilnim uređajima 22 za obradu, prikaz i skladištenje biofizioloških signala. Centralni server 23 dalje može da prosledi podatke pročitane iz centralne baze podataka 24 mobilnim uređajima 22 za obradu, prikaz i skladištenje biofizioloških signala. Mobilni uređaj 22 za obradu, prikaz i skladištenje biofizioloških signala je povezan sa nosivim uređajem 21 za akviziciju biofizioloških signala pomoću modula za bežičnu komunikaciju kao što je Bluetooth. Mobilni uređaj 22 za obradu, prikaz i skladištenje biofizioloških signala od nosivog uređaja 21 za akviziciju biofizioloških signala može da prihvati biofiziološke signale i skladišti biofiziološke signale u internu memoriju, ili ih prikaže na ekranu za prikazivanje, pošto ih prethodno eventualno obradi programskim aplikacijama za obradu signala. Mobilni uređaji 22 za obradu, prikaz i skladištenje biofizioloških signala mogu da imaju ekran za prikaz i memoriju za skladištenje. Mobilni uređaji 22 za obradu, prikaz i

1

skladištenje biofizioloških signala ima mogućnost bežične konekcije (kao što je, a neograničavajući se na Bluetooth). Mobilni uređaj 22 za obradu, prikaz i skladištenje biofizioloških signala može da prihvati signale poslate od centralnog servera 23 pomoću modula za bežičnu komunikaciju (npr. GPRS ili WiFi) i skladišti snimljene signale u internu memoriju, ili ih prikaže na ekranu za prikazivanje, pošto ih prethodno eventualno obradi programskim aplikacijama za obradu signala.

SLIKE 3а i 3b predstavljaju šematsku ilustraciju koja prikazuje nosivi uređaj 21 za akviziciju biofizioloških signala ugrađen u telo 319 mobilnog uređaja za akviziciju biofizioloških signala koji sadrži slušalice 320. Nosivi uređaj 21 za akviziciju biofizioloških signala obuhvata dva lučna nosača 311 koji sadrže najmanje jednu mernu elektrodu 312 koja prijanja na kožu pacijenta ili subjekta za merenje elektroencefalografske aktivnosti, najmanje jednu referentnu elektrodu 313a za merenje elektroencefalografske aktivnosti koja prijanja na kožu pacijenta ili subjekta, elektrodu 313b za uzemljenje za merenje elektroencefalografske aktivnosti koja prijanja na kožu pacijenta ili subjekta. Elektrode su projektovane tako da ne ugrožavaju kompaktnost i ergonomičnost uređaja. Osovina 314 naleže na lučni nosač 311 u najmanje 2 različite tačke pritiska 315a, 315b i tako vrši pritisak na lučni nosač, kako bi elektrode 312, 313a, 313b imale što bolji kontakt sa kožom glave korisnika. Lučni nosači 311 prema tome deluju malom silom na elektrode 312, 313a, 313b tako da elektrode ostanu u kontaktu sa glavom korisnika, a da i dalje ergonomičnost bude zadržana. Nosivi uređaj 21 za snimanje i slanje biofizioloških sadrži u sebi jedno ili više električnih kola 42, 43 za akviziciju biofizioloških signala koji je ulazni sistem za prihvatanje signala sa biofizioloških senzora. Električna kola 42, 43 za snimanje i obradu biofizioloških signala su smešteni u telu 319 mobilnog uređaja za akviziciju biofizioloških signala. Biofiziološki senzori mogu biti elektrode 312, 313a, 313b za akviziciju elektroencefalografske aktivnosti, najmanje jedne elektrode 316a, 316b za akviziciju elektrodermalne aktivnosti, transmisivni ili reflektivni svetlosni senzori 317 za akviziciju pulsne oksimetrije, senzori 318 za merenje temperature i drugi biofiziološki senzori. Biofiziološki senzori su projektovani tako da ne narušavaju kompaknost i ergonomičnost uređaja. Biofiziološki senzori se svi nalaze na glavi iza uva korisnika.

Nosivi uređaj 21 za akviziciju biofizioloških signala dalje sadrži senzore za snimanje pokreta korisnika uređaja za akviziciju biofizioloških signala.

Senzori za snimanje pokreta korisnika uređaja za akviziciju biofizioloških signala mogu biti akcelerometri, žiroskopi, magnetometar i GPS uređaj.

Nosivi uređaj 21 za snimanje biofizioloških sadrži najmanje jedne slušalice 320 za zvučnu stimulaciju. Slušalice 320 mogu služiti za trenutnu zvučnu stimulaciju (u vidu diskretnih zvučnih signala) i za kontinualnu zvučnu stimulaciju (na primer u vidu muzike).

Nosivi uređaj 21 za snimanje biofizioloških signala dalje sadrži tastere 321, 322 za stišavanje i pojačavanje zvuka u slušalicama. Tasteri 321, 322 za stišavanje i pojačavanje zvuka u slušalicama mogu biti realizovani pomoću senzora osetljivih na dodir.

Nosivi uređaj 21 za akviziciju biofizioloških signala ima senzore 323, 324 za snimanje uticaja iz okoline. Senzori za snimanje uticaja 323, 324 iz okoline mogu biti senzori 323 za snimanje svetlosti (kao na primer ultraljubičaste svetlosti), senzori 324 za snimanje zvuka. Signali sa senzora 323, 324 za snimanje uticaja iz okoline se šalju sinhronizovani sa snimljenim biofiziološkim signalima mobilnom uređaju 22 za obradu, prikaz i skladištenje biofizioloških signala.

SLIKA 4 Predstavlja šematsku ilustraciju koja prikazuje električno kolo 41 nosivog uređaja 21 za akviziciju biofizioloških signala. Električno kolo 41 nosivog uređaja 21 za akviziciju biofizioloških signala sadrži ulazno električno kolo 42 za akviziciju biofizioloških signala koji je ulazni sistem za primanje signala sa elektroda. Ulazno kolo 42 za akviziciju biofizioloških signala sadrži razna kola za prihvatanje signala sa različitih biofizioloških senzora. Biofiziološki senzori 32, 33a, 33b, 36a, 36b, 37, 38 su senzori 32, 33a, 33b za merenje elektroencefalografskih (EEG) signala, senzori 36a, 36b za merenje elektrodermalne aktivnosti, senzori 37 za merenje pulsne oksimetrije, senzori 38 za merenje temperature i drugi biofiziološki senzori. Električno kolo 41 nosivog uređaja 21 za akviziciju biofizioloških signala dalje sadrži ulazno električno kolo 43 za akviziciju signala iz okoline. Ulazno električno kolo 43 za prikupljanje signala iz okoline sadrži kola za prihvatanje signala sa senzora 323 za snimanje svetlosti iz okoline, kao i senzora 324 za snimanje zvuka. Električno kolo 41 nosivog uređaja 21 za akviziciju biofizioloških signala dalje sadrži električno kolo 44 sa pojačavačem, multiplekserom i analogno-digitalnim (A/D] konvertorom, kolo 45 za zvučnu stimulaciju, kolo 46 za obradu signala, modul 47 za bežičnu komunikaciju kao što je Bluetooth i modul 48 za bežičnu

1

komumkaciju kao što je GPRS modul. Električno kolo 41 nosivog uređaja 21 za akviziciju biofizioloških signala pomoću modula 47 za bežičnu komunikaciju može da pošalje snimljene elektrofiziološke signale u digitalnom obliku mobilnim uređajima 22 za obradu, prikaz i skladištenje biofisioloških signala, ili da primi podatke (na primer zvučne zapise) bežičnim putem od spoljnih uređaja. Električno kolo 41 nosivog uređaja 21 za akviziciju biofizioloških signala pomoću modula 48 za bežičnu komunikaciju može da pošalje snimljene elektrofiziološke signale zajedno sa metapodacima u digitalnom obliku centralnom serveru 23 preko interneta. Električno kolo 41 nosivog uređaja 21 za akviziciju biofizioloških signala dalje pušta zvučni zapis koje je nosivi uređaj 21 za akviziciju biofizioloških signala primio od spoljnih uređaja prosleđuju kolu 45 za zvučnu stimulaciju, koje potom zvučni zapis pušta korisniku pomoću slušalica 320.

SLIKE 5a, 5b i 5c predstavljaju primer željenog izvođenja na kome je prikazan skup i raspored biofizioloških senzora 312, 313a, 313b, 316a, 316b, 317, 318 koji naležu na kožu glave iza jednog, odnosno drugog uva korisnika. Skup elektroda 312, 313a, 313b, 316a, 316b i senzora 317, 318 na oba uva može, a ne mora biti identičan. U željenom izvođenju prikazanom ovim pronalaskom, na kožu glave iza svakog uva korisnika naležu po 4 merne elektrode 312 za merenje elektroencefalografske aktivnosti, jedna elektroda 313b za uzemljenje i jedna referentna elektroda 313a. Referentne elektrode 313a mogu postojati nezavisno na oba uva, mogu postojati na oba uva i biti kratko spojena električnim kolom, ili mogu postojati samo na jednom uvu.

Prema željenom izvođenju, skup elektroda na jednom uvu osim elektroda 312, 313a, 313b za merenje elektroencefalografske aktivnosti može sadržati i senzor 318 za merenje temperature. Skup elektroda na jednom uvu pored elektroda 312, 313a, 313b za merenje elektroencefalografske aktivnosti može sadržati i senzor 317 za merenje pulsne oksimetrije, srčanog ritma i zasićenosti krvi kiseonikom.

Prema željenom izvođenju je dalje skup elektroda na drugom uvu osim elektroda 312, 313a, 313b za merenje elektroencefalografske aktivnosti može sadržati i elektrodu 316a, 316b za merenje elektrodermalne aktivnosti kože, koji mora imati najmanje jednu mernu elektrodu 316b i jednu referentnu elektrodu 316a.

Skup elektroda 312, 313a, 313b, 316a, 316b i senzora 317, 318 meri biofiziološke aktivnosti kontinualno, al i pod određenim zvučnim stimulusima koji dolaze iz slušalica 320. Slušalica 320 stimuluse može

1

puštati kontinualno (u vidu muzike, govora i slično) ili u vidu kratkih diskretnih događaja.

SLIKA 6 Predstavlja dijagram toka postupka kojim se signali prikupljeni sa elektroda 312, 313a, 313b, 316a, 316b i senzora 317, 318 biofizioloških signala nosivog uređaja 21 obrađuju, šalju mobilnom uređaju 22 za obradu, prikaz i skladištenje biofizioloških signala gde se dalje obrađuju, prikazuju na ekranu, smeštaju u memoriju u obliku mentalnih stanja ili obrađenih biofizioloških signala i šalju centralnom serveru 23 na dalju obradu i skladištenje u centralnoj bazi podataka 24 u obliku mentalnih stanja ili obrađenih biofizioloških signala.

U fazi 611, elektrode 312, 313a, 313b, 316a, 316b i senzori 317, 318 vrše akviziciju biofizioloških signala, pri čemu biofiziološki signali mogu biti elektroencefalografski signali, ili svetlosni signali za merenje pulsne oksimetrije, ili signali elektrodermalne aktivnosti, ili signali za merenje temperature tela. Biofiziološki signali mogu biti jedan ili svi ili kombinacija pomenutih signala.

U fazi 612, se vrši analogno/digitalna konverzija za signale za koje je to potrebno (kao na primer za elektroencefalografske signale i signale za merenje elektrodermalne aktivnosti i za signale za merenje temperature).

U fazi 613, se vrši izbor da li se vrši obrada digitalnih biofizioloških signala

U fazi 614, se vrši obrada prikupljenih digitalnih signala u slučaju da je obrada digitalnih signala zahtevana u fazi 613. Obrada prikupljenih digitalnih signala može biti filtriranje signala određenim visoko propusnim, ili nisko propusnim filtrima ili kombinacijom ovih filtara. Obrada digitalnih signala dalje može biti statistička obrada signala (na primer koristeći metode kao što su analiza nezavisnih komponenata ili zajedničkih prostornih paterna ili drugih). Obrada signala kao izlaz može davati ili vremenske obrađene signale, ili samo karakteristike obrađenih signala, kao što je snaga određenog frekvencijskog opsega signala, ili određena mentalna stanja.

U fazi 615, se vrši izbor da li se prikupljeni i obrađeni podaci šalju mobilnom uređaju 22 za obradu, prikaz i skladištenje biofizioloških signala ili se čuvaju u internoj memoriji nosivog uređaja 21 za akviziciju biofizioloških signala za kasnije slanje centralnom server 23.

U fazi 616, se vrši izbor da li se digitalni podaci čuvaju u internoj memoriji nosivog uređaja 21 za akviziciju biofizioloških signala.

1

U fazi 617, se snimljeni i obrađeni biofiziološki signali čuvaju u internoj memoriji nosivog uređaja 21 za akviziciju biofizioloških signala u slučaju da je odabrana ta opcija u fazi 616.

U fazi 618, se obrađeni signali šalju mobilnom uređaju 22 za obradu, prikaz i skladištenje biofizioloških signala. Obrađeni mogu biti vremenski signali ili samo karakteristike signala, kao što je snaga određenog frekvencijskog opsega signala ili izračunata mentalna stanja.

U fazi 619, se vrši izbor da li se na mobilnom uređaju 22 za obradu, prikaz i skladištenje biofizioloških signala vrši dalja obrada signala.

U fazi 620, se vrši se dalja obrada digitalnih podataka u mobilnom uređaju 22 za obradu, prikaz i skladištenje biofizioloških signala u slučaju da je ta opcija izabrana u fazi 619. Obrada digitalnih podataka na mobilnom uređaju 22 za obradu pirkaz i skladištenje biofizioloških signala može biti filtriranje signala određenim visoko propusnim, ili nisko propusnim filtrima ili kombinacijom ovih filtara. Obrada digitalnih podataka dalje može biti statistička obrada signala (na primer koristeći metode kao što su analiza nezavisnih komponenata ili zajedničkih prostornih paterna ili drugih). Obrada signala kao izlaz može davati ili vremenske obrađene signale, ili samo karakteristike obrađenih signala, kao što je snaga određenog frekvencijskog opsega signala, ili mentalna stanja. Navedene obrade signala ne isključuju mogućnosti implementacije drugačijih algoritama digitalne obrade signala.

U fazi 621, se obrađeni signal prikazuje na ekranu mobilnog uređaja 22 za obradu, prikaz i skladištenje biofizioloških signala.

U fazi 622, se obrađeni signal skladišti u memoriji mobilnog uređaja 22 za obradu, prikaz i skladištenje biofizioloških signala i šalje se centralnom serveru 23, zajedno sa identifikacijom korisnika, na dalju obradu i skladištenje u centralnoj bazi podataka 24.

SLIKA 7 predstavlja šematski dijagram toka postupka skladištenja

snimljenih podataka u centralnu bazu podataka 24.

U fazi 711, centralni server 23 prima podatke sa nosivog uređaja 21 za akviziciju biofizioloških signala, ili sa mobilnog uređaja 22 za obradu, prikaz i skladištenje biofizioloških signala. Podaci mogu biti neobrađeni signali, obrađeni signali ili izdvojene karakteristike obrađenih signala dobijene obradom biofizioloških signala, ili izračunata mentalna stanja. Podaci sadrže i identifikaciju korisnika kome pripadaju podaci.

U fazi 712 se vrši odabir da li se od centralnog servera 23 zahteva da vrši dodatnu obradu digitalnih signala.

1

U fazi 713, centralni server 23 vrši dalju obradu prikupljenih biofizioloških signala u slučaju da je ta obrada zahtevana u fazi 712. Dalja obrada na centralnom serveru 23 se može vršiti samo na skupu podataka koji je primljen tokom idućeg prenosa podataka, ili se može kombinovati sa prethodno prikupljenim podacima, na primer primenom algoritmima za mašinsko učenje. Prethodno prikupljeni podaci pripadaju istom korisniku, ili pripadaju grupi korisnika ili pripadaju svim korisnicima. Pripadanje podataka korisniku u bazi podataka 24 se određuje na osnovu identifikacije korisnika.

U fazi 714, centralni server 23 vrši upis obrađenih i/ili sirovih podataka u centralnu bazu podataka 24 zajedno sa identifikacijom korisnika.

SLIKA 8 predstavlja dijagram toka postupka slanja obrađenih podataka od centralnog servera 23 mobilnom uređaju 22 za obradu prikaz i skladištenje biofizioloških signala.

U fazi 811, mobilni uređaj 22 za obradu, prikaz i skladištenje biofizioloških signala šalje centralnom server 23 identifikaciju korisnika i zahtev za eventualnu obradu i dobijanje podataka iz centralne baze podataka 24.

U fazi 812, centralni server 23 na osnovu identifikacije korisnika preuzima iz centralne baze podataka 24 podatke za obradu i slanje uređaju obradu, prikaz i skladištenje biofizioloških signala.

U fazi 813 se vrši odabir da li se zahteva dodatna obrada na centralnom server 23.

U fazi 814, u slučaju da je zahtevana dodatna obrada podataka od strane centralnog servera 23 na koraku 813, centralni server 23 vrši dodatnu obradu podataka dobijenih iz centralne baze podataka 24 i priprema ih za slanje mobilnom uređaju 22 za obradu, prikaz i skladištenje biofizioloških signala. Obrada na centralnom server 23 se može vršiti samo na skupu podataka koji je primljen tokom trenutnog prenosa podataka, ili se može kombinovati sa prethodno prikupljenim podacima, na primer primenom algoritama za mašinsko učenje. Prethodno prikupljeni podaci mogu pripadati istom korisniku, ili grupi korisnika ili mogu pripadati svim korisnicima. Pripadanje podataka korisniku u bazi podataka 24 se određuje na osnovu identifikacije korisnika.

U fazi 815, centralni server 24 šalje obrađene podatke mobilnom uređaju 22 za obradu, prikaz i skladištenje biofizioloških signala.

1

U fazi 816 se vrši odabir da li se zahteva dodatna obrada na mobilnom uređaju 22 za obradu, prikaz i skladištenje biofizioloških signala.

U fazi 817, mobilni uređaj 22 za obradu, prikaz i skladištenje biofizioloških signala vrši dodatnu obradu biofizioloških signala u slučaju da je ona zahtevana od strane korisnika.

U fazi 818, mobilni uređaj 22 za obradu, prikaz i skladištenje biofizioloških signala prikazuje obrađene biofiziološke signale na ekranu mobilnog uređaja 22 za obradu, prikaz i skladištenje biofizioloških signala.

U fazi 819, mobilni uređaj 22 za obradu, prikaz i skladištenje biofizioloških signala skladišti obrađene biofiziološke signale u memoriji mobilnog uređaja 22 za obradu, prikaz i skladištenje biofizioloških signala.

Faze 811 do 819 se mogu ponavljati neodređen broj puta. Obrada biofizioloških signala može biti izračunavanje mentalnih stanja.

SLIKE 9a, 9b predstavljaju šematski prikaz prikupljanja biofizioloških signala kao posledice biološke povratne sprege na spoljne stimuluse. Spoljni stimulusi mogu biti vizualni stimulusi (Slika 9a) prikazani na ekranu mobilnog uređaja 91 za vizualnu stimulaciju. Spoljni stimulusi dalje mogu biti zvučni stimulusi pušteni kroz slušalice 320 koje se nalaze u telo 319 mobilnog uređaja za akviziciju biofizioloških signala u koji je ugrađen nosivi uređaj 21 za merenje biofizioloških signala u svrhu određivanja mentalnih stanja (Slika 9b).

SLIKA 10 predstavlja dijagram toka postupka prikupljanja biofizioloških signala kao posledice biološke povratne sprege izazvane vizualnim stimulusima.

U fazi 1011, vizualni stimulus se prikazuje na ekranu mobilnog uređaja 91 za vizualnu stimulaciju. Uređaj 91 za vizualnu stimulaciju može biti mobilni telefon. Uređaj 91 koji se koristi za vizualnu stimulaciju može biti isti uređaj kao i mobilni uređaj 22 za obradu, prikaz i skladištenje biofizioloških signala. Vizualna stimulacija može biti puštena u svrhu biološke povratne sprege preko programske aplikacije za biološku povratnu spregu. Vizualna stimulacija može biti jednostavni pregled sadržaja na uređaju za vizualnu stimulaciju. Na primer, u slučaju da je uređaj 91 za vizualnu stimulaciju mobilni telefon, vizualni stimulus može biti pregled sadržaja raznih mobilnih aplikacija ili internet sadržaja, na primer vesti, ili video sadržaja ili bilo kog drugog sadržaja koji se može

2

prikazati na mobilnom telefonu. Vizualna stimulacija, prema tome, može imati i osobine kognitivne, a ne samo vizualne stimulacije.

U fazi 1012, se podaci o vizualnoj stimulaciji sa uređaja za vizualnu stimulaciju šalju mobilnom uređaju 22 za obradu, prikaz i skladištenje biofizioloških signala.

U fazi 1013, nosivi uređaj 21 za akviziciju biofizioloških signala istovremeno sa fazom 1012 prikuplja biofiziološke signale.

U fazi 1014, nosivi uređaj 21 za akviziciju biofizioloških signala šalje prikupljene biofiziološke signale mobilnom uređaju 22 za obradu, prikaz i skladištenje biofizioloških signala, kao što je to prikazano na Slici 2.

U fazi 1015, mobilni uređaj 22 za obradu, prikaz i skladištenje biofizioloških signala obrađuje signale na način da ih vremenski sinhronizuje sa podacima za vizualnu stimulaciju i eventualno vrši dodatnu obradu signala.

U fazi 1016, na osnovu obrade iz faze 1015, dobijaju se novi obrađeni biofiziološki signali koji se mogu ili prikazati na ekranu mobilnog uređaja 22 za obradu, prikaz i skladištenje biofizioloških signala, ili se mogu skladištiti u internoj memoriji mobilnog uređaja 22 za obradu, prikaz i skladištenje biofizioloških signala, ili se mogu poslati centralnom server 23.

Obrađeni fiziološki signali mogu biti mentalna stanja.

SLIKA 11 predstavlja dijagram toka postupka akvizicije biofizioloških signala kao posledice biološke povratne sprege izazvane zvučnim stimulusima.

U fazi 1111, uređaj 92 za davanje zvučnih stimulusa šalje zvučni stimulus slušalicama 21 koje se nalaze u telo 319 mobilnog uređaja za akviziciju biofizioloških signala u koji je ugrađen nosivi uređaj 21 za akviziciju biofizioloških signala. Uređaj 92 za davanje zvučnih stimulacija može biti mobilni telefon. Uređaj 92 za davanje zvučnih stimulacija može biti isti uređaj kao i mobilni uređaj 22 za obradu, prikaz i skladištenje biofizioloških signala. Zvučna stimulacija može biti puštena u svrhu biološke povratne sprege preko programske aplikacije za biološku povratnu spregu. Zvučna stimulacija može biti jednostavno zvučni tok sadržaja na uređaju 92 za davanje zvučne stimulacije. Na primer, u slučaju da je uređaj 92 za zvučnu stimulaciju mobilni telefon, zvučni stimulus može biti muzika puštena sa neke od mobilnih aplikacija za puštanje muzike, ili može biti zvuk iz videa ili sa bilo kog drugog sadržaja koji se može zvučno pustiti na mobilnom telefonu. Zvučna stimulacija, prema tome, može imati i osobine kognitivne, a ne samo zvučne stimulacije.

U fazi 1112, se zvučni signal pušta sa slušalica 21 koje se nalaze u telo 319 mobilnog uređaja za akviziciju biofizioloških signala u koji je ugrađen nosivi uređaj 21 za akviziciju biofizioloških signala.

U fazi 1113, nosivi uređaj 21 za akviziciju biofizioloških signala beleži u internoj memoriji podatke o zvučnom stimulusu. Podaci mogu biti tačno vreme kada je stimulus pušten, osobine zvuka koje su puštene i razni drugi podaci.

U fazi 1114, nosivi uređaj 21 za akviziciju biofizioloških signala istovremeno prikuplja biofiziološke signale sa biofizioloških senzora.

U fazi 1115, nosivi uređaj 21 za akviziciju biofizioloških signala šalje prikupljene biofiziološke signale zajedno sa zvučnim signalima korišćenim za zvučnu stimulaciju mobilnom uređaju 22 za obradu, prikaz i skladištenje biofizioloških signala.

U fazi 1116, mobilni uređaj 22 za obradu, prikaz i skladištenje biofizioloških signala obrađuje signale na način da ih vremenski sinhronizuje sa signalima za zvučnu stimulaciju i eventualno vrši dodatnu obradu primljenih signala.

U fazi 1117, na osnovu obrade iz faze 1116, dobijaju se novi obrađeni biofiziološki signali koji se mogu ili prikazati na ekranu mobilnog uređaja 22 za obradu, prikaz i skladištenje biofizioloških signala, ili se mogu skladištiti u internoj memoriji mobilnog uređaja 22 za obradu, prikaz i skladištenje biofizioloških signala, ili se mogu poslati centralnom serveru 23.

Obrađeni biofiziološki signali mogu biti mentalna stanja.

SLIKA 12 predstavlja dijagram toka postupka prikupljanja biofizioloških signala kao posledice stimulusa iz okoline.

U fazi 1211, nosivi uređaj 21 za akviziciju biofizioloških signala prihvata zvuk iz okoline pomoću senzora 324 za prihvatanje zvuka iz okoline.

U fazi 1212, nosivi uređaj 21 za akviziciju biofizioloških signala prihvata svetlost iz okoline pomoću senzora 323 za prihvatanje svetlosti iz okoline.

U fazi 1213, nosivi uređaj 21 za akviziciju biofiioloških signala prihvata biofiziološke signale sa senzora za prihvatanje biofizioloških signala, kao što je prikazano dijagramom toka sa slike 4.

Faze 1211, 1212 i 1213 se obavljaju istovremeno.

U fazama 1211 i 1212 se obavlja samo jedan od koraka, ili oba koraka zajedno.

U fazi 1214, nosivi uređaj 21 za akviziciju biofizioloških signala vrši obradu prikupljenih signala iz faza 1211, 1212 i 1213 na način što vremenski sinhronizuje signale sa senzora 323 za prikupljanje svetlosti iz okoline, signale sa senzora 324 za prikupljanje zvuka iz okoline i prikupljenih biofizioloških signala.

U fazi 1215, nosivi uređaj 21 za akviziciju biofizioloških signala vrši dalju obradu signala prikupljenih u fazama 1211, 1212 i 1213 i šalje mobilnom uređaju 22 za obradu, prikaz i skladištenje biofizioloških signala ili centralnom server 23 na dalju obradu, prikaz i skladištenje biofizioloških signala.

U fazi 1216, mobilni uređaj 22 za obradu, prikaz i skladištenje biofizioloških signala ili centralni server 23 vrši dalju obradu signala dobijenih u fazama 1211-1215.

U fazi 1217, aplikativni programi za multimodalnu obradu signala obrađuju prikupljene signale na koracima 1211-1216 i nakon obrade određuju uticaj ambijentalnih uslova okoline na mentalno stanje (kognitivne procese i emotivno stanje] korisnika.

Mobilni uređaj 22 za obradu, prikaz i skladištenje biofizioloških signala može biti mobilni telefon, ili računar ili drugi uređaj koji poseduje, neograničavajući se na, mogućnost bežične komunikacije (npr Bluetooth], ekran za prikaz snimljenih signala, programske aplikacije za obradu biofizioloških signala i memoriju za skladištenje biofizioloških signala.

Obrada biofizioloških signala podrazumeva skup algoritama obrade biofizioloških signala u svrhu određivanja mentalnih stanja.

SLIKA 13 predstavlja dijagram toka postupka modifikacije zvučnog stimulusa na osnovu izmerenih mentalnih stanja u svrhu promene mentalnih stanja, pojačanja ili smanjenja intenziteta (modulacije] trenutnog mentalnog stanja

U fazi 1311 nosivi uređaj 21 za akviziciju biofizioloških signala vrši prikupljanje biofizioloških podataka sa biofizioloških elektroda 312, 313a, 313b, 316a, 316b i senzora 317, 318 za merenje elektroencefalografije, srčanog ritma, zasićenosti krvi kiseonikom, elektrodermalne aktivnosti i telesne temperature i obrađuje pomenute biofiziološke signale.

U fazi 1312 nosivi uređaj 21 za akviziciju biofizioloških signala šalje obrađene biofiziološke signale mobilnom uređaju 22 za obradu, prikaz i skladištenje biofizioloških signala.

2

U fazi 1313 mobilni uređaj 22 za obradu, prikaz i skladištenje biofizioloških signala dalje obrađuje biofiziološke signale i prema tome određuje mentalna stanja korisnika.

U fazi 1314 se proverava da li već postoje određena mentalna stanja skladištena u memoriji mobilnog uređaja 22 za obradu, prikaz i skladištenje biofizioloških signala, odnosno da li je pristigli paket snimljenih i obrađenih biofizioloških signala prvi takav paket, ili je snimanje započeto ranije.

U fazi 1315, u slučaju da je bilo i ranije snimljenih i obrađenih biofizioloških signala i da su određena mentalna stanja i da su podaci o određenim mentalnim stanjima smešteni u memoriji mobilnog uređaja 22 za obradu, prikaz i skladištenje biofizioloških signala, vrši se poređenje mentalnih stanja iz memorije mobilnog uređaja 22 za obradu, prikaz i skladištenje biofizioloških signala sa novim snimljenim mentalnim stanjima.

U fazi 1316, na osnovu određenih mentalnih stanja i upoređivanja sa prethodno određenim mentalnim stanjima, mobilni uređaj 22 za obradu, prikaz i skladištenje biofizioloških signala određuje da li je potrebno i na koji način modifikovati zvučne stimuluse.

U fazi 1317 mobilni uređaj 22 za obradu, prikaz i skladištenje biofizioloških signala šalje naredbu uređaju 92 za zvučnu stimulaciju o promeni zvučne stimulacije, ili zadržavanju iste stimulacije, ili prestanku zvučne stimulacije.

U fazi 1318 uređaj 92 za zvučnu stimulaciju šalje zvučne stimuluse mobilnom nosivom uređaju 21 za akviziciju biofizioloških signala.

U fazi 1319 nosivi uređaj 21 za akviziciju biofizioloških signala pušta zvučne stimuluse kroz slušalice 21 koje se nalaze u telo 319 mobilnog uređaja za akviziciju biofizioloških signala u koji je ugrađen je nosivi uređaj 21 za akviziciju biofizioloških signala.

U fazi 1320 se skladište određena mentalna stanja u memoriji mobilnog uređaja 22 za obradu, prikaz i skladištenje biofizioloških signala u svrhu upoređivanja sa određenim mentalnim stanjima u budućim iteracijama.

Faze 1311 do 1320 se mogu ponavljati neodređen broj puta. Mobilni uređaj 22 za obradu, prikaz i skladištenje biofizioloških signala može biti mobilni telefon. Uređaj 92 za davanje zvučne može biti mobilni telefon. Uređaj 91 za davanje zvučne stimulacije i mobilni uređaj 22 za obradu, prikaz i skladištenje biofizioloških signala mogu biti jedan uređaj.

SLIKA 14 predstavlja dijagram toka postupka modifikacije vizualnog stimulusa na osnovu izmerenih mentalnih stanja u svrhu promene mentalnih stanja, pojačanja ili smanjenja intenziteta [modulacije] trenutnog mentalnog stanja

U fazi 1411 nosivi uređaj 21 za akviziciju biofizioloških signala vrši prikupljanje biofizioloških podataka sa biofizioloških elektroda 312, 313a, 313b, 316a, 316b i senzora 317, 318 za merenje elektroencefalografije, srčanog ritma, zasićenosti krvi kiseonikom, elektrodermalne aktivnosti i telesne temperature i obrađuje pomenute biofiziološke signale.

U fazi 1412 nosivi uređaj 21 za akviziciju biofizioloških signala šalje obrađene biofiziološke signale mobilnom uređaju 22 za obradu, prikaz i skladištenje biofizioloških signala.

U fazi 1413 mobilni uređaj 22 za obradu, prikaz i skladištenje biofizioloških signala dalje obrađuje biofiziološke signale i prema tome određuje mentalna stanja korisnika.

U fazi 1414 se proverava da li već postoje određena mentalna stanja skladištena u memoriji mobilnog uređaja 22 za obradu, prikaz i skladištenje biofizioloških signala, odnosno da li je pristigli paket snimljenih i obrađenih biofizioloških signala prvi takav paket, ili je snimanje započeto ranije.

U fazi 1415, u slučaju da je bilo i ranije snimljenih i obrađenih biofizioloških signala i da su određena mentalna stanja i da su podaci o određenim mentalnim stanjima smešteni u memoriji mobilnog uređaja 22 za obradu, prikaz i skladištenje biofizioloških signala, vrši se poređenje mentalnih stanja iz memorije uređaja za obradu, prikaz i skladištenje biofizioloških signala sa novim snimljenim mentalnim stanjima.

U fazi 1416, na osnovu određenih mentalnih stanja i upoređivanja sa prethodno određenim mentalnim stanjima, mobilni uređaj 22 za obradu, prikaz i skladištenje biofizioloških signala određuje da li je potrebno i na koji način modifikovati vizualne stimuluse.

U fazi 1417 mobilni uređaj 22 za obradu, prikaz i skladištenje biofizioloških signala šalje naredbu uređaju za vizualnu stimulaciju o promeni vizualne stimulacije, ili zadržavanju iste vizualne stimulacije, ili prestanku vizualne stimulacije.

U fazi 1418 uređaj 91 za vizualnu stimulaciju prikazuje vizualne stimuluse na ekranu uređaja 91 za vizualnu stimulaciju.

U fazi 1419 se vrši skladištenje određenih mentalnih stanja u memoriji mobilnog uređaja 22 za obradu, prikaz i skladištenje biofizioloških signala u svrhu upoređivanja sa određenim mentalnim stanjima u budućim iteracijama.

2

Faze 1411 do 1419 se mogu ponavljati neodređen broj puta. Mobilni uređaj 22 za obradu, prikaz i skladištenje biofizioloških signala može biti mobilni telefon. Uređaj 91 za davanje vizualne stimulacije može biti mobilni telefon. Uređaj 91 za davanje vizualne stimulacije i mobilni uređaj 22 za obradu, prikaz i skladištenje biofizioloških signala mogu biti jedan uređaj.

Stručnjak iz oblasti tehnike će razumeti da izvođenje ovog pronalaska, onako kako je prikazano na slikama nacrta i gore opisano, predstavlja samo primer koji ne ograničava.

Način industrijske i druge primene pronalaska

Jedan način primene pronalaska je u svrhu bolje koncentracije na random mestu na sledeći način. Korisnik sluša muziku kroz slušalice i pronalazak mu određuje mentalna stanja. Na osnovu prethodno izmerenih stanja, pronalazak menja muziku da bi korisnik što pre došao u stanje koncentracije. Zatim, uređaj pusta takvu muziku da korisnik zadrži to stanje duže. Isti princip se koristi i u drugim mogućim primenama.

2

Claims

Patentni zahtevi

1. Sistem naznačen time, što se sastoji od nosivog uređaja (21) povezanog bežičnom mrežom za prenos podataka sa bazom podataka (24) preko centralnog servera (23) i što je uređaj (21) povezan bežičnom mrežom za prenos podataka sa mobilnim uređajem (22) za primanje biofizioloških signala, koji sadrži procesor za obradu biofizioloških signala u svrhu određivanja parametara mentalnih stanja, kao i da centralni server (23) sadrži procesor za detektovanje jednog ili više parametara mentalnih stanja.

2. Sistem, prema patentnom zahtevu 1, naznačen time, što uređaj (21) sadrži telo (319) mobilnog uređaja za akviziciju biofizioloških signala, na kome su sa obe strane izvedene osovine (314) sa tačkama (315a i 315b) pritiska za koje su pričvršćeni lučni nosači (311) na kome su pričvršćeni najmanje jedna elektroda (312) za merenje elektroencefalografske aktivnosti, najmanje jedna referentna elektroda (313a) za merenje elektroencefalografske aktivnosti i elektroda (313b) za uzemljenje za merenje elektroencefalografske aktivnosti, što je u lučni nosač (311) ugrađen bežični set koji sadrži najmanje jednu slušalicu (320) i koji je pogodan za čvrsto postavljanje uz glavu korisnika.

3. Sistem prema zahtevu 2, naznačen time, što se na lučnom nosaču (311) nalazi najmanje još jedan iz skupa sledećih senzora: elektroda (316a) za merenje elektrodermalne aktivnosti, najmanje jedna elektroda (316b) za uzemljenje za merenje elektrodermalne aktivnosti, svetlosni senzor (317) za transmitivno merenje pulsne oksimetrije, svetlosni senzor (317) za reflektivno merenje pulsne oksimetrije, senzor (318) za merenje telesne temperature, senzor (324) za merenje ambijentalnog svetla, senzor (325) za snimanje zvuka.

4. Sistem prema zahtevu 2, naznačen time, što telo (319) mobilnog uređaja za akviziciju biofizioloških signala sadrži senzor za merenje pomeraja, žiroskop, akcelerometar, magnetometer i GPS uređaj.

5. Sistem prema zahtevu 2, naznačen time, što telo (319) mobilnog uređaja za akviziciju biofizioloških signala sadrži najmanje jedno električno kolo (42,43) za akviziciju biofizioloških signala ili signala iz okoline.

2

6. Sistem prema zahtevu 5, naznačen time, što je ulazno električno kolo (42) za akviziciju biofizioloških signala kolo za akviziciju elektroencefalografskih signala.

7. Sistem prema zahtevu 2, naznačen time, što su na lučnim nosačima (311) izvedene dve referentne elektrode (313a), tako što postoji po jedna referentna elektroda (313a) za merenje elektroencefalografske aktivnosti.

8. Sistem prema zahtevu 2, naznačen time, što su dve referentne elektrode (313a) za merenje elektroencefalografske aktivnosti fizički razdvojene unutar ulaznog kola (42) za akviziciju biofizioloških signala ili kratko spojene unutar ulaznog kola (42) za akviziciju biofizioloških signala.

9. Sistem prema zahtevu 1, naznačen time, što nosivi uređaj (21) sadrži procesor za istovremeno vršenje akvizicije podataka i za puštanje signala stimulacije korisniku.

10. Sistem prema zahtevu 9, naznačen time, što signal stimulacije može biti vizualni signal, zvučni signal ili vizualno-zvučni signal.

11. Postupak za akviziciju, generisanje i puštanje signala stimulacije, naznačen time, što se izvodi na uređaju (21) i sastoji od faza (1011, 1012, 1111, 1112, 1113) gde se vrši generisanje i puštanje prvog signala stimulacije korisniku nosivog uređaja (21)

Što se u fazama (1013, 1114) vrši prva akvizicija biofizioloških signala simultano sa puštanjem prve stimulacije

Što se u fazama (1014, 1015, 1016, 1115, 1116, 1117) na osnovu prve akvizicije biofizioloških signala određuju parametri mentalnih stanja u odnosu na prvi signal stimulacije

Što se u fazama (1011, 1012, 1111, 1112, 1113) vrši generisanje i puštanje drugog signala stimulacije

12. Postupak prema zahtevu 11, naznačen time, što je u fazama (1011, 1012, 1014, 1015, 1016, 1111, 1112, 1113, 1115, 1116 i 1117) signal stimulacije upućen sa uredjaja (21) koji može biti:

a) Vizualni signal stimulacije kraći od 1 sekunde,

b) vizualni stimulus duži od jedne sekunde,

c) zvučni stimulus kraći od jedne sekunde,

d) zvučni stimulus duži od jedne sekunde,

e) video

f) muzika

g) stimulusi za vizualnu terapiju

h) stimulus za terapiju zvukom

i) kombinacija ovih stimulusa

13. Postupak prema zahtevu 11, naznačen time, što se

U fazama (1311, 1312, 1313, 1411, 1412, 1413) vrši akvizicija i obrada biofizioloških signala pomoću nosivog uređaja (21) mobilnog uređaja (22) i određivanje prvog parametra mentalnog stanja.

U fazama (1314, 1315, 1414, 1415) vrši poređenje parametara nivoa mentalnog stanja korisnika sa prethodnim parametrima sačuvanim u sistemu

14. Postupak prema zahtevu 13, naznačen time, što se u fazama (1313 i 1413) biofiziološki signali čiji se parametri određuju na osnovu snage jednog ili kombinacijom više EEG frekventnih opsega alfa, beta, gama, delta i teta korisnika, evociranih potencijala iz EEG signala korisnika, srčanog ritma, nivoa zasićenosti krvi korisnika kiseonikom, elektrodermalne aktivnosti korisnika, temperature tela korisnika, epileptiformne aktivnosti.

15. Postupak prema zahtevu 13, naznačen time, što se parametri dobijeni iz biofizioloških signala transformišu u parametre mentalnog stanja, koji su u fazama (1313 i 1413) pogodni na osnovu nivoa stresa korisnika, promena nivoa stresa korisnika, nivo sreće korisnika, promena nivoa sreće korisnika, nivo fokusa korisnika, promena nivoa fokusa korisnika, nivo umora korisnika, promena nivoa fokusa korisnika, nivo relaksacije korisnika, promena nivoa relaksacije korisnika, nivo produktivnosti korisnika, promena nivoa produktivnosti korisnika, radna aktivnost, usmerena mentalna aktivnost.

2

16. Postupak prema zahtevu 11, naznačen time, što su u fazama (1011, 1012, 1111, 1112, 1113) signali stimulusa vizualni stimulus za prikaz na ekranu mobilnog uređaja (22) korisnika.

17. Postupak prema zahtevu 11, naznačen time, što su prvi i drugi signal stimulusa zvučni stimulusi generisani od strane mobilnog uređaja (22) korisnika i pušteni kroz slušalice (320) nosivog uređaja (21) za akviziciju biofizioloških signala.