PL249769B1

PL249769B1 - A system for communication between the human brain and the outside world

Info

Publication number: PL249769B1
Application number: PL440207A
Authority: PL
Inventors: Michał Lech; Michał Kucewicz; Cagdas Topcu; Andrzej Czyżewski
Original assignee: Politechnika Gdanska
Priority date: 2022-01-24
Filing date: 2022-01-24
Publication date: 2026-06-15
Also published as: PL440207A1

Abstract

Układ do komunikacji pomiędzy mózgiem ludzkim, a światem zewnętrznym w obszarze kory przedczołowej: przedniej, brzuszno-bocznej (anterior ventro-lateral prefrontal cortex; anterior VLPFC) pomiędzy polem Broca, biegunem czołowym i przednią grzbietowo-boczną korą przedczołową i akwizycji sygnałów z tych obszarów, zawierający co najmniej jedną elektrodę sczytującą (E), która posiada co najmniej jeden kontakt umożliwiający pozyskiwanie sygnału LFP lub która jest makroelektrodą iEEG z jednym kontaktem montowanym w korze mózgowej lub na jej powierzchni. Układ charakteryzuje się tym, że elektroda sczytująca (E) połączona jest przewodowo lub bezprzewodowo z układem akwizycji (UA), który jest połączony z układem przetwarzania (UP), który połączony jest z układem analizy (UN), który połączony jest z monitorem (M).A system for communication between the human brain and the external world in the anterior ventrolateral prefrontal cortex (anterior VLPFC) between Broca's area, the frontal pole, and the anterior dorsolateral prefrontal cortex, and for acquiring signals from these areas, comprising at least one reading electrode (E) that has at least one contact enabling acquisition of an LFP signal or which is an iEEG macroelectrode with a single contact mounted in the cerebral cortex or on its surface. The system is characterized in that the reading electrode (E) is connected wired or wirelessly to an acquisition system (UA), which is connected to a processing system (UP), which is connected to an analysis system (UN), which is connected to a monitor (M).

Description

Opis wynalazkuDescription of the invention

Przedmiotem wynalazku jest układ do komunikacji pomiędzy mózgiem ludzkim a światem zewnętrznym, poprzez sczytywanie aktywności mózgu, z wykorzystaniem urządzeń komputerowych.The subject of the invention is a system for communication between the human brain and the outside world by reading brain activity using computer devices.

Wynalazek przeznaczony jest do komunikacji z osobą nie mogącą mówić ani pisać, np. znajdującej się w zespole zamknięcia, poprzez sczytywanie aktywności mózgu, jej rozpoznawania i wyświetlanie na ekranie urządzenia słowa bądź obrazu reprezentującego koncepcję, o której myśli osoba.The invention is designed to communicate with a person who is unable to speak or write, e.g., someone in locked-in syndrome, by reading brain activity, recognizing it, and displaying a word or image representing the concept the person is thinking about on the device's screen.

Kora mózgu ludzkiego stanowi najbardziej zewnętrzną strukturę mózgowia i podzielona jest na obszary wyznaczone pod względem cech anatomicznych i czynnościowych. Wyróżnia się obszary kory sensorycznej, kojarzeniowej i motorycznej odpowiadające za poszczególne funkcje zmysłowe, umysłowe czy ruchowe. Jeden z najbardziej znanych atlasów kory mózgu ludzkiego używa numerycznych oznaczeń obszarów nazwanych polami Brodmanna, tzn. nazwiskiem naukowca, który je pierwszy oznaczył. Każde pole zawiera zarówno zakręty jak i bruzdy kory w danym obszarze. Istnieją też nazwy pojedynczych pól nazwanych po ich odkrywcach takie jak pole Wernicke czy pole Broca istotne w funkcjach mowy. Wyższe funkcje umysłu takie jak pamięć rozmieszczone są w wielu obszarach korowych i podkorowych. Obszary korowe mózgu kluczowe dla zapamiętywania i modulacji funkcji umysłu pozostają w dużej mierze nieznane.The human cerebral cortex is the outermost structure of the brain and is divided into areas defined by anatomical and functional characteristics. Areas of the sensory, associative, and motor cortex are distinguished, each responsible for specific sensory, mental, or motor functions. One of the most well-known atlases of the human cerebral cortex uses numerical designations for areas called Brodmann areas, named after the scientist who first designated them. Each area contains both convolutions and sulci within a given area. Individual areas, such as Wernicke's area and Broca's area, are also named after their discoverers, and are important for speech. Higher mental functions, such as memory, are distributed across numerous cortical and subcortical areas. The cortical areas of the brain crucial for memory and modulation of mental functions remain largely unknown.

Obecnie możliwe jest mapowanie funkcji kory mózgowej w różnych jej obszarach. Obszary korowe wykazujące znaczące aktywności elektrofizjologiczne podczas zapamiętywania bodźców mogą być monitorowane w czasie rzeczywistym poprzez specjalne kontakty elektrod. Znane są pomiary aktywności mózgu technikami inwazyjnymi, takimi jak LFP (Local Field Potential - lokalny potencjał połowy) lub ECoG (electrocorticogram - elektrokortykogram) lub nieinwazyjnymi, takimi jak EEG (electroencephalogram - elektroencefalogram).Currently, it is possible to map the functions of the cerebral cortex in its various regions. Cortical areas exhibiting significant electrophysiological activity during stimuli memorization can be monitored in real time through special electrode contacts. Brain activity can be measured using invasive techniques such as LFP (Local Field Potential) or ECoG (Electrocorticogram), or noninvasive techniques such as EEG (Electroencephalogram).

W przypadku zastosowania mikroelektrod możliwe jest sczytywanie z powierzchni kory mózgowej, jej wnętrza i z podkorowych struktur mózgu aktywności elektrofizjologicznej w postaci potencjałów w odległości 50-350 pm od końcówki elektrody i aktywności jonowej w odległości 0,5-3 mm. Znane jest zastosowanie makroelektrody iEEG montowanej w korze mózgowej lub na jej powierzchni, które pozwala na sczytywanie aktywności elektrofizjologicznej z mniejszą rozdzielczością przestrzenną wynoszącą ok. 1 cm. Zastosowanie elektrody EEG z kontaktami montowanymi na skalpie pozwala na przezczaszkową rejestrację zbiorczej aktywności elektrofizjologicznej mózgu z niższą rozdzielczością przestrzenną, niż w przypadku elektrod wszczepianych. Znane są sposoby rejestracji sygnałów z odpowiednich regionów mózgu podczas aktywności umysłu, takich jak zapamiętywanie słów, które umożliwia identyfikację poszczególnych wyrazów w określonym czasie.Using microelectrodes, it is possible to record electrophysiological activity from the surface of the cerebral cortex, its interior, and subcortical brain structures in the form of potentials at a distance of 50-350 pm from the electrode tip, and ionic activity at a distance of 0.5-3 mm. The use of an iEEG macroelectrode mounted in the cerebral cortex or on its surface is known, allowing for recording electrophysiological activity with a lower spatial resolution of approximately 1 cm. Using an EEG electrode with scalp-mounted contacts allows for transcranial recording of collective electrophysiological brain activity with lower spatial resolution than with implanted electrodes. Methods are known for recording signals from specific brain regions during mental activity, such as memorizing words, which allows for the identification of individual words at a specific time.

Znana jest metoda analizy częstotliwościowej sygnału polegająca np. na zastosowaniu krótkoczasowej transformaty Fouriera lub transformacji falkowej w celu otrzymania spektrogramu, na podstawie którego można wyznaczyć profil mocy poprzez uśrednienie wartości częstotliwości w każdym segmencie spektrogramu. Znana jest metoda filtracji sygnału filtrami o nieskończonej odpowiedzi impulsowej i filtrami o skończonej odpowiedzi impulsowej. Znana jest metoda uczenia indukcyjnego, polegająca na zastosowaniu np. sztucznych sieci neuronowych. Znany jest wzmacniacz, który wzmacnia sygnały elektrofizjologiczne pochodzące z mózgu do wartości umożliwiających analizę sygnałów z wykorzystaniem cyfrowych metod przetwarzania takich, jak np. krótko-czasowa transformata Fouriera. Znany jest konwerter analogowo-cyfrowy dokonujący zamiany elektrofizjologicznego sygnału analogowego na sygnał w postaci cyfrowej. Znany jest bufor kołowy do przechowywania próbek sygnału cyfrowego.A known method of frequency analysis of a signal involves, for example, using a short-time Fourier transform or wavelet transform to obtain a spectrogram, from which a power profile can be determined by averaging the frequency values in each segment of the spectrogram. A known method of filtering the signal with infinite impulse response filters and finite impulse response filters is also known. An inductive learning method is also known, involving, for example, artificial neural networks. An amplifier is known that amplifies electrophysiological signals from the brain to values that enable signal analysis using digital processing methods such as the short-time Fourier transform. An analog-to-digital converter is known that converts the electrophysiological analog signal to a digital signal. A circular buffer is known for storing digital signal samples.

Z opisu zgłoszeniowego EP3247267A2 oraz opisu zgłoszeniowego WO2019183046A1 znane są sposoby polepszania funkcji poznawczych, takich jak pamięć poprzez inwazyjne lub nieinwazyjne nagrywanie aktywności elektrycznej z wybranych części mózgu i stymulację w tych miejscach. Sposoby te są oparte na elektrodach i urządzeniach do pomiaru aktywności danych części mózgu i przeprowadzania prądu elektrycznego do ich stymulacji. Sygnały elektryczne pobrane z mózgu są przekazywane do rejestracji i przetwarzania komputerowego do automatycznej kontroli stymulacji elektrycznej w celu poprawy pamięci.Application specification EP3247267A2 and application specification WO2019183046A1 disclose methods for improving cognitive functions, such as memory, by invasively or non-invasively recording electrical activity from selected parts of the brain and stimulating those areas. These methods rely on electrodes and devices to measure the activity of specific parts of the brain and conduct electrical current to stimulate them. Electrical signals collected from the brain are transmitted for recording and computer processing to automatically control electrical stimulation to improve memory.

Zgodnie z opisem wynalazku EP3247267 sygnały mogą być pobierane do rejestracji i przetwarzania bezpośrednio z danej części mózgu, natomiast zgodnie z opisem wynalazku WO2019183046 sygnały pobierane są pośrednio z innych źródeł sygnałów aktywności mózgu, takich jak rozwartość źrenicy oka. Opisano w nich część mózgu w bocznej korze skroniowej (lateral temporal cortex), której stymulacja elektryczna powoduje poprawę zapamiętywania słów. Stymulacja w tej części mózgu w trybie obiegu otwartego tzn. bez pomiaru aktywności mózgu lub w trybie obiegu zamkniętego tzn. inicjowana pomiarem i analizą aktywności mózgu podczas pokazywania słów, powoduje zwiększenie średniej ilości zapamiętanych słów.According to the invention description EP3247267, signals can be collected for recording and processing directly from a given part of the brain, while according to the invention description WO2019183046, signals are collected indirectly from other sources of brain activity signals, such as pupillary opening. They describe a part of the brain in the lateral temporal cortex, where electrical stimulation improves word recall. Stimulation of this part of the brain in open-circuit mode, i.e., without measurement of brain activity, or in closed-circuit mode, i.e., initiated by measurement and analysis of brain activity while the words are presented, increases the average number of words remembered.

Z opisów wynalazków US10363420, US20170113046, US9403010, US20140107728 znana jest stymulacja elektryczna w innych częściach mózgu, w obrębie struktur przyśrodkowej kory skroniowej (medial temporal lobe), takich jak hipokamp (hippocampus), kora śródwęchowa (entorhinal cortex) i ich połączeń z pozostałymi częściami mózgu.From the descriptions of inventions US10363420, US20170113046, US9403010, US20140107728 it is known to conduct electrical stimulation in other parts of the brain, within the structures of the medial temporal lobe, such as the hippocampus, the entorhinal cortex and their connections with other parts of the brain.

W opisie wynalazku W02009067323A1 przedstawiona została stymulacja w grzbietowo-bocznej korze przedczołowej (dorso-lateral prefrontal cortex; DLPFC) między innymi do poprawy funkcji pamięci. Stymulacja w tych innych częściach mózgu jest użyta podczas aktywności poznawczych i procesów pamięci.Invention description W02009067323A1 describes stimulation of the dorsolateral prefrontal cortex (DLPFC) for, among other things, improving memory function. Stimulation in these other parts of the brain is used during cognitive activity and memory processes.

Z opisu wynalazku US2014148872 znane jest urządzenie do stymulacji przezczaszkowej w oparciu o dwie elektrody. Niedogodnością tego urządzenia jest brak możliwości akwizycji sygnałów aktywności elektrofizjologicznej.Patent description US2014148872 describes a device for transcranial stimulation based on two electrodes. A disadvantage of this device is the inability to acquire electrophysiological activity signals.

Z opisu US2020086047A1 znane jest urządzenie do stymulacji wewnątrzczaszkowej w celu poprawy zdolności kognitywnych. Niedogodnością tego urządzenia jest to, iż nie dokonuje detekcji uszkodzonych kontaktów/przewodów i nie usuwa pochodzących z nich sygnałów z procesu analizy. Urządzenie nie umożliwia dokonania długoczasowej analizy sygnałów w celach optymalizacji procesu. Rozwiązanie to nie pozwala na akwizycję sygnałów z mózgu w obszarze przedniej, brzuszno-bocznej kory przedczołowej (anterior ventro-lateral prefrontal cortex; anterior VLPFC) pomiędzy polem Broca (pole Brodmanna 44 i 45), biegunem czołowym (pole Brodmanna 10 i 11) i przednią grzbietowo-boczną korą przedczołową (pole Brodmanna 46).US2020086047A1 describes a device for intracranial stimulation to improve cognitive abilities. A disadvantage of this device is that it does not detect damaged contacts/wires and does not remove the signals from them from the analysis process. The device does not enable long-term signal analysis for process optimization purposes. This solution does not allow for the acquisition of signals from the brain in the anterior ventrolateral prefrontal cortex (anterior VLPFC) between Broca's area (Brodmann's area 44 and 45), the frontal pole (Brodmann's area 10 and 11), and the anterior dorsolateral prefrontal cortex (Brodmann's area 46).

W opisach wynalazków US20170014630 i US10159839 zawarto opis sposobów stymulacji mózgu podczas snu w celu lepszego utrwalania śladów pamięci po okresie aktywności funkcji poznawczych, takich jak zapamiętywanie.The descriptions of inventions US20170014630 and US10159839 contain a description of methods of stimulating the brain during sleep in order to better consolidate memory traces after a period of active cognitive functions, such as memorization.

W Politechnice Gdańskiej prowadzone były w okresie 01-06-2018 - 31-05-2021 badania naukowe obejmujące neurofizjologiczne mechanizmy procesów myślowych i pamięci poprzez zastosowanie innowacyjnych technologii do pomiaru i stymulacji aktywności mózgu ludzkiego. Wyniki tych badań pokazują, że istnieją znacząco większe różnice w aktywności w paśmie fal mózgowych theta (2-8 Hz) pomiędzy udanymi a nieudanymi próbami zapamiętywania u ludzi. Odkryte różnice w zapamiętywaniu były większe niż w innych częściach mózgu (w tym w bocznej korze skroniowej) czy w wyższych częstotliwościach fal mózgowych. Przedstawiono to na fig. 1, gdzie na fig. 1A pokazano, że wszystkie aktywne elektrody wszczepione w tym badaniu zostały automatycznie zgrupowane na podstawie ich anatomicznych współrzędnych położenia w oparciu o metodę k-means, na fig. 1B pokazano, że automatycznie zgrupowane skupiska elektrod wykazują większą gęstość i wielkość różnicy w sygnale zapamiętywania (rozmiar kulki) w korze przedczołowej, na fig. 1C pokazano, że centroidy każdego skupiska identyfikują jedno skupisko z najwyższą średnią wielkością różnicy w zapamiętywaniu (strzałka) w przedniej korze przedczołowej, na fig. 1D pokazano, że anatomiczne rozmieszczenie każdego skupiska pokazuje stosunkowo niewielki rozmiar odkrytego skupiska (strzałka) o promieniu 4 mm, na fig. 1E pokazano, że porównanie uśrednionych różnic w zapamiętywaniu pomiędzy anatomicznie uszeregowanymi skupiskami potwierdza znacznie większe wartości odkrytego skupiska przedczołowego niż w większości innych skupisk oraz, że sąsiednie skupiska przedczołowe również wykazują stosunkowo wysokie średnie różnic w porównaniu ze stopniowo bardziej oddalonymi anatomicznie skupiskami, na fig. 1F pokazano uniwersalną powierzchnię mózgu, która podsumowuje interpolowane wartości różnic, które z kolei potwierdzają te samo anatomicznie wyodrębnione skupisko (strzałka) pomiędzy obszarami bieguna czołowego (frontal pole), pola Broca i bocznej kory przedczołowej (lateral prefrontal cortex). Ten zlokalizowany obszar mózgu jest anatomicznie dostępny dla inwazyjnych i nieinwazyjnych technik sczytywania aktywności mózgu.Scientific research was conducted at Gdańsk University of Technology between June 1, 2018, and May 31, 2021, exploring the neurophysiological mechanisms of thought processes and memory by using innovative technologies to measure and stimulate human brain activity. The results of these studies show that there are significantly greater differences in theta brainwave activity (2-8 Hz) between successful and unsuccessful memory attempts in humans. The differences found in memory were greater than in other parts of the brain (including the lateral temporal cortex) or at higher brainwave frequencies. This is illustrated in Figure 1, where Figure 1A shows that all active electrodes implanted in this study were automatically clustered based on their anatomical location coordinates based on the k-means method, Figure 1B shows that the automatically clustered electrode clusters exhibit a higher density and magnitude of difference in the recall signal (bead size) in the prefrontal cortex, Figure 1C shows that the centroids of each cluster identify one cluster with the highest mean magnitude of difference in recall (arrow) in the anterior prefrontal cortex, Figure 1D shows that the anatomical arrangement of each cluster shows a relatively small size of the discovered cluster (arrow) with a radius of 4 mm, Figure 1E shows that a comparison of the averaged differences in recall between the anatomically ranked clusters confirms significantly larger values in the discovered prefrontal cluster than in most other clusters, and that neighboring prefrontal clusters also exhibit relatively larger values in the discovered prefrontal cluster than in most other clusters, and that neighboring prefrontal clusters also exhibit relatively larger values in the discovered prefrontal cluster than in most other clusters. high mean differences compared to progressively more anatomically distant clusters. Figure 1F shows a universal brain surface that summarizes interpolated difference values, which in turn confirms the same anatomically distinct cluster (arrow) between the frontal pole, Broca's area, and lateral prefrontal cortex regions. This localized brain region is anatomically accessible to invasive and noninvasive brain activity sensing techniques.

Układ do komunikacji pomiędzy światem zewnętrznym a mózgiem w obszarze kory przedczołowej i akwizycji sygnałów z tego obszaru, zawierający co najmniej jedną elektrodę sczytującą, która połączona jest przewodowo lub bezprzewodowo z układem akwizycji, który jest połączony z układem przetwarzania, który połączony jest z układem analizy, który połączony jest z monitorem, według wynalazku charakteryzuje się tym, że akwizycja sygnałów następuje w obszarze przedniej, brzuszno-bocznej (anterior ventro-lateral prefrontal cortex; anterior VLPFC) pomiędzy polem Broca (pole Brodmanna), biegunem czołowym (pole Brodmanna) i przednią grzbietowo-boczną korą przedczołową (pole Brodmanna) a co najmniej jedna elektroda sczytującą, posiada co najmniej jeden kontakt umożliwiający pozyskiwanie sygnału LFP lub która jest makroelektrodą iEEG z jednym kontaktem montowanym w korze mózgowej lub na jej powierzchni, natomiast układ akwizycji, który połączony jest z elektrodą sczytującą, zawiera wzmacniacz, który połączony jest z konwerterem analogowo-cyfrowym, który powiązany jest z buforem, który z kolei powiązany jest z układem filtracji w układzie przetwarzania, przy czym układ filtracji połączony jest z układem pomiaru mocy i/lub potencjałów poi owych, w którym zaimplementowana jest znana metoda analizy częstotliwościowej sygnału. Układ pomiaru mocy i/lub potencjałów polowych połączony jest z układem klasyfikującym, znajdującym się w układzie analizy, poprzez układ detekcji uszkodzeń do wykrywania niesprawnych kontaktów lub przewodów, przy czym układ pom iaru mocy i/lub potencjałów polowych połączony jest również bezpośrednio z układem klasyfikującym. Układ klasyfikujący połączony jest z układem decyzyjnym, który połączony jest dwukierunkowo z układem optymalizacji, a ponadto układ pomiaru mocy i/lub potencjałów polowych oraz układ klasyfikujący połączone są z układem optymalizacji, zaś układ decyzyjny połączony jest z monitorem.A system for communication between the outside world and the brain in the area of the prefrontal cortex and acquisition of signals from this area, comprising at least one reading electrode, which is connected wired or wirelessly to an acquisition system, which is connected to a processing system, which is connected to an analysis system, which is connected to a monitor, according to the invention is characterized in that the acquisition of signals takes place in the anterior, ventrolateral prefrontal cortex area (anterior ventrolateral prefrontal cortex; anterior VLPFC) between Broca's area (Brodmann's area), the frontal pole (Brodmann's area) and the anterior dorsolateral prefrontal cortex (Brodmann's area) and at least one reading electrode has at least one contact enabling acquisition of the LFP signal or which is an iEEG macroelectrode with one contact mounted in the cerebral cortex or on its surface, while the acquisition system, which is connected to the reading electrode, comprises an amplifier, which is connected to the It is connected to an analog-to-digital converter, which is connected to a buffer, which in turn is connected to a filtering circuit in the processing circuit, wherein the filtering circuit is connected to a power and/or field potential measurement circuit in which a known frequency analysis method for the signal is implemented. The power and/or field potential measurement circuit is connected to a classifying circuit in the analysis circuit via a fault detection circuit for detecting faulty contacts or wires, wherein the power and/or field potential measurement circuit is also connected directly to the classifying circuit. The classifying circuit is connected to a decision-making circuit, which is bidirectionally connected to the optimization circuit. Furthermore, the power and/or field potential measurement circuit and the classifying circuit are connected to the optimization circuit, and the decision-making circuit is connected to a monitor.

Korzystnie w układzie przetwarzania, układ filtracji połączony jest poprzez układ detekcji uszkodzeń z układem pomiaru mocy i/lub potencjałów polowych, a także układ filtracji połączony jest bezpośrednio z układem pomiaru mocy i/lub potencjałów poi owych, przy czym układ pomiaru mocy i/lub potencjałów polowych połączony jest z układem klasyfikującym.Preferably, in the processing system, the filtering system is connected via a fault detection system to a power and/or field potential measurement system, and the filtering system is connected directly to a power and/or field potential measurement system, wherein the power and/or field potential measurement system is connected to the classifying system.

Wykorzystanie układu do komunikacji pomiędzy mózgiem ludzkim a światem zewnętrznym zapewnia możliwość poznania intencji osoby nie mogącej mówić ani pisać, np. znajdującej się w zespole zamknięcia, poprzez wyświetlenie na ekranie słowa lub obrazu związanych z myślą, którą w danej chwili ma użytkownik wynalazku.The use of a system for communication between the human brain and the outside world makes it possible to learn the intentions of a person who is unable to speak or write, for example, someone in locked-in syndrome, by displaying on the screen a word or image related to the thought that the user of the invention is currently having.

Wynalazek objaśniony jest bliżej w przykładach realizacji i na rysunku, na którym na fig. 1 pokazane są schematycznie wyniki badań naukowych przeprowadzonych na Politechnice Gdańskiej, zaś na fig. 2 przedstawiono rozmieszczenie kontaktów elektrody, na fig. 3 impulsy aktywności wykryte w trakcie przywoływania koncepcji myślowej z pamięci, na fig. 4 ogólny schemat wynalazku do komunikacji pomiędzy mózgiem ludzkim a światem zewnętrznym, a na fig. 5 i fig. 6 przedstawione są wariantowe układy.The invention is explained in more detail in the examples of implementations and in the drawing, where Fig. 1 shows schematically the results of scientific research carried out at the Gdańsk University of Technology, Fig. 2 shows the arrangement of electrode contacts, Fig. 3 shows activity impulses detected during recalling a mental concept from memory, Fig. 4 shows a general diagram of the invention for communication between the human brain and the outside world, and Fig. 5 and Fig. 6 show variant systems.

Przykład 1Example 1

Budowa układu.Construction of the system.

Jak pokazano na fig. 4 i 5 układ do poprawy funkcji poznawczych składa się z elektrody sczytującej z liczbą 100 kontaktów przewodzących prąd E o wielkości maksymalnie 100 mikrometrów, rozmieszczonych geometrycznie w równych odległościach od siebie w siatce 10x10, na całkowitej powierzchni o wielkości maksymalnie 5 cm x 5 cm ze środkiem w centrum obszaru aktywności przedniej brzuszno-bocznej kory przedczołowej, wskazanym na fig. 1F, dokładnie wytyczony, wcześniej za pomocą inwazyjnej lub nieinwazyjnej techniki pomiaru sygnałów EEG. Rozmieszczenie kontaktów przedstawiono na fig. 2. Kontakty umieszczone są na biokompatybilnym i niereaktywnym materiale przy użyciu np. technik litografii poliamidowej. Średnica kontaktów jest dostatecznie niska i wynosi mniej niż 100 mikrometrów, aby umożliwić odbieranie sygnałów LFP z poszczególnych kolumn korowych.As shown in Figures 4 and 5, the cognitive enhancement system consists of a reading electrode with 100 E-conducting contacts of maximum 100 micrometers in size, geometrically arranged at equal distances from each other in a 10x10 grid, over a total surface area of maximum 5 cm x 5 cm centered on the center of the activity area of the anterior ventrolateral prefrontal cortex, indicated in Figure 1F, precisely delineated, previously using an invasive or non-invasive technique for measuring EEG signals. The contact arrangement is shown in Figure 2. The contacts are placed on a biocompatible and non-reactive material using, for example, polyamide lithography techniques. The diameter of the contacts is sufficiently small, less than 100 micrometers, to enable the acquisition of LFP signals from individual cortical columns.

Jak pokazano na fig. 4, kontakty elektrody sczytującej E połączone są z układem akwizycji UA, który połączony jest bezprzewodowo poprzez Bluetooth z układem przetwarzania UP na tablecie albo smartfonie, który z kolei połączony jest z układem analizy UN zrealizowanym w tej samej postaci, który połączony jest z monitorem M. Układ akwizycji UA stanowi jedno urządzenie pozyskujące U1, a układy UP i UN wchodzą w skład drugiego urządzenia komputerowego U2. Układy UA, UP i UN przedstawiono w szczegółach poniżej.As shown in Fig. 4, the contacts of the reading electrode E are connected to the acquisition system UA, which is connected wirelessly via Bluetooth to the processing system UP on a tablet or smartphone, which in turn is connected to the analysis system UN implemented in the same form, which is connected to the monitor M. The acquisition system UA constitutes one acquisition device U1, and the systems UP and UN are part of the second computer device U2. The systems UA, UP and UN are presented in detail below.

Jak pokazano na fig. 5, układ akwizycji UA składa się ze wzmacniacza 1, dokonującego wzmocnienia sygnału pozyskanego z kontaktów elektrody sczytującej E do wartości amplitud umożliwiających analizę z wykorzystaniem metod przetwarzania sygnałów takich, jak krótko-czasowa transformata Fouriera, który połączony jest konwerterem analogowo-cyfrowym 2, dokonującym konwersji sygnału na postać cyfrową, który dalej połączony jest z buforem 3, zrealizowanym w postaci bufora kołowego o długości co najmniej 800 próbek i będącym częścią pamięci operacyjnej układu. Bufor 3, połączony jest bezprzewodowo z układem filtracji 4, znajdującym się w układzie przetwarzania UP. Układ filtracji 4, który dokonuje podziału sygnału na pasma częstotliwości z wykorzystaniem filtrów o skończonej odpowiedzi impulsowej dla pasm fal gamma oraz wyższych pasm częstotliwości, połączony jest z układem pomiaru mocy 5, w którym dla sygnałów w paśmie częstotliwości powyżej 50 Hz, za pomocą metody analizy częstotliwościowej wyznaczany jest spektrogram, a następnie wyznaczany jest profil mocy poprzez uśrednienie wartości częstotliwości w każdym segmencie spektrogramu. Układ pomiaru mocy 5 połączony jest z układem klasyfikującym 7, układem optymalizacji 9 i opcjonalnie z układem detekcji uszkodzeń 6. Opcjonalny układ detekcji uszkodzeń 6 połączony jest z układem klasyfikującym 7 i układem optymalizacji 9. Układ klasyfikujący 7 połączony jest z układem decyzyjnym 8 i układem optymalizacji 9. Układ decyzyjny 8 połączony jest z ekranem M urządzenia komputerowego U2, np. tabletu.As shown in Fig. 5, the UA acquisition system consists of an amplifier 1, which amplifies the signal obtained from the contacts of the reading electrode E to amplitude values enabling analysis using signal processing methods such as short-time Fourier transform, which is connected to an analog-to-digital converter 2, which converts the signal to digital form, which is further connected to a buffer 3, implemented as a circular buffer with a length of at least 800 samples and which is part of the system's main memory. Buffer 3 is wirelessly connected to a filtering system 4, located in the UP processing system. The filtering system 4, which divides the signal into frequency bands using finite impulse response filters for the gamma wave bands and higher frequency bands, is connected to the power measurement system 5, in which a spectrogram is determined for signals in the frequency band above 50 Hz using a frequency analysis method, and then a power profile is determined by averaging the frequency values in each segment of the spectrogram. The power measurement system 5 is connected to the classification system 7, the optimization system 9, and optionally to the fault detection system 6. The optional fault detection system 6 is connected to the classification system 7 and the optimization system 9. The classification system 7 is connected to the decision system 8 and the optimization system 9. The decision system 8 is connected to the screen M of the computing device U2, e.g., a tablet.

Sposób działania układu.How the system works.

W warunkach szpitalnych po wykonaniu operacji wszczepienia elektrody sczytującej E i urządzenia pozyskującego U1, pacjentowi prezentowane są na ekranie M urządzenia komputerowego U2 lub podłączonym do niego monitorze M podstawowe słowa z życia codziennego i ilustrujące je obrazy. Z wykorzystaniem sposobu działania opisanego poniżej dla każdego słowa/obrazu pozyskiwana jest aktywność elektrofizjologiczna towarzysząca wystąpieniu słów, wyświetlonych na ekranie, która następnie zapisywana jest jako wzorzec w postaci profili mocy i/lub potencjałów polowych w pamięci urządzenia komputerowego U2. Następnie, w życiu codziennym ta zapisana aktywność pozyskiwana jest z pamięci urządzenia komputerowego U2 i porównywana w układzie klasyfikującym z bieżącą aktywnością elektrofizjologiczną.In a hospital setting, after implantation of the reading electrode E and the acquisition device U1, the patient is presented with basic everyday words and images illustrating them on the screen M of the computer device U2 or on a connected monitor M. Using the procedure described below, the electrophysiological activity accompanying the occurrence of the words displayed on the screen is acquired for each word/image. This activity is then stored as a pattern in the form of power profiles and/or field potentials in the memory of the computer device U2. This recorded activity is then retrieved from the memory of the computer device U2 and compared with current electrophysiological activity in a classification system.

Sygnał z siatki elektrody sczytującej E, z kontaktami o maksymalnej wielkości 100 mikrometrów, rozmieszczonymi geometrycznie w równych odległościach od siebie w siatce 10x10 kontaktów, na całkowitej powierzchni maksymalnie 5 cm x 5 cm ze środkiem w centrum obszaru aktywności przedniej brzuszno-bocznej kory przedczołowej, wskazanym na fig. 1F, dokładnie wytyczonym wcześniej za pomocą inwazyjnej lub nieinwazyjnej techniki pomiaru sygnałów EEG, jest przesyłany do wzmacniacza 1, w którym jest wzmacniany do amplitud umożliwiających analizę metodami przetwarzania sygnału takimi, jak krótko-czasowa transformata Fouriera, a następnie przesyłany do konwertera analogowo-cyfrowego 2 zamieniającego sygnał na postać cyfrową, z którego sygnał o długości N próbek przesyłany jest do bufora 3, zrealizowanego w postaci bufora kołowego o długości co najmniej 800 próbek i będącym częścią pamięci operacyjnej układu. Układy te stanowią część układu akwizycji UA urządzenia pozyskującego U1 implantowanego w głowie lub klatce piersiowej pod obojczykiem, tak jak w przypadku znanych urządzeń do terapii Deep Brain Stimulation (DBS). Układ UA zasilany jest baterią ładowaną bezprzewodowo lub baterią długoletnią do wymiany chirurgicznej, jak w przypadku urządzeń do terapii DBS. Sygnały o długości N próbek pozyskiwane z bufora 3 są przesyłane bezprzewodowo w technologii Bluetooth do układu filtracji 4, w którym dzielone są na pasma częstotliwości z wykorzystaniem filtrów o skończonej odpowiedzi impulsowej dla pasm fal gamma oraz wyższych pasm częstotliwości. Podzielone na pasma częstotliwości sygnały wysyłane są do układu pomiaru mocy i/lub potencjałów polowych 5, w którym poprzez uśrednienie wartości częstotliwości w każdym segmencie spektrogramu otrzymanego z wykorzystaniem metody analizy częstotliwościowej wyznaczany jest profil mocy sygnału w tych pasmach częstotliwości lub w dziedzinie czasu wyznaczane są potencjały polowe poprzez obliczenie średniej amplitudy w obrębie segmentu n próbek, dodanie do niej wartości progowej i identyfikację miejsc, w których amplituda przekracza tę sumę. Wyznaczone w układzie pomiaru mocy 5 profile mocy w każdym z pasm częstotliwości i/lub potencjały przesyłane są do układu klasyfikującego 7, działającego w oparciu o sztuczne sieci neuronowe, który dokonuje klasyfikacji na klasy, spośród których każda określa rozpoznane słowo, w oparciu o wzorce przebiegu mocy i/lub potencjałów polowych pozyskane według tego samego sposobu działania w warunkach szpitalnych i zapisane w pamięci urządzenia komputerowego U2. Przykładowo, myślenie przez użytkownika, że napiłby się kawy powoduje pojawienie się impulsów aktywności w zakresie wysokich częstotliwości 70-300 Hz o specyficznych dla słowa kawa i powtarzalnych częstotliwościach, np. dwa impulsy z czego pierwszy ma częstotliwość 180 Hz a drugi 220 Hz. Przedstawiono to na fig. 3, na którym rysunek po lewej stronie przedstawia dwa impulsy aktywności wysokoczęstotliwościowej pojawiające się po wyświetleniu słowa „kawa” na ekranie - oznaczone strzałką na spektrogramie; 0 oznacza moment wyświetlenia słowa, a rysunek po prawej stronie przedstawia te same dwa impulsy widoczne w momencie, kiedy użytkownik myśli o tym słowie/koncepcji z nim związanej - użytkownik przypomina je sobie - 0 oznacza moment wypowiedzenia słowa „kawa”. Spektrogramy z układu pomiaru mocy 5 opcjonalnie przesyłane są do układu detekcji uszkodzeń 6, w którym z wykorzystaniem częstotliwościowej metody detekcji szumu wykrywane są niesprawne kontakty lub przewody, np. poprzez porównanie z wartością progową różnicy mediany dla każdego segmentu spektrogramu i mediany tych median i z wykorzystaniem częstotliwościowej metody detekcji aktywności epileptycznej/nieelektrofizjologicznej skutkującej efektem Gibbsa, polegającej np. na obliczeniu ilorazu wartości średniej z sumy wartości w spektrogramie i mediany z sumy wartości w spektrogramie a następnie porównaniu wyniku z wartością progową równą 2 dla bardzo subtelnego efektu Gibbsa i wartością równą 18 dla silnego efektu Gibbsa. Informacja o niesprawnych kontaktach lub przewodach przesyłana jest do układu klasyfikującego 7. Opcjonalność układu 6 polega na tym, że układ klasyfikujący 7 również może klasyfikować sygnał otrzymany z układu pomiaru mocy 5 pod kątem uszkodzeń kontaktów lub przewodów. Wówczas sygnały przesyłane są z pominięciem układu detekcji uszkodzeń 6. W oparciu o informację o klasie zidentyfikowanej w układzie klasyfikującym 7 i dane z układu optymalizacji 9, działającego w oparciu o uczenie maszynowe, np. z wykorzystaniem metody uczenia indukcyjnego, w układzie decyzyjnym 8 określa się o jakim słowie/koncepcji w danym momencie myśli użytkownik wynalazku, co pozwala odpowiednio wyświetlić to słowo lub obraz na ekranie M urządzenia komputerowego U2. W pamięci układu optymalizacji 9 zapisywana jest informacja z układu klasyfikującego 7 o wybranej klasie określającej słowo i zapisywany jest identyfikator kontaktu elektrody sczytującej E, z którego pozyskano sygnał do przetwarzania. W pamięci układu optymalizacji 9 zapisywane są również profile mocy sygnału w każdym z pasm częstotliwości, pozyskane z układu pomiaru mocy 5. Układ optymalizacji 9 dokonuje długoczasowej analizy tych danych w oparciu o uczenie maszynowe w celu wyeliminowania efektu starzenia się wzorców i w celu zapewnienia poziomu uogólniania umożliwiającego trafne podejmowanie decyzji w układzie 8.The signal from the reading electrode grid E, with contacts of maximum size 100 micrometers, geometrically arranged at equal distances from each other in a grid of 10x10 contacts, over a total surface of maximum 5 cm x 5 cm centered in the center of the area of activity of the anterior ventrolateral prefrontal cortex, indicated in Fig. 1F, precisely delineated beforehand using an invasive or non-invasive technique for measuring EEG signals, is sent to the amplifier 1, in which it is amplified to amplitudes enabling analysis using signal processing methods such as short-time Fourier transform, and then sent to the analog-to-digital converter 2 which converts the signal into a digital form, from which the signal of length N samples is sent to the buffer 3, implemented as a circular buffer of at least 800 samples long and being part of the system's operating memory. These circuits are part of the UA acquisition system of the U1 acquisition device, implanted in the head or chest under the clavicle, as in well-known Deep Brain Stimulation (DBS) therapy devices. The UA system is powered by a wirelessly rechargeable battery or a long-life, surgically replaceable battery, as in DBS therapy devices. N-sample signals acquired from buffer 3 are transmitted wirelessly via Bluetooth technology to filtering circuit 4, where they are divided into frequency bands using finite impulse response filters for gamma wave bands and higher frequency bands. The signals divided into frequency bands are sent to a power and/or field potential measuring system 5, in which a signal power profile is determined in these frequency bands by averaging the frequency values in each segment of the spectrogram obtained using the frequency analysis method, or field potentials are determined in the time domain by calculating the average amplitude within a segment of n samples, adding a threshold value to it, and identifying locations where the amplitude exceeds this sum. The power profiles in each frequency band and/or potentials determined in the power measuring system 5 are sent to a classifying system 7, operating on the basis of artificial neural networks, which classifies them into classes, each of which defines a recognized word, based on power and/or field potential waveform patterns obtained using the same method of operation in a hospital setting and stored in the memory of the computer device U2. For example, the user thinking that he or she would like to drink coffee causes the appearance of pulses of activity in the high-frequency range of 70-300 Hz at repetitive frequencies specific to the word "coffee," e.g., two pulses, the first at 180 Hz and the second at 220 Hz. This is illustrated in Fig. 3, where the figure on the left shows two pulses of high-frequency activity appearing after the word "coffee" is displayed on the screen—marked with an arrow in the spectrogram; 0 denotes the moment the word is displayed, and the figure on the right shows the same two pulses visible when the user thinks about the word/concept related to it—the user recalls it—0 denotes the moment the word "coffee" is uttered. Spectrograms from power measurement system 5 are optionally sent to fault detection system 6, in which faulty contacts or wires are detected using a frequency-based noise detection method, e.g., by comparing the difference between the median for each spectrogram segment and the median of these medians with a threshold value, and using a frequency-based method for detecting epileptic/non-electrophysiological activity resulting in the Gibbs effect, which consists, for example, in calculating the quotient of the mean value of the sum of the values in the spectrogram and the median of the sum of the values in the spectrogram and then comparing the result with a threshold value of 2 for a very subtle Gibbs effect and a value of 18 for a strong Gibbs effect. Information about faulty contacts or wires is sent to classifier system 7. The optional nature of system 6 consists in the fact that classifier system 7 can also classify the signal received from power measurement system 5 in terms of faulty contacts or wires. In this case, signals are transmitted bypassing the fault detection system 6. Based on information about the class identified in the classification system 7 and data from the optimization system 9, operating based on machine learning, e.g., using the inductive learning method, the decision system 8 determines what word/concept the user of the invention is currently thinking about, which allows for the appropriate display of this word or image on the screen M of the computer device U2. Information from the classification system 7 about the selected class defining the word is stored in the memory of the optimization system 9, and the identifier of the reading electrode contact E from which the signal for processing was obtained is stored. The memory of the optimization system 9 also stores the signal power profiles in each frequency band, obtained from the power measurement system 5. The optimization system 9 performs a long-term analysis of this data based on machine learning in order to eliminate the effect of pattern aging and to ensure a level of generalization enabling accurate decision-making in the system 8.

Przykład 2Example 2

Budowa układuConstruction of the system

Jak pokazano na fig. 4 i 6 układ do komunikacji pomiędzy mózgiem ludzkim a światem zewnętrznym składa się z elektrody sczytującej z liczbą 100 kontaktów przewodzących prąd E o wielkości maksymalnie 100 mikrometrów, rozmieszczonych geometrycznie w równych odległościach od siebie w siatce 10x10, na całkowitej powierzchni maksymalnie 5 cm x 5 cm ze środkiem w centrum obszaru aktywności przedniej brzuszno-bocznej kory przedczołowej, wskazanym na fig. 1F, dokładnie wytyczonym wcześniej za pomocą inwazyjnej lub nieinwazyjnej techniki pomiaru sygnałów EEG. Rozmieszczenie kontaktów przedstawiono na fig. 2. Kontakty umieszczone są na biokompatybilnym i niereaktywnym materiale przy użyciu np. technik litografii poliamidowej. Średnica kontaktów jest dostatecznie niska i wynosi mniej niż 100 mikrometrów, aby umożliwić odbieranie sygnałów LFP z poszczególnych kolumn korowych.As shown in Figures 4 and 6, the system for communication between the human brain and the outside world consists of a reading electrode with 100 contacts conducting current E with a maximum size of 100 micrometers, arranged geometrically at equal distances from each other in a 10x10 grid, over a total surface area of maximum 5 cm x 5 cm centered on the center of the area of activity of the anterior ventrolateral prefrontal cortex, indicated in Figure 1F, precisely delineated beforehand using an invasive or non-invasive technique for measuring EEG signals. The arrangement of the contacts is shown in Figure 2. The contacts are placed on a biocompatible and non-reactive material using, for example, polyamide lithography techniques. The diameter of the contacts is sufficiently small, less than 100 micrometers, to enable the acquisition of LFP signals from individual cortical columns.

Jak pokazano na fig. 6, układ akwizycji UA składa się ze wzmacniacza 1, dokonującego wzmocnienia sygnału pozyskanego z kontaktów elektrod do amplitud umożliwiających analizę metodami przetwarzania sygnału takimi, jak krótko-czasowa transformacja Fouriera, połączonego z konwerterem analogowo-cyfrowym 2, dokonującym zmiany sygnału na postać cyfrową, który połączony jest z buforem 3, zrealizowanym w postaci bufora kołowego o długości co najmniej 800 próbek i będącego częścią pamięci operacyjnej układu. Bufor 3 połączony jest bezprzewodowo z układem filtracji 4, znajdującym się w układzie przetwarzania UP. Układ filtracji 4, który dokonuje podziału sygnału na pasma częstotliwości z wykorzystaniem filtrów o skończonej odpowiedzi impulsowej dla pasm fal gamma oraz wyższych pasm częstotliwości połączony jest z układem pomiaru mocy 5, w którym dla sygnałów w paśmie częstotliwości powyżej 50 Hz, za pomocą metody analizy częstotliwościowej wyznaczany jest spektrogram, a następnie wyznaczany jest profil mocy poprzez uśrednienie wartości częstotliwości w każdym segmencie spektrogramu. Układ pomiaru mocy i/lub potencjałów polowych 5 połączony jest z układem klasyfikującym 7 i układem optymalizacji 9. Układ klasyfikujący 7 połączony jest z układem decyzyjnym 8 i układem optymalizacji 9. Układ decyzyjny 8 połączony jest z ekranem M urządzenia komputerowego U2, np. tabletu.As shown in Fig. 6, the UA acquisition system consists of an amplifier 1, which amplifies the signal obtained from the electrode contacts to amplitudes enabling analysis using signal processing methods such as short-time Fourier transform, connected to an analog-to-digital converter 2, which converts the signal to digital form, which is connected to a buffer 3, implemented as a circular buffer with a length of at least 800 samples and which is part of the system's main memory. Buffer 3 is wirelessly connected to a filtering system 4, located in the UP processing system. Filtering system 4, which divides the signal into frequency bands using finite impulse response filters for gamma wave bands and higher frequency bands, is connected to a power measurement system 5, in which a spectrogram is determined for signals in the frequency band above 50 Hz using a frequency analysis method, and then a power profile is determined by averaging the frequency values in each segment of the spectrogram. The power and/or field potential measuring system 5 is connected to the classifying system 7 and the optimizing system 9. The classifying system 7 is connected to the decision-making system 8 and the optimizing system 9. The decision-making system 8 is connected to the screen M of the computer device U2, e.g. a tablet.

Sposób działaniaHow it works

Sygnał z siatki elektrody sczytującej E, z kontaktami o maksymalnej wielkości 100 mikrometrów, rozmieszczonymi geometrycznie w równych odległościach od siebie w siatce 10x10 kontaktów, na całkowitej powierzchni maksymalnie 5 cm x 5 cm ze środkiem w centrum obszaru aktywności przedniej brzuszno-bocznej kory przedczołowej, wskazanym na fig. 1F, dokładnie wytyczonym wcześniej za pomocą inwazyjnej lub nieinwazyjnej techniki pomiaru sygnałów EEG, jest przesyłany do wzmacniacza 1, w którym jest wzmacniany do amplitud umożliwiających analizę metodami przetwarzania sygnału takimi, jak krótko-czasowa transformata Fouriera, a następnie przesyłany do konwertera analogowo-cyfrowego 2, zamieniającego sygnał na postać cyfrową przesyłaną do bufora 3, zrealizowanego w postaci bufora kołowego o długości co najmniej 800 próbek i będącym częścią pamięci operacyjnej układu. Układy te stanowią część układu akwizycji UA implantowanego w głowie lub klatce piersiowej pod obojczykiem, tak jak w przypadku urządzeń do terapii Deep Brain Stimulation (DBS). Układ UA zasilany jest baterią ładowaną bezprzewodowo lub baterią długoletnią do wymiany chirurgicznej, jak w przypadku urządzeń do terapii DBS. Sygnały o długości N próbek pozyskiwane z bufora 3 są przesyłane bezprzewodowo w technologii Bluetooth do układu filtracji 4, w którym dzielone są na pasma częstotliwości z wykorzystaniem filtrów o skończonej odpowiedzi impulsowej dla pasm fal gamma oraz wyższych pasm częstotliwości. Sygnały podzielone według pasm częstotliwości w układzie filtracji 4 przesyłane są do układu detekcji uszkodzeń 6, w którym wykrywane są niesprawne kontakty lub przewody, z wykorzystaniem czasowej metody detekcji zaszumienia sygnału, np. poprzez odjęcie energii sygnału w wybranym paśmie od energii sygnału w sąsiadującym wyższym paśmie zawierającym częstotliwość podstawową lub harmoniczną prądu i porównanie otrzymanej różnicy z progiem. Podzielone na pasma częstotliwości sygnały wysyłane są również do układu pomiaru mocy i/lub potencjałów polowych 5, w którym poprzez uśrednienie wartości częstotliwości w każdym segmencie spektrogramu otrzymanego z wykorzystaniem metody analizy częstotliwościowej wyznaczany jest profil mocy sygnału w tych pasmach częstotliwości lub w dziedzinie czasu wyznaczane są potencjały polowe poprzez obliczenie średniej amplitudy w obrębie segmentu n próbek, dodanie do niej wartości progowej i identyfikację miejsc, w których amplituda przekracza tę sumę. Wyznaczone w układzie pomiaru mocy 5 profile mocy w każdym z pasm częstotliwości i/lub potencjały polowe przesyłane są do układu klasyfikującego 7, działającego w oparciu o sztuczne sieci neuronowe, który dokonuje klasyfikacji na klasy, spośród których każda określa rozpoznane słowo, w oparciu o wzorce przebiegu mocy i/lub potencjałów polowych pozyskane według tego samego sposobu działania w warunkach szpitalnych i zapisane w pamięci urządzenia komputerowego U2. Przykładowo, myślenie przez użytkownika, że napiłby się kawy powoduje pojawienie się impulsów aktywności w zakresie wysokich częstotliwości 70-300 Hz o specyficznych dla słowa kawa i powtarzalnych częstotliwościach, np. dwa impulsy z czego pierwszy ma częstotliwość 180 Hz a drugi 220 Hz. Przedstawiono to na fig. 3, na którym rysunek po lewej stronie przedstawia dwa impulsy aktywności wysokoczęstotliwościowej pojawiające się po wyświetleniu słowa „kawa” na ekranie - oznaczone strzałką na spektrogramie; 0 oznacza moment wyświetlenia słowa, a rysunek po prawej stronie przedstawia te same dwa impulsy widoczne w momencie, kiedy użytkownik myśli o tym słowie/koncepcji z nim związanej - użytkownik przypomina je sobie - 0 oznacza moment wypowiedzenia słowa „kawa”. W oparciu o informację o klasie zidentyfikowanej w układzie klasyfikującym 7 i dane z układu optymalizacji 9, działającego w oparciu o uczenie maszynowe, np. z wykorzystaniem metody uczenia indukcyjnego, w układzie decyzyjnym 8 określa się o jakim słowie/koncepcji w danym momencie myśli użytkownik wynalazku, co pozwala odpowiednio wyświetlić to słowo lub obraz na ekranie urządzenia komputerowego U2. W pamięci układu optymalizacji 9 zapisywana jest informacja z układu klasyfikującego 7 o wybranej klasie określającej słowo i zapisywany jest identyfikator kontaktu elektrody sczytującej E, z którego pozyskano sygnał do przetwarzania. W pamięci układu optymalizacji 9 zapisywane są również profile mocy sygnału w każdym z pasm częstotliwości, pozyskane z układu pomiaru mocy 5. Układ optymalizacji 9 dokonuje długoczasowej analizy tych danych w oparciu o uczenie maszynowe w celu wyeliminowania efektu starzenia się wzorców i w celu zapewnienia poziomu uogólniania umożliwiającego trafne podejmowanie decyzji w układzie 8.The signal from the reading electrode grid E, with contacts of maximum size 100 micrometers, geometrically arranged at equal distances from each other in a grid of 10x10 contacts, over a total surface of maximum 5 cm x 5 cm centered in the center of the area of activity of the anterior ventrolateral prefrontal cortex, indicated in Fig. 1F, precisely delineated beforehand using an invasive or non-invasive technique for measuring EEG signals, is sent to the amplifier 1, in which it is amplified to amplitudes enabling analysis using signal processing methods such as short-time Fourier transform, and then sent to the analog-to-digital converter 2, which converts the signal into a digital form sent to the buffer 3, implemented as a circular buffer of at least 800 samples long and being part of the system's working memory. These circuits are part of the UA acquisition system implanted in the head or chest under the clavicle, as in Deep Brain Stimulation (DBS) therapy devices. The UA system is powered by a wirelessly rechargeable battery or a long-life, surgically replaceable battery, as in DBS therapy devices. N-sample signals acquired from buffer 3 are transmitted wirelessly via Bluetooth technology to filtering circuit 4, where they are divided into frequency bands using finite impulse response filters for gamma wave bands and higher frequency bands. Signals divided by frequency bands in filtering circuit 4 are transmitted to fault detection circuit 6, where faulty contacts or wires are detected using a temporal signal noise detection method, e.g., by subtracting the signal energy in a selected band from the signal energy in an adjacent higher band containing the fundamental frequency or current harmonic, and comparing the resulting difference with a threshold. The signals divided into frequency bands are also sent to a power and/or field potential measuring system 5, in which a signal power profile is determined in these frequency bands by averaging the frequency values in each segment of the spectrogram obtained using the frequency analysis method, or field potentials are determined in the time domain by calculating the average amplitude within a segment of n samples, adding a threshold value to it, and identifying locations where the amplitude exceeds this sum. The power profiles in each frequency band and/or field potentials determined in the power measuring system 5 are sent to a classifying system 7, operating on the basis of artificial neural networks, which classifies them into classes, each of which defines a recognized word, based on power and/or field potential waveform patterns obtained using the same method of operation in a hospital setting and stored in the memory of the computer device U2. For example, the user thinking that he or she would like to drink coffee causes the appearance of pulses of activity in the high-frequency range of 70-300 Hz at repetitive frequencies specific to the word "coffee," e.g., two pulses, the first at 180 Hz and the second at 220 Hz. This is illustrated in Fig. 3, where the figure on the left shows two pulses of high-frequency activity appearing after the word "coffee" is displayed on the screen—marked with an arrow in the spectrogram; 0 denotes the moment the word is displayed, and the figure on the right shows the same two pulses visible when the user thinks about the word/concept related to it—the user recalls it—0 denotes the moment the word "coffee" is uttered. Based on information about the class identified in the classifier 7 and data from the optimization system 9, operating based on machine learning, e.g., using an inductive learning method, the decision system 8 determines what word/concept the user of the invention is currently thinking about, which allows for the appropriate display of this word or image on the screen of the computer device U2. Information from the classifier 7 about the selected class defining the word is stored in the memory of the optimization system 9, and the identifier of the reading electrode contact E from which the signal for processing was obtained is stored. The memory of the optimization system 9 also stores the signal power profiles in each frequency band, obtained from the power measurement system 5. The optimization system 9 performs long-term analysis of this data based on machine learning to eliminate the effect of pattern aging and to ensure a level of generalization enabling accurate decision-making in the system 8.

Claims

Patent claims

1. A system for communication between the outside world and the brain in the area of the prefrontal cortex and acquisition of signals from this area, comprising at least one reading electrode (E), which is connected wired or wirelessly to an acquisition system (UA), which is connected to a processing system (UP), which is connected to an analysis system (UN), which is connected to a monitor (M), characterized in that the acquisition of signals takes place in the anterior, ventrolateral prefrontal cortex (anterior VLPFC) area between Broca's area (Brodmann's area 44 and 45), the frontal pole (Brodmann's area 10 and 11) and the anterior dorsolateral prefrontal cortex (Brodmann's area 46), and at least one reading electrode (E), has at least one contact enabling acquisition of an LFP signal or which is an iEEG macroelectrode with one contact mounted in the cortex the acquisition system (UA), which is connected to the reading electrode (E), comprises an amplifier (1), which is connected to an analog-to-digital converter (2), which is connected to a buffer (3), which in turn is connected to a filtering system (4) in the processing system (UP), wherein the filtering system (4) is connected to a power and/or field potentials measuring system (5), in which a known method of frequency analysis of the signal is implemented, and the power and/or field potentials measuring system (5) is connected to a classifying system (7), located in the analysis system (UN), via a fault detection system (6) for detecting faulty contacts or wires, wherein the power and/or field potentials measuring system (5) is also directly connected to the classifying system (7), and the classifying system (7) is connected to a decision-making system (8), which is bidirectionally connected to the optimization system (9), and furthermore a power and/or field potentials measuring system (5) and the classification system (7) are connected to the optimization system (9), and the decision system (8) is connected to the monitor (M).

2. A system according to claim 1, characterized in that in the processing system (UP) the filtering system (4) is connected via a fault detection system (6) to the power and/or field potentials measuring system (5), and the filtering system (4) is connected directly to the power and/or field potentials measuring system (5), wherein the power and/or field potentials measuring system (5) is connected to the classifying system (7).