CZ306253B6

CZ306253B6 - Způsob optické kontroly manuálního zavádění pipetovaného materiálu

Info

Publication number: CZ306253B6
Application number: CZ2015-331A
Authority: CZ
Inventors: Kamil Říha; Ondřej Krajsa; Mikael Kubista; vec David Ĺ
Original assignee: Vysoké Učení Technické V Brně; Tataa Biocenter Ab; TATAA Biocenter s.r.o.
Priority date: 2015-05-18
Filing date: 2015-05-18
Publication date: 2016-11-02
Also published as: CZ2015331A3

Abstract

Způsob optické kontroly manuálního zavádění pipetovaného materiálu do mikrotitrační destičky se soustavou jamek pomocí videokamery, procesoru a displeje, přičemž tento způsob zahrnuje následující kroky: a) videokamerou se snímá mikrotitrační destička a prostor nad jamkami a videosignál se předává do procesoru, b) načež se alespoň jeden snímek mikrotitrační destičky v procesoru zpracuje za účelem detekce pozice mikrotitrační destičky a jednotlivých jamek, c) poté se zpracovaný snímek mikrotitrační destičky s detekovanými jamkami zobrazí na displeji, d) průběžně se v procesoru zpracovává videosignál z videokamery e) a analyzuje se pohyb alespoň části pipety nad mikrotitrační destičkou, zejména trajektorie tohoto pohybu vzhledem k mikrotitrační destičce v závislosti na čase, f) jestliže se z analýzy prováděné v kroku e) detekuje, že byl pipetou do některé jamky zaveden pipetovaný materiál, zaznamená se pro příslušnou jamku naplnění jamky a záznam se vyznačí v obraze snímku z kroku c).

Description

Oblast techniky

Vynález se týká způsobu optické kontroly manuálního zavádění pipetovaného materiálu do mikrotitrační destičky pomocí videokamery, procesoru a displeje.

Dosavadní stav techniky

Analýzy různého druhu se provádějí na mikrotitračních destičkách, obvykle se jedná o destičky s 96 nebo 384 jamkami uspořádanými v pravidelném rastru do řádků a sloupců. Do jamek se pomocí pipet zavádějí požadované látky. U tak velkého počtu jamek při manuálním pipetování pak snadno může dojít k tomu, že pracovník ztratí přehled o tom, do kterých jamek již požadovanou látku zanesl. Pro omezení chyb vyplývajících z krátkodobé ztráty pozornosti pracovníka při manuálním pipetování byla vyvinuta řada řešení. Například přístroj Trackman od firmy Gilson, který podsvěcuje tu jamku, do které má být aktuálně vnesena pipetou požadovaná látka. Jeho nevýhodou je jednak cena a jednak nemožnost pozdější kontroly průběhu pipetovacího procesu. Dále existuje softwarové řešení pro Android, nabízené pod názvem Pipette Guide Controller. Jeho nevýhodou je, že nekontroluje samotný proces pipetování, ale pouze zaznamenává signál uživatele, která jamka byla právě použita, a vyznačuje mu, kterou jamku by měl aktuálně použít. Dále existují řešení chemického barvení (pro qPCR), které však radikálně ovlivňuje flexibilitu výběru reagencií. Navíc jsou známa zařízení pro plně automatizované pipetovací procesy; jejich nevýhodou je ovšem jejich cena.

Podstata vynálezu

Nevýhody výše uvedeného dosavadního stavu techniky do značné míry eliminuje navržený způsob optické kontroly manuálního zavádění pipetovaného materiálu do mikrotitrační destičky se soustavou jamek pomocí videokamery, procesoru a displeje, přičemž tento způsob zahrnuje následující kroky:

a) videokamerou se snímá mikrotitrační destička a prostor nad jamkami a videosignál se předává do procesoru,

b) načež se alespoň jeden snímek mikrotitrační destičky v procesoru zpracuje za účelem detekce pozice mikrotitrační destičky a jednotlivých jamek,

c) poté se zpracovaný snímek mikrotitrační destičky s detekovanými jamkami zobrazí na displeji,

d) průběžně se v procesoru zpracovává videosignál z videokamery,

e) a analyzuje se pohyb alespoň části pipety nad mikrotitrační destičkou, zejména trajektorie tohoto pohybu vzhledem k mikrotitrační destičce v závislosti na čase,

f) jestliže se z analýzy prováděné v kroku e) detekuje, že byl pipetou do některé jamky zaveden pipetovaný materiál, zaznamená se pro příslušnou jamku naplnění jamky a záznam se vyznačí v obraze snímku z kroku c).

Pro vyvození, zda byl pipetou do některé jamky zaveden pipetovaný materiál, se analýzou v kroku e) s výhodou zjišťuje, zda pipeta setrvala nehybně nad jamkou po dobu alespoň 0,5 sekundy i

a/nebo zda pohyb pipety vykazoval nejdříve směr svislý k jamce a následně směr svislý od jamky.

Ve zvlášť výhodném provedení se videosignál z videokamery v kroku d) zpracovává za použití výpočtu pohybového pole Farnebáckovou metodou.

Rovněž je výhodné, když krok b) zahrnuje následující kroky:

bl) nejprve se ve snímku mikrotitrační destičky naleznou kontury pole jamek pomocí detekce přímek, b2) načež se odstraní perspektivní zkreslení snímku, b3) detekují se kruhové okraje jamek, přičemž s výhodou se pro detekci kruhových okrajů jamek použije Houghova transformace.

Dle dalšího výhodného provedení se v kroku c) zpracovaný snímek mikrotitrační destičky s detekovanými jamkami zobrazí na displeji bez perspektivního zkreslení, tedy v pravoúhlém rastru.

Jestliže se v kroku f) z analýzy prováděné v kroku e) detekuje, že byl pipetou do některé jamky zaveden pipetovaný materiál, je s výhodou vydán zvukový a/nebo obrazový signál.

Dle dalšího výhodného provedení může uživatel detekci z kroku f) označit za chybnou, a v tom případě se odstraní záznam naplnění dané jamky a její vyznačení v obraze snímku z kroku c).

Způsob podle vynálezu se s výhodou provádí elektronickým přístrojem, zejména mobilním telefonem nebo tabletem, který zahrnuje videokameru, displej a procesor.

Jádrem vynálezu je tedy způsob kontroly pipetovacího procesu pomocí kamery a metod zpracování obrazu. Algoritmus automaticky rozpoznává provedený pipetovací krok na 96 nebo 384 jamkové mikrotitrační destičce pomocí 1 nebo 8 kanálových pipet. Uživatel má neustále přehled, jaký ze stovek kroků experimentu provedl a jaký krok má následovat, aniž by musel dávat jakýkoliv signál snižující jeho soustředěnost. K detekci uživatel může využít svůj chytrý telefon s kamerou a LCD. Uživatel má možnost celý proces zdokumentovat pro pozdější ověření výsledku experimentu, např. diagnózy pacienta.

Objasnění výkresů

Příkladná provedení vynálezu jsou naznačena postupovými schématy znázorněnými na výkresech, kde na obr. 1 je schéma zvlášť výhodného provedení způsobu a na obr. 2 schéma příkladného provedení základní části způsobu optické kontroly.

Příklady uskutečnění vynálezu

Způsob podle vynálezu lze s výhodou provádět pomocí elektronického přístroje s videokamerou, zobrazovací jednotkou a procesorem a pamětí. Takovýmto přístrojem může být například mobilní telefon nebo tablet. Dle méně výhodného provedení lze způsob podle vynálezu realizovat pomocí více navzájem propojených přístrojů, z nichž alespoň jeden je uzpůsobený pro snímání obrazu, alespoň jeden je uzpůsobený pro zobrazování a alespoň jeden je uzpůsobený pro zpracovávání a analýzu videosignálu a ukládání dat.

Je zřejmé, že obzvlášť výhodné provedení způsobu podle vynálezu je realizováno formou aplikace pro mobilní telefon nebo tablet.

Po spuštění aplikace uživatel nastaví detaily daného pipetovacího procesu, tedy, do kterých jamek se má vnést daná látka, případně jejich kombinace, jinými slovy zadá se pipetovací plán. Dále si uživatel může zvolit, o jakou formu reportování procesu má zájem (žádnou, textový report, textový report + video).

V dalším kroku uživatel umístí mobilní telefon nebo tablet do vhodné pozice, zapne se kamera přístroje a spustí se samotný algoritmus optické kontroly (který je podrobněji popsán s odkazy na obr. 2):

Obecně je nejdříve třeba provést optickou inicializaci, tedy automaticky detekovat pipetovací pole ajednotlivé jamky v jeho rastru.

Následně je ve videosekvenci zachycující pipetování postupně průběžně detekováno plnění buněk. Při tom se sleduje pohyb pipety, nejlépe pohyb kontury špičky pipety.

Po každém detekovaném stavu plnění jamky je uživatel informován zvukovým a/nebo obrazovým signálem, přičemž se právě provedené naplnění jamky vyznačí v obraze na displeji. Uživatel má v tomto okamžiku možnost oznámit programu špatnou detekci a tím ji opravit nebo přejít automaticky k dalšímu kroku pipetování.

Po dokončení zadaného pipetovacího plánuje případně vygenerován report.

Příkladné provedení postupu zpracovávání obrazu pro tento způsob kontroly pipetovacího procesuje znázorněno na obr. 2.

Nejprve se provede zpracování inicializační sady snímků, případně alespoň jednoho snímku. Přitom se pipetovací pole nejprve nalezne pomocí detekce přímek v obraze, poté se odstraní perspektivní zkreslení obrazu pipetovacího pole vyrovnáním do pravoúhlého obrazce, detekují se kružnice okrajů buněk v pipetovacím poli pomocí Houghovy transformace (lze použít i jinou metodu detekce), určí se velikosti pravoúhlého rastru a velikosti a pozice jednotlivých buněk a nakonec se do obrazu vyznačí počáteční stav buněk, tj. nenaplněno.

Následně se zahájí zpracovávání videosignálu z kamery přístroje. Přitom je například prováděn výpočet pohybového pole Famebáckovou metodou (nebo jinou vhodnou metodou výpočtu hustého pohybového pole) a analyzuje se pohyb kontury pipety, nebo spíše jejího pracovního konce. Pokud je detekováno přiblížení špičky pipety k jamce a její zastavení na pozici určité jamky, je to vyhodnoceno jako naplnění jamky. Provede se zápis změny stavu jamky, tento zápis se vyznačí v obraze na displeji a s výhodou je rovněž vydán zvukový a/nebo obrazový signál, indikující provedení zápisu, aby mohl uživatel případně provést opravu falešné detekce naplnění jamky.

Jak bylo uvedeno, s výhodou se způsob podle vynálezu provádí mobilním telefonem nebo tabletem. Zejména je výhodné umístit daný přístroj na stojan nebo jinou podložku zajišťující statické uložení přístroje do polohy, z níž má videokamera přístroje dobrou viditelnost všech jamek mikrotitrační destičky, nejlépe s co nejmenším perspektivním zkreslením, ale se zachováním viditelnosti kontury špičky pipety při plnění jednotlivých jamek.

Claims

PATENTOVÉ NÁROKY

1. Způsob optické kontroly manuálního zavádění pipetovaného materiálu do mikrotitrační destičky se soustavou jamek pomocí videokamery, procesoru a displeje, přičemž tento způsob zahrnuje následující kroky:

a) videokamerou se snímá mikrotitrační destička a prostor nad jamkami a videosignál se předává do procesoru,

b) načež se alespoň jeden snímek mikrotitrační destičky v procesoru zpracuje za účelem detekce pozice mikrotitrační destičky a jednotlivých jamek,

c) poté se zpracovaný snímek mikrotitrační destičky s detekovanými jamkami zobrazí na displeji,

d) průběžně se v procesoru zpracovává videosignál z videokamery,

e) a analyzuje se pohyb alespoň části pipety nad mikrotitrační destičkou, zejména trajektorie tohoto pohybu vzhledem k mikrotitrační destičce v závislosti na čase,

f) jestliže se z analýzy prováděné v kroku e) detekuje, že byl pipetou do některé jamky zaveden pipetovaný materiál, zaznamená se pro příslušnou jamku naplnění jamky a záznam se vyznačí v obraze snímku z kroku c).
2. Způsob podle nároku 1, vyznačující se tím, že pro vyvození, zda byl pipetou do některé jamky zaveden pipetovaný materiál, se analýzou v kroku e) zjišťuje, zda pipeta setrvala nad jamkou po dobu alespoň 0,5 sekundy a/nebo zda pohyb pipety vykazoval nejdříve směr svislý k jamce a následně směr svislý od jamky.
3. Způsob podle nároku 1 nebo 2, vyznačující se tím, že se videosignál z videokamery v kroku d) zpracovává za použití výpočtu pohybového pole Famebáckovou metodou.
4. Způsob podle kteréhokoli z předcházejících nároků, vyznačující se tím, že krok

b) zahrnuje následující kroky:

bl) nejprve se ve snímku mikrotitrační destičky naleznou kontury pole jamek pomocí detekce přímek, b2) načež se odstraní perspektivní zkreslení snímku, b3) detekují se kruhové okraje jamek.
5. Způsob podle nároku 4, vyznačující se tím, že v kroku b3) se pro detekci kruhových okrajů jamek použije Houghova transformace.
6. Způsob podle nároku 4 nebo 5, vyznačující se tím, že v kroku c) se zpracovaný snímek mikrotitrační destičky s detekovanými jamkami zobrazí na displeji bez perspektivního zkreslení, tedy v pravoúhlém rastru.
7. Způsob podle kteréhokoli z předcházejících nároků, vyznačující se tím, že jestliže se v kroku f) z analýzy prováděné v kroku e) detekuje, že byl pipetou do některé jamky zaveden pipetovaný materiál, je vydán zvukový a/nebo obrazový signál.

-4 CZ 306253 B6
8. Způsob podle nároku 6, vyznačující se tím, že jestliže uživatel detekci z kroku f) označí za chybnou, odstraní se záznam naplnění dané jamky a její vyznačení v obraze snímku z kroku c).
9. Způsob podle kteréhokoli z předcházejících nároků, vyznačující se tím, že se provádí elektronickým přístrojem, zejména mobilním telefonem nebo tabletem, který zahrnuje videokameru, displej a procesor.