CZ306066B6 - Hyperspektrální zobrazovací systém pro lékařskou dermatologii nebo endoskopii, způsob snímání obrazu hyperspektrálním zobrazovacím systémem a jeho použití - Google Patents
Hyperspektrální zobrazovací systém pro lékařskou dermatologii nebo endoskopii, způsob snímání obrazu hyperspektrálním zobrazovacím systémem a jeho použití Download PDFInfo
- Publication number
- CZ306066B6 CZ306066B6 CZ2015-343A CZ2015343A CZ306066B6 CZ 306066 B6 CZ306066 B6 CZ 306066B6 CZ 2015343 A CZ2015343 A CZ 2015343A CZ 306066 B6 CZ306066 B6 CZ 306066B6
- Authority
- CZ
- Czechia
- Prior art keywords
- image
- sensor
- sensors
- hyperspectral
- output
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 23
- 238000000701 chemical imaging Methods 0.000 title claims abstract description 19
- 238000001839 endoscopy Methods 0.000 title claims description 8
- 230000003595 spectral effect Effects 0.000 claims abstract description 73
- 238000012545 processing Methods 0.000 claims abstract description 42
- 230000003287 optical effect Effects 0.000 claims abstract description 21
- 238000001429 visible spectrum Methods 0.000 claims description 15
- 238000001228 spectrum Methods 0.000 claims description 7
- 230000035945 sensitivity Effects 0.000 claims description 5
- 238000003384 imaging method Methods 0.000 claims description 4
- FGUUSXIOTUKUDN-IBGZPJMESA-N C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 Chemical compound C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 FGUUSXIOTUKUDN-IBGZPJMESA-N 0.000 claims description 3
- 238000002329 infrared spectrum Methods 0.000 claims description 2
- 230000001360 synchronised effect Effects 0.000 claims description 2
- 238000012800 visualization Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 230000010354 integration Effects 0.000 description 6
- 230000005855 radiation Effects 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000003745 diagnosis Methods 0.000 description 3
- 238000001356 surgical procedure Methods 0.000 description 3
- 238000013519 translation Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000004456 color vision Effects 0.000 description 2
- 238000013501 data transformation Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 239000003814 drug Substances 0.000 description 2
- 230000004907 flux Effects 0.000 description 2
- 230000035515 penetration Effects 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000005670 electromagnetic radiation Effects 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 239000007850 fluorescent dye Substances 0.000 description 1
- 235000013305 food Nutrition 0.000 description 1
- 238000005755 formation reaction Methods 0.000 description 1
- 235000012055 fruits and vegetables Nutrition 0.000 description 1
- 229910052736 halogen Inorganic materials 0.000 description 1
- 150000002367 halogens Chemical class 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000001727 in vivo Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000007920 subcutaneous administration Methods 0.000 description 1
- 230000000287 tissue oxygenation Effects 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
- 210000004881 tumor cell Anatomy 0.000 description 1
- 210000003462 vein Anatomy 0.000 description 1
Landscapes
- Endoscopes (AREA)
Abstract
Předkládané řešení se týká hyperspektrálního zobrazovacího systému pro snímání obrazu v reálném čase, obsahujícího objektiv (1), obrazový senzor (3), blok (5) digitálního zpracování obrazových dat a obrazový výstup (6), který dále obsahuje alespoň jeden další obrazový senzor (4) a rozdělovač (2) optického signálu uspořádaný mezi objektivem (1) a obrazovými senzory (3), (4), přičemž obrazové senzory (3) a (4) mají navzájem různá prostorová a různá spektrální rozlišení. Předkládané řešení se dále týká způsobu snímání obrazu v reálném čase hyperspektrálním zobrazovacím systémem a jeho použití.
Description
Hyperspektrální zobrazovací systém pro lékařskou dermatologii nebo endoskopii, způsob snímání obrazu hyperspektrálním zobrazovacím systémem a jeho použití
Oblast techniky
Vynález se týká způsobu snímání obrazu hyperspektrálním zobrazovacím systémem, hyperspektrálního zobrazovacího systému a jeho použití, zejména pro lékařskou endoskopii.
Dosavadní stav techniky
Pro lékařskou endoskopii se v dnešní době používají převážně systémy pracující ve viditelném spektru elektromagnetického záření. Snímaná scéna je nasvícena zdrojem světla se spektrálním rozsahem pokrývajícím viditelný rozsah a tato scéna je dále sejmuta obrazovým snímačem pracujícím v rozsahu viditelných vlnových délek. Používaný obrazový snímač je většinou tříkanálový, mající pásmové spektrální propusti odpovídající červené (R), zelené (G) a modré (B) barvě. Touto konfigurací obrazový snímač imituje princip funkce barevného vidění lidského oka, které má také senzory s citlivostmi odpovídajícími červené, zelené a modré barvě.
Použití viditelného spektra pro lékařské endoskopy využívající obrazové senzory ovšem limituje dostupnou obrazovou informaci ve výstupu takového systému pouze na charakteristiky snímané scény detekovatelné v tomto viditelném spektru. Mnoho charakteristik snímané scény ovšem ve viditelném spektru detekovatelných není a je tedy uživateli takovéhoto systému skryto.
Z dostupné literatury plyne, že mimo viditelný rozsah je pro navigaci během lékařských zákroků velmi relevantní mimo jiné oblast blízkého infračerveného záření, zejména v rozsahu vlnových délek 600 až 1000 nm. V tomto spektrálním rozsahu je možné detekovat řadu charakteristik vhodných pro diagnostiku a/nebo navigaci během lékařských zákroků, například okysličení tkáně, přítomnost NIR (Near Infra-Red) fluorescenčních barviv, je umožněno lepší rozlišení různých druhů tkání a podobně. V tomto rozsahu je také přítomno tzv. NIR okno, tedy oblast záření, které je složkami biologických tkání pohlcováno nejméně a dosahuje tedy velké penetrační hloubky.
Souvisejícím řešením je například technologie Narrow Band Imaging společnosti Olympus [EP 2 433 522 Bl], využívající obrazové senzory pracující ve viditelném spektru společně se světelným zdrojem s nastavitelnou spektrální charakteristikou. Systém využívá různých penetračních hloubek záření o různých vlnových délkách ke zvýšení užitečné obrazové informace ve výstupu systému, nicméně zachovává spektrální rozsah na viditelných vlnových délkách.
Dalším souvisejícím řešením je technologie pro multispektrální snímání popsaná v patentové přihlášce WO/2011 113 162 AI. Tento systém využívá světelný zdroj s nastavitelnou spektrální charakteristikou pro střídavé osvětlování snímané scény světlem s různou spektrální charakteristikou pro získání spektrálních profilů snímané scény. Vzhledem k tomu, že je scéna osvětlována jednotlivými spektry v různých časových intervalech, dochází k nežádoucím artefaktům ve výstupu systému způsobeným nesynchronizovaným snímáním jednotlivých dílčích spektrálních charakteristik.
Souvisejícím technickým řešením je také patent US 8 115 825 B2 Electronic device with two image sensors společnosti Apple. Principem technického řešení je použití dvou obrazových senzorů, černobílého pro jasovou složku a barevného pro barevnou složku a následné digitální zpracování obrazových dat. Toto technické řešení se týká způsobu zachycení klasických RGB barevných obrázků senzory pracujícími v oblasti viditelného světla. Tyto senzory nejsou určeny pro práci mimo viditelnou oblast a popisovaný senzor barevné složky má pouze tři spektrální kanály.
- 1 CZ 306066 B6
Pro zjištění spektrálních charakteristik oblasti zájmu lze v lékařství využít specializované přístroje, které ovšem zatím nedosahují parametrů výstupního videosignálu vhodných pro navigaci během chirurgických zákroků. Tyto systémy bývají limitovány především rozlišením spektrálního profilu scény a/nebo rychlostí sejmutí této informace (obnovovací frekvencí).
Hyperspektrální snímání leží z pohledu spektrálního rozlišení mezi standardními RGB obrazovými snímači a specializovanými spektrometry. Pro označení daného snímaní jako hyperspektrálního se obvykle používá hranice 10 a více spektrálních pásem, pokrývajících spojitě spektrální pracovní rozsah senzoru. Snímání využívající senzorů s menším počtem pásem bývá zpravidla označováno jako multispektrální. Znalost spektrálních charakteristik jednotlivých pixelů pak umožňuje komplexní určení vlastností snímané scény. Hyperspektrální obrazové snímače umožňují určit prostorové rozložení jednotlivých spekter, což umožňuje lepší segmentaci a klasifikaci výsledného obrazu.
Použití hyperspektrálního snímání v medicíně je zatím omezeno na případové studie a výzkumné prototypy. Limitujícím faktorem je absence zařízení schopného snímat a vyhodnocovat obrazová spektrální data v reálném čase. Tento parametr je nutný pro použití těchto systémů in vivo, tedy zejména pro navigaci během invazivních chirurgických zákroků.
Nově dostupné jsou hyperspektrální obrazové senzory založené na standardní technologii výroby obrazových CMOS snímačů. Jsou schopny pracovat v reálném čase, nevýhodou je ovšem nízké prostorové rozlišení z důvodu vyššího spektrálního rozlišení. Obdobně jako standardní tříkanálový obrazový snímač má před fotocitlivými elementy barevnou masku opakující se v blocích 2x2 pixely, má hyperspektrální senzor masku s velikostí bloku například 5x5. Tedy prostorové rozlišení je výrazně nižší než u obdobného senzoru s menším počtem spektrálních (barevných) pásem.
Hyperspektrální endoskopický systém podle předkládaného vynálezu řeší problémy dosavadního stavu techniky tím, že umožňuje integraci vhodně vizualizovaných spektrálních charakteristik snímané scény do obrazového výstupu zobrazovacího systému, při zachování použitelnosti tohoto obrazového výstupu, např. pro navigaci během lékařských zákroků a zároveň se zachováním vysokého prostorového i spektrálního rozlišení tohoto obrazového výstupu.
Podstata vynálezu
Předmětem předkládaného vynálezu je hyperspektrální zobrazovací systém pro snímání obrazu v reálném čase pro lékařskou dermatologii nebo endoskopii, obsahující objektiv, obrazový senzor a obrazový výstup, který dále obsahuje alespoň jeden další hyperspektrální obrazový senzor a rozdělovač optického signálu uspořádaný mezi objektivem a obrazovými senzory, a blok digitálního zpracování obrazových dat, přičemž hyperspektrální obrazový senzor umožňuje snímání v oblasti vlnových délek blízkého infračerveného světla, má malé prostorové a vysoké spektrální rozlišení, obrazový senzor umožňuje snímání v oblasti vlnových délek viditelného světla, má vysoké prostorové a malé spektrální rozlišení, a blok digitálního zpracování obrazových dat umožňuje zpracování obrazové informace z hyperspektrálního obrazového senzoru do barevné složky obrazového výstupu systému a obrazové informace z obrazového senzoru do jasové složky obrazového výstupu systému. Rozdělovač optického toku nemusí mít shodnou spektrální charakteristiku pro oba výstupní optické toky.
Ve výhodném provedení je senzor s vysokým prostorovým a nízkým spektrálním rozlišením RGB obrazový senzor nebo monochromatický senzor. Použitím RGB obrazového senzoru je umožněn provoz systému v režimu standardních viditelných vlnových délek imitující vnímání lidského oka. Použitím monochromatického obrazového senzoru je dosaženo vyššího efektivního rozlišení systému v porovnání s použitím barevného senzoru díky absenci dopočítávání monochromatických hodnot jednotlivých pixelů z Bayerovy masky senzoru barevného. Protože se barevná složka výsledného obrazu může s výhodou získat ze zpracovaných hyperspektrálních
-2CZ 306066 B6 dat, je možné použít jako senzor s vysokým prostorovým a nízkým spektrálním rozlišením standardní monochromatický obrazový senzor.
V jiném provedení hyperspektrální zobrazovací systém podle vynálezu dále obsahuje zdroj světla s vhodnou spektrální charakteristikou pokrývající pracovní rozsahy použitých obrazových senzorů. Tento je použit zejména při zdravotnických aplikacích systému vyžadujících přesné spektrální pokrytí snímaného rozsahu, s výhodou může být založen na halogenovém zdroji světla případně na solid-state zdrojích.
Předmětem předkládaného vynálezu je rovněž způsob snímání obrazu v reálném čase hyperspektrálním zobrazovacím systémem, který obsahuje objektiv, rozdělovač optického svazku, hyperspektrální obrazový senzor, pracující v oblasti vlnových délek blízkého infračerveného světla, který má malé prostorové a vysoké spektrální rozlišení a po následném digitálním zpracování tvoří tato obrazová informace barevnou složku obrazového výstupu systému, obrazový senzor pracující v oblasti vlnových délek viditelného světla, který má vysoké prostorové a malé spektrální rozlišení a po následném digitálním zpracování tvoří tato obrazová informace jasovou složku obrazového výstupu systému, a blok digitálního zpracování obrazových dat, a který zahrnuje následující kroky:
a) optický svazek projde objektivem a rozdělovačem optického svazku, kde se obrazová informace zaostří do alespoň dvou výsledných obrazových rovin, přičemž spektrální charakteristika objektivu a rozdělovače optického svazku umožňuje propuštění vlnových délek v oblastech citlivosti použitých obrazových senzorů;
b) takto upravené obrazové informace se vedou do jednotlivých obrazových senzorů;
c) senzory se synchronizované exponují, přičemž časové periody všech senzorů jsou shodné, čímž se zajistí výrazné potlačení artefaktů vznikajících při integraci dvou videosignálů s různým časováním;
d) senzory se vyčtou synchronizované v číslicové formě, čímž se zajistí výrazné potlačení artefaktů vznikajících při integraci dvou videosignálů s různým časováním;
e) výstupní data jednotlivých obrazových senzorů se přenesou do bloku digitálního zpracování obrazových dat, který může být s výhodou tvořen programovatelným hradlovým polem (FPGA); f) jednotlivé videosignály se zpracují v bloku digitálního zpracování obrazových dat do výstupního videosignálů nebo videosignálů;
přičemž s výhodou se samostatně zpracuje obrazová informace ze senzoru pracujícího v oblasti viditelného světla, která po zpracování tvoří jasovou složku obrazového výstupu systému, s výhodou v rozmezí vlnových délek od 400 do 700 nm, a obrazová informace z hyperspektrálního senzoru z oblasti blízkého infračerveného spektra (s výhodou v rozmezí od 600 do 1000 nm), která po zpracování tvoří barevnou složku obrazového výstupu systému, se s výhodou zpracuje kombinovaně, a to společně s obrazovou informací ze senzoru viditelného světla. Kombinované zpracování dat obou senzorů umožňuje vyšší spektrální rozlišení systému díky kombinaci spektrálních rozsahů obou použitých senzorů. Při slučování dat z obou senzorů do kombinovaného obrazového výstupu systému je využito faktu, že u lidského vidění je pro dojem ostrosti primární složka jasová a sekundární složka barevná, tedy ze senzoru s vysokým prostorovým rozlišením je použita (po zpracování) složka jasová a ze senzoru s vysokým spektrálním rozlišením je použita (po zpracování) složka barevná. Kombinovaný obrazový výstup systému tedy umožňuje podstatně zvýšit obsah užitečné informace použitím více senzorů při zachování prostorového i spektrálního rozlišení.
V systému lze s výhodou použít objektiv s rozšířeným spektrálním rozsahem, především s ohledem na možné barevné chyby a nutnost zaostření více vlnových délek do společných obrazových rovin.
Obrazové senzory pracují v různých oblastech vlnových délek snímaného záření. Tímto řešením dochází k pokrytí většího rozsahu vlnových délek, a tedy je dosaženo zvýšení přesnosti použitých
-3 CZ 306066 B6 analytických a/nebo klasifikačních algoritmů. Použití senzoru pracujícího v oblasti viditelného světla zároveň se senzorem pracujícím v oblasti blízkého infračerveného záření umožňuje kombinovaný provoz systému. Tedy lze systém provozovat jako standardní kamerový systém s výstupním obrazem odpovídajícím barevnému vidění lidského oka i jako specializované vizualizační zařízení při kombinaci těchto viditelných dat společně s daty ze senzoru pracujícího v oblasti blízkého infračerveného záření.
V jiném provedení je obrazovým výstupem systému jeden sloučený videosignál. V minimální konfiguraci je výstupem systému jeden obrazový signál, který lze pomocí uživatelského rozhraní systému nastavit do požadovaného způsobu zobrazení.
V dalším provedení jsou obrazovými výstupy jednotlivé oddělené videosignály. Ve standardní konfiguraci systém obsahuje oddělené obrazové výstupy, tedy výstup s obrazovou informací z viditelného spektra a výstup s kombinovanou a zpracovanou informací ze všech obsažených obrazových senzorů.
V jiném provedení je obrazovým výstupem sloučený videosignál i jednotlivé oddělené videosignály. V plné konfiguraci obsahuje systém různý počet obrazových (a jiných datových, zejména například síťových) rozhraní, které lze nezávisle konfigurovat pomocí uživatelského rozhraní systému do požadované konfigurace obrazových výstupů systému.
V jednom provedení způsobu snímání hyperspektrálním zobrazovacím systémem podle vynálezu se v kroku f) digitálního zpracování obrazových dat z obrazového senzoru pracujícího v oblasti viditelného spektra použije jasová složka signálu a ze senzoru pracujícího v oblasti blízkého infračerveného záření se použije složka barevná, přičemž barevná složka se nepoužije přímo, ale až po zpracování, kdy se spektra nejprve dopočítají, ohodnotí se dle podobnosti s referenčním spektrem a tato podobnost se následně použije jako index do palety barev pro obarvení výsledného snímku. S výhodou se v kroku f) digitálního zpracování obrazová data ze senzoru pracujícího v oblasti blízkého infračerveného záření porovnají a ohodnotí dle nalezené podobnosti s předdefinovaným spektrálním profilem. Výsledný obrazový výstup se zkombinuje s obrazovým výstupem senzoru pracujícího ve viditelné oblasti. Jasová složka signálu z obrazového senzoru pracujícího v oblasti viditelného spektra se tedy dobarví podle spektrální podobnosti jednotlivých pixelů, složených kombinací výstupů z viditelného a NIR senzoru, s referenčním spektrem. S výhodou může blok pro digitální zpracování obrazových dat dále obsahovat bloky pro transformace obrazových dat, tedy translaci, rotaci a změnu měřítka pro optimální zarovnání obrazových dat z obou senzorů.
Blok pro digitální zpracování obrazových dat zajišťuje především zpracování, vizualizaci a integraci vstupních obrazových dat z obrazového senzoru pracujícího ve viditelném spektru a vstupních obrazových dat z obrazového senzoru pracujícího v oblasti blízkého infračerveného záření. Kromě těchto funkcí blok pro digitální zpracování obrazových dat může a nemusí obsahovat další funkce, mimo jiné například systémové řídicí a komunikační funkce.
Princip vhodné vizualizace obrazových dat ze senzoru pracujícího v oblasti blízkého infračerveného záření spočívá především (ale ne pouze) v klasifikaci obrazových elementů scény (pixelů) dle podobnosti s předdefinovaným spektrálním profilem, následné barevné vizualizaci dané nalezené podobnosti a integraci tohoto snímku do obrazového výstupu systému společně s obrazovými daty senzoru pracujícího ve viditelné oblasti. Dále blok pro digitální zpracování obrazových dat může obsahovat bloky pro transformace obrazových dat, tedy translaci, rotaci a změnu měřítka pro optimální zarovnání obrazových dat z obou senzorů.
Pro integraci zpracovaných obrazových dat ze senzoru pracujícího v oblasti blízkého infračerveného záření do obrazových dat ze senzoru pracujícího v oblasti viditelného spektra lze s výhodou využít faktu, že pro lidské oko je pro určení subjektivního dojmu ostrosti obrazové informace primární jasová složka a až sekundární složka barevná. Obrazová data z obou senzorů lze tedy
-4CZ 306066 B6 například integrovat tak, že z obrazového senzoru pracujícího ve viditelném spektru se použije jasová složka signálu a ze senzoru pracujícího v oblasti blízkého infračerveného záření se (po zpracování a vizualizaci) použije složka barevná. Tedy ve výsledném obrazovém signálu je zachován dojem ostrosti zároveň s barevnou vizualizaci spektrálních charakteristik snímané scény.
Data z použitých senzorů lze ohodnotit na podobnost s předdefinovaným spektrálním profilem pomocí standardních algoritmů pro určení podobnosti dvou spektrálních profilů, jako je například metoda nejmenších čtverců. Systém u každého bodu (pixelu) určí míru podobnosti s předdefinovaným spektrálním profilem a tato hodnota je použita pro obarvení výsledného snímku.
U pokročilejších implementací je možné použít náročnější algoritmy pro zpracování spektrálních dat, například lineární spektrální unmixing buďto s použitím předdefinovaných hlavních složek (tzv. endmembers), nebo používající analýzu hlavních komponent pro dynamickou analýzu snímané scény. V závislosti na implementaci lze i u těchto algoritmů dosáhnout provozu v reálném čase, zejména díky výrazně nižšímu počtu spektrálních pásem použitých senzorů ve srovnání se zpracováním dat z obvyklých spektrálních senzorů s řádkovým snímáním (line-scan). Určitá nižší přesnost systému je vyvážena nižšími výpočetními nároky na zpracování výstupních dat a tedy i možností zpracování v reálném čase.
Dermatologie jako zdravotnický obor zabývající se stavem a nemocemi kůže je vhodným oborem použití systému dle předkládaného vynálezu. Diagnostika stavu pokožky nebo zvýšení viditelnosti podkožních útvarů (např. žil) díky provozu systému dle předkládaného vynálezu v oblasti blízkého infračerveného světla využívající optické okno v tomto rozsahu jsou vhodné příklady využití tohoto systému.
Během invazivních chirurgických (případně minimálně invazivních laparoskopických) zákroků se využívají endoskopické kamery, které poskytují operujícímu personálu informace o stavu těla pacienta v oblasti zákroku a tyto systémy jsou ve velké míře využívány i pro navigaci během těchto zákroků. Systém dle předkládaného vynálezu lze s výhodou využít právě pro zdravotnické zákroky, jelikož umožňuje podstatně zvýšit objem užitečné informace v obrazovém výstupu a tím zvýšit přesnost a úspěšnost takto prováděných zdravotnických zákroků.
Dalším provedením systému dle předkládaného vynálezu je aplikace v mobilních zařízeních, kde jsou použité obrazové senzory integrovány společně s optickými komponentami systému v přenosném mobilním zařízení (chytrý telefon, tablet, ...) a uživatel tohoto zařízení má přístup k tomuto integrovanému hardware pomocí dedikované aplikace. Toto podstatně zvýší možnosti použití takovéhoto zařízení, mimo jiné jako osobního zdravotního asistenta pro diagnostiku dermatologických útvarů, zjištění stavu ovoce a zeleniny v obchodě a jiné aplikace benefítující z vyššího spektrálního rozlišení systému dle předkládaného vynálezu.
Jiným provedením vynálezu může být použití v oblasti bezpečnostních kamer, kde jsou použité senzory i optické komponenty integrovány ve formě standardní bezpečnostní kamery. Toto řešení umožňuje zvýšit detekční schopnosti systému díky vyššímu spektrálnímu rozsahu oproti standardním systémům pracujícím v oblasti viditelného světla a dále díky hyperspektrálnímu snímači, který zajišťuje vyšší klasifikační schopnosti pomocí vyššího počtu obsažených spektrálních pásem oproti standardním RGB systémům.
Objasnění výkresů
Obr. 1: Blokové schéma hyperspektrálního zobrazovacího systému, kde £je objektiv, 2 je rozdělovač optického svazku, 3 značí obrazový senzor pro viditelné spektrum, 4 je obrazový senzor pro oblast blízkého infračerveného záření, 5 značí blok digitálního zpracování obrazových dat a 6 je obrazový výstup systému.
-5CZ 306066 B6
Příklady uskutečnění vynálezu
Systém zdravotnické endoskopické kamery sestávající ze dvou podsystémů, tedy kamerové hlavy a hlavní jednotky. Tento systém využívá pro nasvícení snímané scény světelný zdroj s vhodnou spektrální charakteristikou pokrývající spektrální pracovní rozsahy všech použitých obrazových senzorů. Světelný zdroj není součástí předkládaného vynálezu.
Podsystém kamerové hlavy obsahuje objektiv 1 umožňující připojení standardních endoskopických nástavců, mající propustnost v pásmech spektrální citlivosti obou použitých senzorů 3, 4 zároveň s optimalizovaným spektrálním rozsahem pro zaostření různých vlnových délek do jedné obrazové roviny. V optické cestě je dále umístěn rozdělovač 2 optického svazku, který jedinou výslednou obrazovou rovinu objektivu 1 systému rozdělí na dvě obrazové roviny. Rozdělovač 2 optického svazku je nepolarizující a nemusí mít stejnou spektrální charakteristiku pro obě dvě výsledné optické cesty. V takto vzniklých dvou obrazových rovinách jsou umístěny obrazové senzory 3, 4 systému, senzor 3 s vysokým prostorovým rozlišením a nízkým spektrálním rozlišením pracující v oblasti viditelného světla (400 až 700 nm) a senzor 4 s vysokým spektrálním a nízkým prostorovým rozlišením pracující v oblasti blízkého infračerveného záření (600 až 1000 nm).
Data z obou senzorů 3, 4 jsou vyčítána synchronně, tedy referenční hodinový signál pro oba senzory je generován ze stejného zdroje s případnou úpravou kmitočtů těchto dvou hodinových signálů pomocí obvodu fázového závěsu. Tedy hodinové zdroje zachovávají stále stejnou fázi. Na základě těchto hodinových signálů jsou pro oba senzory 3, 4 generovány referenční časovači signály (horizontální synchronizace, vertikální synchronizace a další), jejichž časové periody jsou shodné, a tedy obě tato časování zůstávají také ve stejné fázi. Je tedy možné započít vyčítání obrazové informace z prvního senzoru vždy ve stejný čas ve vztahu k vyčítání dat z druhého senzoru. Je vhodné použít stejný typ vyčítání obou senzorů, preferovaná je globální závěrka pro minimalizaci obrazových artefaktů vznikajících pohybem objektů během expozice obrazovým senzorem. Použití senzorů s různým typem závěrky je možné také, v takovém případě jsou referenční časování pro použité obrazové senzory vzájemně posunutá v takové fázi, aby expozice jednotlivých snímků u obou senzorů začala a skončila ve stejném čase, případně u kratších expozičních časů tak, aby expozice senzoru s globální závěrkou probíhala v době expozice střední části senzoru s typem závěrky „rolling shutter“.
Data z těchto senzorů 3 a 4 umístěných v kamerové hlavě systému jsou konvertována do formy vhodné pro přenos a jsou přenesena do hlavní jednotky systému obsahující bloky 5 pro zpracování obrazových a hyperspektrálních dat. Data mohou být s výhodou přenášena v tzv. RA W formě, tedy bez dopočítaných chybějících hodnot jednotlivých spektrálních pásem použitých senzorů.
V hlavní jednotce jsou na vstupních datech provedeny základní obrazové transformace, jako zejména kalibrace spektrální citlivosti obou senzorů, odstranění barevného prokladu (Bayer demosaicing), vyvážení bílé, mapování barevného prostoru u obrazového senzoru 3 pracujícího v oblasti viditelného světla a další. Takto standardně upravená data z obrazového senzoru 3 pracujícího v oblasti viditelného světla jsou použita jako standardní, neupravený obrazový výstup systému.
Obrazová data ze senzoru s vysokým spektrálním a nízkým prostorovým rozlišením jsou zarovnána na obrazová data senzoru s vysokým prostorovým a nízkým spektrálním rozlišením. Toto je implementováno pomocí standardních geometrických obrazových transformací, tedy translace, rotace a změny měřítka. Jednotlivé elementy (pixely) takto vzniklého hyperspektrálního snímku jsou vyhodnoceny na podobnost s předdefinovaným spektrálním profilem pomocí standardních algoritmů. Pro ohodnocení podobnosti mohou být jednotlivé spektrální n-tice normalizovány do vhodného tvaru. Ohodnocením vzniklá obrazová rovina je namapována do barevného prostoru pomocí vhodné převodní funkce, např. takzvané heat-map. Takto vzniklý RGB snímek je použit jako hlavní, zpracovaný výstup 6 systému.
-6CZ 306066 B6
Systém může implementovat i funkci rozdělení obrazu, kde jsou na jednom obrazovém výstupu zobrazeny zároveň neupravený obraz ze senzoru 3 pracujícím ve viditelném spektru a upravený obraz ze zpracovaných dat obou senzorů 3 a 4. S výhodou lze využít rozdělení obrazu na levou a pravou polovinu, tzv. rozložení side-by-side.
Spektrální profil, vůči kterému je v datech obrazových senzorů určována podobnost může být předem definovaný nebo získaný během provozu zařízení. Předem definovaný může být například z databází spektrálních profilů tkání a jiných oblastí zájmu, například nádorových buněk. Spektrální profil získaný při provozu zařízení je získán dotykem na oblast zájmu na dotykovém senzoru v režimu zařízení, kdy je na LCD displeji pod dotykovým senzorem zobrazeno živé video z jednoho nebo obou senzorů systému. Tím je uživateli umožněno velmi rychle vybrat cílovou oblast zájmu, kterou systém použije jako referenční a bude ji ve snímané scéně zvýrazňovat.
Průmyslová využitelnost
Předkládaný vynález lze využít mimo jiné v lékařské endoskopii pro zvýšení přesnosti a úspěšnosti invazivních chirurgických zákroků. Systém umožňuje jednak provoz ve standardním režimu s použitím obrazových dat pouze z obrazového senzoru pracujícího v oblasti viditelného spektra, tak i kombinovaný (hybridní) provoz v režimu s použitím dat z obou obrazových senzorů a jejich vhodnou vizualizaci a integrací. Tímto lze dosáhnout podstatného zvýšení užitečné informace ve výstupu systému vhodné pro navigaci během lékařských zákroků a tedy i zvýšení přesnosti a úspěšnosti těchto zákroků. Systém lze využít i mimo lékařskou endoskopii, především v potravinářském průmyslu, zemědělství, archeologii, vojenství a dalších oborech.
Claims (8)
- PATENTOVÉ NÁROKY1. Hyperspektrální zobrazovací systém pro snímání obrazu v reálném čase pro lékařskou dermatologii nebo endoskopii, obsahující objektiv (1), obrazový senzor (3) a obrazový výstup (6), vyznačený tím, že dále obsahuje alespoň jeden další hyperspektrální obrazový senzor (4), rozdělovač (2) optického signálu uspořádaný mezi objektivem (1) a obrazovými senzory (3), (4) a blok (5) digitálního zpracování obrazových dat, přičemž hyperspektrální obrazový senzor (4) umožňuje snímání v oblasti vlnových délek blízkého infračerveného světla, má malé prostorové a vysoké spektrální rozlišení, obrazový senzor (3) umožňuje snímání v oblasti vlnových délek viditelného světla, má vysoké prostorové a malé spektrální rozlišení, a blok (5) digitálního zpracování obrazových dat umožňuje zpracování obrazové informace z hyperspektrálního obrazového senzoru (4) do barevné složky obrazového výstupu systému a obrazové informace z obrazového senzoru (3) do jasové složky obrazového výstupu systému.
- 2. Hyperspektrální zobrazovací systém podle nároku 1, vyznačený tím, že senzor (3) s vysokým prostorovým a nízkým spektrálním rozlišením je RGB obrazový senzor nebo monochromatický senzor.
- 3. Hyperspektrální zobrazovací systém podle kteréhokoliv z předchozích nároků, vyznačený tím, že dále obsahuje zdroj světla s vhodnou spektrální charakteristikou pokrývající pracovní rozsahy použitých obrazových senzorů.
- 4. Způsob snímání obrazu v reálném čase hyperspektrálním zobrazovacím systémem podle kteréhokoliv z předchozích nároků, obsahujícího objektiv (1), rozdělovač (2) optického svazku, hyperspektrální obrazový senzor (4), pracující v oblasti vlnových délek blízkého infračerveného světla, který má malé prostorové a vysoké spektrální rozlišení a po následném digitálním zpraco-7 CZ 306066 B6 vání tvoří tato obrazová informace barevnou složku obrazového výstupu systému, obrazový senzor (3) pracující v oblasti vlnových délek viditelného světla, který má vysoké prostorové a malé spektrální rozlišení a po následném digitálním zpracování tvoří tato obrazová informace jasovou složku obrazového výstupu systému, a blok (5) digitálního zpracování obrazových dat, vyznačený tím, že zahrnuje následující kroky:a) optický svazek projde objektivem (1) a rozdělovačem (2) optického svazku, kde se obrazová informace zaostří do alespoň dvou výsledných obrazových rovin, přičemž spektrální charakteristika objektivu (1) a rozdělovače (2) optického svazku propustí vlnové délky v oblastech citlivosti použitých obrazových senzorů (3), (4);b) takto upravené obrazové informace se vedou do jednotlivých obrazových senzorů (3), (4);c) senzory (3), (4) se synchronizované exponují, přičemž časové periody všech senzorů jsou shodné;d) senzory (3), (4) se vyčtou synchronizované v číslicové formě;e) výstupní data jednotlivých obrazových senzorů (3), (4) se přenesou do bloku (5) digitálního zpracování obrazových dat;f) jednotlivé videosignály se zpracují v bloku (5) digitálního zpracování obrazových dat do výstupního videosignálu nebo videosignálů (6);přičemž s výhodou se samostatně zpracuje obrazová informace senzoru (3) z oblasti viditelného světla, která po zpracování tvoří jasovou složku obrazového výstupu systému, a obrazová informace z hyperspektrálního senzoru (4) z oblasti blízkého infračerveného spektra, která po zpracování tvoří barevnou složku obrazového výstupu systému, se s výhodou zpracuje kombinovaně, a to společně s obrazovou informací ze senzoru (3) viditelného světla.
- 5. Způsob snímání podle nároku 4, vyznačený tím, že obrazovým výstupem (6) systému je jeden sloučený videosignál.
- 6. Způsob snímání podle nároku 4, vyznačený tím, že obrazovými výstupy (6) jsou jednotlivé oddělené videosignály.
- 7. Způsob snímání podle nároku 4, vyznačený tím, že obrazovým výstupem (6) je sloučený videosignál i jednotlivé oddělené videosignály.
- 8. Způsob snímání podle kteréhokoliv z nároků 4 až 7 hyperspektrálním zobrazovacím systémem podle nároků 1, 2 nebo 3, vyznačený tím, že v kroku f) digitálního zpracování obrazových dat se z obrazového senzoru (3) pracujícího v oblasti viditelného spektra použije jasová složka signálu a ze senzoru (4) pracujícího v oblasti blízkého infračerveného záření se použije složka barevná, přičemž barevná složka se nepoužije přímo, ale až po zpracování, kdy se spektra nejprve dopočítají, ohodnotí se dle podobnosti s referenčním spektrem a tato podobnost se následně použije jako index do palety barev pro obarvení výsledného snímku.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CZ2015-343A CZ2015343A3 (cs) | 2015-05-20 | 2015-05-20 | Hyperspektrální zobrazovací systém pro lékařskou dermatologii nebo endoskopii, způsob snímání obrazu hyperspektrálním zobrazovacím systémem a jeho použití |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CZ2015-343A CZ2015343A3 (cs) | 2015-05-20 | 2015-05-20 | Hyperspektrální zobrazovací systém pro lékařskou dermatologii nebo endoskopii, způsob snímání obrazu hyperspektrálním zobrazovacím systémem a jeho použití |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CZ306066B6 true CZ306066B6 (cs) | 2016-07-20 |
| CZ2015343A3 CZ2015343A3 (cs) | 2016-07-20 |
Family
ID=56611784
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CZ2015-343A CZ2015343A3 (cs) | 2015-05-20 | 2015-05-20 | Hyperspektrální zobrazovací systém pro lékařskou dermatologii nebo endoskopii, způsob snímání obrazu hyperspektrálním zobrazovacím systémem a jeho použití |
Country Status (1)
| Country | Link |
|---|---|
| CZ (1) | CZ2015343A3 (cs) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5311018A (en) * | 1993-02-11 | 1994-05-10 | The United States Of America As Represented By The Secretary Of The Air Force | Optical system for obtaining separate and simultaneous near-infrared and visible light images |
| US20110279698A1 (en) * | 2010-05-12 | 2011-11-17 | Sony Corporation | Image processing apparatus, image processing method, and program |
-
2015
- 2015-05-20 CZ CZ2015-343A patent/CZ2015343A3/cs not_active IP Right Cessation
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5311018A (en) * | 1993-02-11 | 1994-05-10 | The United States Of America As Represented By The Secretary Of The Air Force | Optical system for obtaining separate and simultaneous near-infrared and visible light images |
| US20110279698A1 (en) * | 2010-05-12 | 2011-11-17 | Sony Corporation | Image processing apparatus, image processing method, and program |
Also Published As
| Publication number | Publication date |
|---|---|
| CZ2015343A3 (cs) | 2016-07-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US12231786B2 (en) | Multi-function imaging | |
| US12518410B2 (en) | Hyperspectral imaging with tool tracking in a light deficient environment | |
| WO2016048911A1 (en) | Hyperspectral imager | |
| US9727962B2 (en) | System for visualizing tissue in a surgical region | |
| CA2979384C (en) | Systems and methods for measuring tissue oxygenation | |
| RU2011128383A (ru) | Оборудование для инфракрасного наблюдения анатомических структур и способ обработки сигналов от упомянутых структур | |
| WO2015143417A1 (en) | Systems and methods for measuring tissue oxygenation | |
| JP7063604B2 (ja) | 電子式の顕微鏡 | |
| US20200088580A1 (en) | Hyperspectral imaging method and device | |
| JP2021035549A (ja) | 内視鏡システム | |
| CN107427186A (zh) | 内窥镜装置 | |
| CZ306066B6 (cs) | Hyperspektrální zobrazovací systém pro lékařskou dermatologii nebo endoskopii, způsob snímání obrazu hyperspektrálním zobrazovacím systémem a jeho použití | |
| US20250133277A1 (en) | Multispectral filter arrays for stereoscopic cameras | |
| US20250331722A1 (en) | Method, processor, and medical fluorescence observation device using two color images and color cameras for fluorescence and white-light | |
| Pfahl et al. | A laparoscopic multispectral system to visualize tissue oxygenation | |
| KR102372603B1 (ko) | 기능영상 제공 의료 시스템 | |
| CN121843644A (zh) | 用于在医疗观察设备中显示血液氧合值和浓度值的数据处理设备及计算机实现方法、医疗观察设备及其使用方法 | |
| CN121620778A (zh) | 用于在医疗观测设备中组合荧光发射信号与边缘检测信号的数据处理设备及计算机实现方法 | |
| CN121646436A (zh) | 医学观察装置的数据处理装置和计算机实现发明，以可视化自发荧光信号和荧光发射信号 | |
| BR112020012682B1 (pt) | Sistema endoscópico com imageamento hiperespectral em um ambiente com deficiência de luz | |
| Gao | Bio-Inspired Multi-Spectral Imaging Sensors and Algorithms for Image Guided Surgery |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| MM4A | Patent lapsed due to non-payment of fee |
Effective date: 20220520 |