RS66723B1 - Sistem mašinskog vida sa računarski generisanim virtuelnim referentnim objektom - Google Patents

Description

Opis

[0001] Opis koji sledi se odnosi na sisteme mašinskog vida. Preciznije, pronalazak se odnosi na sisteme mašinskog vida namenjene za merenja koja se koriste u kontroli kvaliteta ili pri izvršavanju drugih sličnih zadataka koji zahtevaju merenje objekata. Još preciznije, pronalazak se odnosi na sistem mašinskog vida koji koristi referentni objekat. Računarski kontrolisani sistemi mašinskog vida se koriste u različitim primenama. Jedna tipična primena je kontrola kvaliteta objekata proizvedenih u prerađivačkoj industriji. Moguće je izmeriti različite osobine objekta snimanjem proizvedenog objekta pomoću jedne ili većeg broja kamera. Merenje može uključivati merenje čitavog objekta ili pojedinih izabranih karakteristika objekta. Dakle, merenje može biti jedno- , dvo- ili tro-dimenziono, ili čak može biti izvršeno u kombinaciji dimenzija u zavisnosti od odabranih karakteristika. Pored veličine i oblika, moguće je izvršiti merenje i drugih karakteristika kao što su, na primer, boja, hrapavost ili neke druge slične karakteristike. Merenja od strane sistema mašinskog vida se tipično vrše upoređivanjem proizvedenog objekta sa modelom objekta. Postignuti rezultati obično daju relativnu razliku izmerenog objekta i korišćenog modela objekta.

[0002] Za merenje trodimenzionalne koordinate potrebne su samo dve kamere pošto se trodimenzionalna koordinata može izračunati iz dve dvodimenzionalne slike pod uslovom da je merena tačka vidljiva na obe slike. Ipak, broj kamera je obično veći. Ovo je slučaj stoga što se upotrebom većeg broja kamera povećava pokrivenost i preciznost merenja. Kamere su u tipičnom slučaju postavljene tako da mogu da vide sve karakteristike objekta koji se meri, ili bar što je moguće veći broj karakteristika. U skladu sa tim je uobičajeno da izmerenu karakteristiku ne vide sve kamere. Pored povećanja broja kamera, poznato je da tačnost merenja poboljšava veći broj drugih koncepata, kao što su na primer precizna kalibracija i algoritmi za obradu slike. Dodatno, za određene objekte je moguće planirati mesta za pozicioniranje kamera ili koristiti preciznije kamere ili specifično osvetljenje kako bi se poboljšao kvalitet slika željenih karakteristika koje se dobijaju.

[0003] Sistemi mašinskog vida koji se koriste za merenja su posebno dobri po tome što na sličan način prepoznaju merene karakteristike pri različitim uslovima. Karakteristike poput ivica i rupa će, stoga, prilikom merenja objekta biti detektovane na sličan način čak i ukoliko dođe do promene uslova. Zbog toga je moguće precizno izmeriti čak i male promene u lokaciji ili obliku objekta. Iako su rezultati merenja izvedeni iz dobijenih slika precizni, oni se ne mogu porediti sa rezultatima merenja izvršenim korišćenjem drugih mernih alata, kao što je na primer mašina za merenje koordinata. To je stoga što je teško izmeriti, na primer, apsolutnu lokaciju ivice upotrebom konvencionalnih sistema i postupaka mašinskog vida. Iako je moguće precizno izmeriti relativnu promenu veličine, lokaciju ili neke druge promene objekta koji se meri, teško je izmeriti istu promenu na apsolutnoj skali umesto relativne razlike.

[0004] Kod konvencionalnih rešenja se ova merenja ponekad dopunjuju preciznim merenjem lokacije objekta koji se meri ili stavljanjem objekta koji se meri u mernu matricu tako da je poznata tačna lokacija. Kada je lokacija tačno poznata, moguće je izmeriti bar neke od apsolutnih mera objekta koji se meri. Jedan postupak je izrada referentnog objekta („zlatni objekat“) koji je proizveden što je tačnije moguće kako bi zadovoljio nominalne dimenzije objekta. Drugi način je precizno merenje referentnog dela pomoću apsolutnog referentnog mernog sistema i dodavanje izmerenih razlika vrednostima referentnog dela čime se dobijaju rezultati koji su uporedivi sa apsolutnom skalom.

[0005] Ovakvi pristupi mogu, međutim, biti problematični ukoliko postoji potreba za merenjem različitih tipova objekata ili velikog broja objekata. Merenja će biti spora ukoliko je potrebno da se objekat koji se meri tačno pozicionira pre obavljanja merenja. U skladu sa tim, ako postoji potreba za merenjem različitih tipova objekata, može postojati i potreba za korišćenjem različitih tipova matrica ili nekih drugih sredstava za pozicioniranje objekta koja će možda morati da se menjaju između merenja. Sve ove mehaničke metode su skupe i podložne trošenju. Čak i kada bi se upotreba mehaničkih matrica izbegla odgovarajućim matematičkim ili optičkim metodama pozicioniranja, i dalje bi postojala potreba za apsolutnim referentnim mernim sistemom koji je jeftin za nabavku i primenu.

[0006] JP2017004170A opisuje postupak za inspekciju postrojenja za sklapanje namenjen za pregled stanja postrojenja za sklapanje koji uključuje jedan ili više montažnih matrica koje se koriste za sklapanje željenog dela. US2015139535 opisuje postupak za generisanje podataka o poravnanju objekta i slike namenjen za primenu u sistemu za prepoznavanje objekata. US2016189358 opisuje postupak za kalibraciju dubinske kamere. US2015146964 opisuje postupak za pregled korišćenjem mašinskog vida. US6173070 opisuje sistem i postupak za analizu podataka sa snimljenih 3D slika skeniranih površina namenjen za lociranje predmeta od interesa, kao što su na primer kuglice za lemljenje.

IZLAGANJE SUŠTINE PRONALASKA

[0007] Ovde je opisan sistem mašinskog vida koji koristi računarski generisan virtuelni referentni objekat. Kada su poznate tačne mere virtuelnog referentnog objekta, sistem mašinskog vida je sposoban da izvrši merenje razlika na apsolutnoj skali. Kod sistema mašinskog vida virtuelni referentni objekat se proizvodi na osnovu računarskih slika. Računarski generisani virtuelni referentni objekat se dalje obrađuje kako bi se postigla visoka foto-realistična tačnost. Obrada može uključivati kombinovanje delova sa slike proizvedenog stvarnog objekta ili računarsko generisanje slike koja izgleda kao pravi izmereni objekat. Kada je računarski generisani virtuelni referentni objekat zasnovan na nacrtu modela, on ne sadrži nepreciznosti uzrokovane tolerancijama pri proizvodnji, već sadrži sve osobine i karakteristike objekta onakvog kakav je projektovan.

[0008] Prema jednom aspektu je opisan postupak za merenje objekta. Postupak sadrži prijem trodimenzionalnog računarski generisanog virtuelnog referentnog objekta koji sadrži jednu ili veći broj referentnih slika koje predstavljaju računarski generisane poglede na virtuelni referentni objekat, pri čemu se primljeni virtuelni referentni objekat generiše na osnovu nacrta modela objekta i virtuelni referentni objekat sadrži tačne koordinate tog objekta, pri čemu tačne koordinate sadrže koordinate najmanje jedne diskretne tačke; dobijanje najmanje dve slike objekta, pri čemu su najmanje dve slike dobijene sa najmanje dva različita senzora za posmatranje; određivanje trodimenzionalne lokacije najmanje jedne diskretne tačke na objektu na osnovu dobijenih slika, pri čemu je određena trodimenzionalna lokacija u istom koordinatnom sistemu sa trodimenzionalnim računarski generisanim virtuelnim referentnim objektom; određivanje odgovarajućih diskretnih koordinata tačke na virtuelnom referentnom objektu; i na osnovu utvrđene lokacije najmanje jedne diskretne tačke na dobijenim slikama i odgovarajućih tačnih koordinata na virtuelnom referentnom objektu, izračunavanje lokacije na apsolutnoj skali najmanje jedne diskretne tačke na objektu.

[0009] Prema aspektu, postupak dalje sadrži generisanje računarski generisanog virtuelnog referentnog objekta na osnovu nacrta modela objekta. Generisanje dalje sadrži prijem dodatnih informacija koje sadrže najmanje jedno od sledećeg: informacije o postavci osvetljenja, informacije o materijalu objekta ili informacije o boji objekta. Prema drugom izvođenju, generisanje dalje sadrži dobijanje najmanje jedne slike proizvedenog objekta; generisanje pogleda u projekciji na osnovu nacrta modela, pri čemu pogled u projekciji odgovara pravcu dobijanja najmanje jedne slike proizvedenog objekta; i poravnavanje najmanje dela najmanje jednog dela najmanje jedne dobijene slike na generisanom pogledu u projekciji.

[0010] Postupak kao što je gore opisano omogućava merenje objekata na apsolutnoj skali bez potrebe za posedovanjem precizno proizvedenog referentnog objekta. Prethodno opisani postupak otklanja sve probleme koji se odnose na habanje referentnog objekta. Dalje, postupak pomaže pri otklanjanju netačnosti uzrokovanih tolerancijama merenja. On obezbeđuje poboljšani kvalitet merenja uz smanjenje pridruženih troškova.

[0011] Prema nekom drugom izvođenju generisanje dalje sadrži proizvodnju fotorealistične slike objekta na osnovu nacrta modela i primljenih dodatnih informacija.

[0012] Prema jednom izvođenju postupak koji je opisan iznad je implementiran u vidu računarskog programa koji sadrži računarski programski kôd konfigurisan da izvršava prethodno opisani postupak kada se računarski program izvršava od strane računarskog uređaja.

[0013] Prema jednom izvođenju opisan je kontroler koji sadrži najmanje jedan procesor i najmanje jednu memoriju. Najmanje jedan procesor je konfigurisan da izvršava prethodno opisani postupak. Prema daljem izvođenju opisan je sistem mašinskog vida. Sistem mašinskog vida se sastoji od kućišta; sistema kamera sa većim brojem kamera postavljenim unutar kućišta; sistemom osvetljenja sa većim brojem uređaja za osvetljenje postavljenim unutar kućišta; i kontroler kao što je opisano iznad, pri čemu je kontroler povezan sa sistemom mašinskog vida i konfigurisan da izvršava prethodno opisani postupak.

[0014] Korišćenje računarski generisanog virtuelnog referentnog objekta pruža nekoliko prednosti. Generisanje od strane računara se može izvršiti bez uzimanja u obzir proizvodnih tolerancija. Dakle, računarski generisani virtuelni referentni objekat se tačno poklapa sa planovima objekta. Ovo se postiže bez proizvodnje skupog referentnog objekta i preciznog merenja proizvedenog referentnog objekta. Dakle, korišćenje računarski generisanog virtuelnog referentnog objekta povećava tačnost merenja.

[0015] Dalja prednost korišćenja računarski generisanog virtuelnog referentnog objekta se ogleda u tome da kada su poznate tačne mere na apsolutnoj skali, razlike uočene u merenjima se mogu lako izračunati na apsolutnoj skali. Dodatna prednost ovoga je da se mogu izbeći netačnosti uzrokovane tolerancijama merenja kada nije potrebno vršiti merenje referentnog objekta.

[0016] Konvencionalni stvarni referentni objekti su takođe skloni mehaničkom trošenju i drugim problemima koji su uzrokovani njegovim izlaganjem okruženju na mestu proizvodnje. Na primer, osoba koja vrši merenja može da ispusti referentni objekat što može dovesti do nastanka ogrebotina i drugih mehaničkih defekata. Štaviše, prljavština i druge nečistoće ponekad mogu prouzrokovati drugačiji izgled predmeta. Moguće je da u nekim slučajevima čak i izlaganje sunčevoj svetlosti može biti izvor vidljivih promena na referentnom objektu. Svi ovi defekti koji su u vezi sa izlaganjem objekta mogu se izbeći korišćenjem računarski generisanog virtuelnog referentnog objekta.

KRATAK OPIS SLIKA NACRTA

[0017] Pridružene slike, koje su uključene da obezbede dalje razumevanje sistema mašinskog vida i čine deo ove specifikacije, ilustruju izvođenja i zajedno sa opisom pomažu da se objasne principi sistema mašinskog vida. Na slikama:

Sl. 1 je primer sistema mašinskog vida,

Sl. 2 je primer postupka koji izvodi sistem mašinskog vida,

Sl. 3 je primer postupka za generisanje računarski generisanog virtuelnog referentnog objekta,

Sl. 4 je primer postupka za generisanje računarski generisanog virtuelnog referentnog objekta.

DETALJAN OPIS PRONALASKA

[0018] Opis će se sada detaljno pozvati na izvođenja čiji su primeri ilustrovani na priloženim slikama.

[0019] U nastavku će biti razmatrana prva merenja koja uključuju računarski generisani virtuelni referentni objekat. Zatim će se razmatrati dva opciona postupka za pripremu računarski generisanog virtuelnog referentnog objekta. Računarski generisani virtuelni referentni objekat je potrebno razumeti kao jednu ili veći broj referentnih slika, koje se takođe nazivaju referentnim prikazima, a to su računarski generisani pogledi na virtuelni referentni objekat. Dakle, računarski generisani virtuelni referentni objekat ne treba razumeti kao jedan referentni prikaz već kao skup koji sadrži jedan ili veći broj referentnih pogleda koji prikazuju objekat iz različitih uglova i eventualno sa različitim parametrima. Štaviše, računarski generisani referentni model takođe može imati nekoliko referentnih pogleda iz istog ugla sa različitim osvetljenjem ili drugim podešavanjima. Dalje, stručnjak iz predmetne oblasti će razumeti da računarski generisani virtuelni referentni objekat ne mora da bude kompletan objekat. Dovoljno je da su pokrivene karakteristike koje je potrebno meriti (oblasti od interesa).

[0020] U sledećem opisu se razmatra sistem mašinskog vida koji uključuje veći broj kamera. Ipak, termin kamera se ovde koristi samo zarad razumevanja, pošto je konvencionalna digitalna kamera u tipičnom slučaju pogodna za ovu namenu. Umesto konvencionalne kamere mogu se koristiti i drugi tipovi vizuelnih senzora koji mogu da proizvedu sliku koja je pogodna za poređenje. To uključuje različite vrste kamera posebne namene, na primer termičke kamere, skenere, digitalne rendgenske aparate za snimanje, savitljive jedinice za snimanje, trodimenzionalne kamere i slično.

[0021] Na slici 1 je prikazan blok dijagram koji ilustruje primer sistema mašinskog vida. Na slici 1 je prikazana merna stanica 102. Merna stanica 102 sadrži četiri kamere 100a - 100d i tri uređaja 101a - 101c za osvetljenje. Broj kamera i uređaja za osvetljenje nije ograničen samo na četiri i tri već se može slobodno odabrati. Tipično je broj kamera i uređaja za osvetljenje veći. Kamere i uređaji za osvetljenje mogu biti pričvršćeni za jedan ili veći broj okvira koji su dalje pričvršćeni za mernu stanicu 102. Umesto okvira, kamere i uređaji za osvetljenje mogu takođe biti direktno pričvršćeni za zidove merne stanice 102. Kamere, i ukoliko je potrebno, takođe i uređaji za osvetljenje, kalibrišu se korišćenjem konvencionalnih postupaka za kalibraciju prema odabranom koordinatnom sistemu.

[0022] Merna stanica 102 dalje sadrži transporter 104 koji se koristi za dovođenje objekta 103 kojeg je potrebno izmeriti unutar merne stanice. Transporter je samo primer; merni objekat se može dopremiti i nekim drugim sredstvima, kao što je na primer industrijskim robotom, ili ga može postaviti osoba koja vrši merenja.

[0023] U ovom opisu se pretpostavlja da je ambijentalno svetlo uslovljeno osvetljenjem u hali ili prostorijama u kojima se nalazi merna stanica. Ambijentalno svetlo može biti prirodno svetlo koje dolazi kroz prozore ili potiče od uređaja za osvetljenje postavljenih u prostoriji. Korisno je da se merna stanica 102 može zatvoriti tako da ambijentalno svetlo ne ometa merenja, međutim, to nije uvek neophodno. Na primer, ukoliko merenje ima koristi od tačno definisanog rasporeda osvetljenja, ambijentalno svetlo može biti kompenzovano. Korišćenjem moćnog sistema osvetljenja moguće je koristiti mernu stanicu 102 čak i ukoliko deo okolne svetlosti koji je propušten može da izazove neke varijacije u uslovima merenja. Zatvaranje merne stanice 102 može se obezbediti, na primer, korišćenjem vrata ili zavesa postavljenim na otvorima transportera ukoliko se koristi transportna traka. Ukoliko osoba postavlja merni objekat na mernu platformu, lako je napraviti zatvorenu mernu stanicu gde je ambijentalno svetlo u potpunosti uklonjeno. Ukoliko se ambijentalno svetlo ne može u potpunosti ukloniti, mogu se koristiti dodatni uređaji za osvetljenje koji se koriste za kompenzaciju ambijentalnog svetla.

[0024] Merna stanica 102 je povezana sa kontrolerom 105 korišćenjem mrežne veze 108. Mrežna veza može biti žičana ili bežična. Kontroler može biti postavljen u mernoj stanici ili se može nalaziti na udaljenoj lokaciji. Ukoliko se kontroler 105 nalazi u mernoj stanici 102, njime se može upravljati daljinski, na primer iz kontrolne sobe namenjene za upravljanje nekolicinom sistema proizvodnog mesta. Kontroler 105 sadrži najmanje jedan procesor 106 i najmanje jednu memoriju 107. Procesor je konfigurisan tako da izvršava računarski programski kôd kako bi izvršio merenja. Najmanje jedna memorija 107 je konfigurisana tako da čuva računarski programski kôd i pridružene podatke, na primer, dobijene merne slike i referentne prikaze. Kontroler 105 je u tipičnom slučaju povezan sa drugim računarskim uređajima, na primer, radi mogućeg dugotrajnog skladištenja mernih slika i uslova merenja.

[0025] Merna stanica 102 se može koristiti kao što je opisano u primerima ispod uz pozivanje na slike 2 - 4. Slika 2 opisuje primer postupka koji koristi računarski generisane virtuelne referentne objekte. Slike 3 i 4 opisuju dva primera postupka za generisanje referentnih pogleda. Prednost korišćenja računarski generisanih virtuelnih referentnih objekata je ta što je veličina reference tačno željena veličina. To je zato što se ne pravi virtuelni referentni objekat te stoga nema netačnosti koje bi bile uzrokovane proizvodnim tolerancijama. Stručnjak iz predmetne oblasti će razumeti da su predstavljeni primeri samo primeri i da se drugi slični principi mogu koristiti u merenjima sa računarski generisanim virtuelnim referentnim objektom.

[0026] Na slici 2 je prikazan primer postupka. U postupku se može koristiti merna stanica, kao što je na primer merna stanica sa slike 1 ili slično. U merenju se prvo prima najmanje jedan računarski generisani virtuelni referentni objekat, korak 200. Računarski generisani virtuelni referentni objekti se mogu primiti u vidu dvodimenzionalnih pogleda u projekciji koji se mogu lako uporediti sa slikama dobijenim korišćenjem konvencionalnih kamera. Međutim, model takođe može biti trodimenzionalan, tako da se dvodimenzionalni prikazi u projekciji kreiraju iz trodimenzionalnog modela ili se prvo izračunavaju trodimenzionalne lokacije diskretnih karakteristika koje se porede, a zatim a zatim se upoređuju sa računarski generisanim referentnim objektom. Slični principi se mogu koristiti i za kamere sa dva ili većim brojem sočiva. Ove kamere se često nazivaju trodimenzionalnim kamerama ili stereo kamerama. Kod postupka se moraju primiti samo neophodni prikazi računarski generisanih virtuelnih referentnih objekata. Na primer, kada se meri samo jedna karakteristika, može biti dovoljno imati samo jednu referencu. Međutim, obično postoji više referentnih prikaza koji odgovaraju različitim pogledima kamere i mogućim orijentacijama objekta.

[0027] Računarski generisani virtuelni referentni objekat može biti pridružen srodnim opcionim postavkama koja se takođe primaju, korak 201. Na primer, ukoliko računarski generisani virtuelni referentni objekat sadrži, na primer, specifičnu postavku osvetljenja korišćenjem podskupa raspoloživih svetlosnih uređaja, gde podskup svetla može biti aktivan kada se primaju opciona podešavanja. Računarski generisani virtuelni referentni objekat je možda generisan korišćenjem određenih uređaja za osvetljenje i korisno je koristiti iste svetlosne uređaje prilikom merenja jer će to obezbediti bolju korespondenciju između slika koje se porede.

[0028] Nakon što su primljeni referentni prikazi i moguće opcione postavke, merna stanica je spremna za prijem prvog objekta koji se meri, korak 202. Ovo se može uraditi, na primer, korišćenjem pokretne trake, od strane osobe koja vrši merenje, korišćenjem robotizovanog uređaja ili pomoću bilo kog drugog sredstva za postavljanje objekta na mernu platformu merne stanice.

[0029] Objekat se meri dobijanjem većeg broja slika, korak 203. Slike se zatim upoređuju sa odgovarajućim referentnim prikazima, korak 204. Poređenje može biti slično konvencionalnom poređenju, gde su relativne razlike rezultat koji se postiže. Međutim, pošto su poznate tačne mere računarski generisanog virtuelnog referentnog objekta, takođe je moguće izračunati apsolutne mere objekta koji se meri.

[0030] U predmetnoj prijavi patenta podrazumeva se apsolutna skala ili apsolutne mere, pri čemu mere mogu biti izražene u tačnim jedinicama kao što su na primer nanometri, milimetri ili metri metričkog sistema.

[0031] Lokacije diskretnih tačaka na objektu se prilikom merenja objekta određuju i upoređuju sa računarski generisanim virtuelnim referentnim objektom. U ovoj prijavi patenta termin diskretne tačke se odnosi na tačke ili karakteristike na objektu. To uključuje, na primer, rupe, žljebove, ivice, uglove i slične tačke koje imaju tačnu lokaciju na objektu i tačnu lokaciju je odredio dizajner objekta. Konvencionalno, sistemi mašinskog vida koriste oblake tačaka projektovane na objekat. Ovi oblaci tačaka nisu diskretne tačke na objektu jer njihova lokacija nije poznata u odnosu na objekat i nisu deo objekta.

[0032] Kada su diskretne tačke izvedene iz računarski generisanog virtuelnog referentnog objekta, poznato je da su u idealno ispravnim pozicijama jer ne može biti odstupanja uzrokovanog proizvodnim tolerancijama.

[0033] U daljem tekstu su opisana dva različita postupka za obezbeđivanje računarski generisanog virtuelnog referentnog objekta. Ipak, postupke koji slede je potrebno smatrati primerima postupka i moguće je koristiti bilo koji drugi postupak za generisanje računarski generisanog virtuelnog referentnog objekta.

[0034] Na slici 3 je prikazan postupak za obezbeđivanje računarski generisanog virtuelnog referentnog objekta.

[0035] Polazna tačka za generisanje računarski generisanog virtuelnog referentnog objekta je prijem nacrta modela objekta koji je potrebno izmeriti, korak 300. Ovaj nacrt je, tipično, CAD slika ili neki drugi sličan nacrt nastao korišćenjem računarskog alata za projektovanje. Objekat koji se meri može biti bilo koji objekat koji se može izmeriti korišćenjem računarski kontrolisanog sistema mašinskog vida. Obično se ovi mehanički objekti koriste kao delovi za automobile, mobilne telefone, kućne uređaje i sve druge uređaje koji sadrže mehaničke delove. Nacrt modela uključuje koordinate objekta. Koordinate nacrta mogu biti dvodimenzionalne ili trodimenzionalne. Koordinate tačno definišu veličinu u koordinatnom sistemu koji odgovara koordinatnom sistemu koji se koristi u merenjima.

[0036] Nakon toga se prima objekat koji je proizveden prema nacrtu modela, korak 301. Objekat ne mora biti takozvani zlatni objekat već običan objekat sa netačnostima uzrokovanim proizvodnim procesom. Dakle, poznato je da objekat nije idealan i da ima odstupanja od idealnih mera koje su prikazane na crtežu.

[0037] Primljeni nacrt objekta se koristi za izradu modela projekcije, korak 302. Ova projekcija je tipično dvodimenzionalni prikaz objekta. Za generisanje pogleda u projekciji, moraju biti poznati pravac pogleda i drugi parametri koji se odnose na senzor posmatranja. To uključuje, na primer, lokaciju vizuelnog senzora, uglove rotacije, žižnu daljinu, greške sočiva i druge parametre koji mogu biti neophodni za pravljenje pogleda koji odgovara slici sa kamere. Kada su parametri za dobijanje slike i pravljenje pogleda identični, krajnji rezultati su u istom koordinatnom sistemu i mogu se međusobno porediti bez ikakve dalje obrade. Ipak, u nekim primenama se može koristiti dalja obrada slike.

[0038] Postupak dalje uključuje dobijanje slike ili većeg broja slika koje odgovaraju generisanom režimu projekcije, korak 303. Dobijena slika sadrži objekat u uslovima koji poželjno odgovaraju stvarnim uslovima merenja.

[0039] Konačno dobijene slike i modeli projekcije se kombinuju tako da je najmanje deo slike odabran i precizno poravnat na modelu projekcije. Poravnavanje može biti potpuno automatizovano, međutim moguće je i ručno poravnati potrebne delove. Kako bi bili dovoljno precizni, dobijene slike i model projekcije se mogu uvećati tako da se proces poravnanja može obaviti veoma precizno. Rezultat kombinacije se može koristiti kao računarski generisan virtuelni referentni objekat.

[0040] U gorenavedenom se ne razmatraju postavke merenja, međutim one mogu biti uskladištene zajedno sa računarski generisanim virtuelnim referentnim objektom. Tako je moguće koristiti isto osvetljenje prilikom merenja kao što je korišćeno pri dobijanju slika iskorišćenih za generisanje računarski generisanog virtuelnog referentnog objekta.

[0041] Na slici 4 je opisan drugi postupak za generisanje računarski generisanog virtuelnog referentnog objekta. Postupak se pokreće prijemom nacrta modela objekta koji je potrebno meriti, korak 400. Ovo je najmanje delimično slično koraku 300 sa slike 3. Primljeni nacrt modela može biti skup tačaka označenih koordinatama koje su međusobno povezane kako bi se kreirao objekat.

[0042] Kako bi se obezbedio računarski generisani virtuelni referentni objekat, primaju se dodatne osobine objekta, korak 401. Ove dodatne osobine uključuju, na primer, materijal ili materijale za proizvodnju, boju objekta i slično. Tako je moguće odrediti kako objekat reflektuje svetlost i kako se vidi na kameri.

[0043] Kao što je opisano iznad, tipična merna stanica u tipičnom slučaju sadrži veći broj svetlosnih uređaja kojima se može nezavisno upravljati. Moguće je da se intenzitet, talasna dužina i druge karakteristike svetlosti takođe mogu kontrolisati. Da bi se generisao računarski generisan referentni model koji se može uporediti sa slikama snimljenim pomoću kamere, korisno je znati koja se postavka osvetljenja koristi. Zbog toga je korisno primiti postavku osvetljenja koja će se koristiti, korak 402.

[0044] Kada se generiše računarski generisani virtuelni referentni objekat, ugao posmatranja objekta mora biti poznat. Dakle, kao i kod postupka sa slike 3 potrebno je znati informacije o kameri koja se koristi za snimanje objekta koji se meri. Ovo se može postići, na primer, prijemom identifikacije kamere što se može iskoristiti za pronalaženje lokacije i orijentacije kamere, korak 403.

[0045] Kada su nacrt modela i dodatne osobine poznati, moguće je generisati računarski generisani virtuelni referentni objekat, korak 404. Računarski generisani virtuelni referentni objekat treba da vizuelno bude što je moguće fotorealističniji. Ovo se može postići korišćenjem tehnika renderovanja, kao što su na primer scanline rendering (renderovanje skeniranjem linija) ili raytracing (renderovanje simulacijom putanje zraka svetla), što su postupci za određivanje vidljive površine. Raytracing je tehnika koja se izvodi praćenjem putanje svetlosti kroz piksele u ravni slike i simulacijom efekata njenog susreta sa virtuelnim objektima i koristi se za generisanje slike koja se može koristiti kao računarski generisani virtuelni referentni objekat. Raytracing je sposoban da proizvede veoma visok stepen vizuelnog realizma i pogodan je za tu svrhu. Tehnike praćenja zraka su računski zahtevne, međutim, pošto je moguće unapred proračunati računarski generisani virtuelni referentni objekat i slike koje predstavljaju računarski generisani virtuelni referentni objekat, skupo proračunavanje je moguće uraditi u računarskom centru ili slično i ne mora biti izvršeno od strane merne stanice. Tako se može postići veoma visoka preciznost objekta modela bez potrebe za povećanjem snage računara u poređenju sa konvencionalnim rešenjima.

[0046] U gornjim primerima kamere i uređaji za osvetljenje mogu biti konvencionalne kamere i konvencionalni uređaji za osvetljenje, međutim to ne mora nužno biti tako. Tako se mogu koristiti posebne kamere i specijalni uređaji za osvetljenje koji su dizajnirani za određene talasne dužine. Dakle, svetlost ne mora da bude ona koja je vidljiva ljudskom oku. Prema tome, stručnjak iz predmetne oblasti će razumeti da su računarski generisani virtuelni referentni objekti obezbeđeni onako kako ih vide kamere. Na primer, u nekim merenjima može biti korisno koristiti ultraljubičaste ili infracrvene talasne dužine koje nisu vidljive za ljudsko oko. Sličan princip se primenjuje i na druge tipove vizuelnih senzora, kao što su skeneri ili neki drugi merni uređaji koji proizvode sliku ili merenje koje se može uporediti sa računarski generisanim virtuelnim referentnim objektom. Dakle, termin slika je potrebno razumeti dovoljno široko tako da pokriva slike generisane različitim uređajima za generisanje slika koji mogu drugačije da vide objekat.

[0047] U gornjim primerima je opisana upotreba računarski generisanog virtuelnog referentnog objekta. U merenjima se koristi računarski generisani virtuelni referentni objekat kao da je konvencionalni referentni objekat.

[0048] Prilikom merenja trodimenzionalne diskretne tačke računarski generisanog virtuelnog referentnog objekta za k x 3 dimenzionisanu matricu V, pri čemu k predstavlja broj mernih tačaka. Izmereni realni objekat ima sličnu matricu R, međutim, ove matrice nisu na istoj lokaciji ili čak ni u istom koordinatnom sistemu bez pozicioniranja. Dakle, razlika se ne može izračunati direktno izračunavanjem R - V. Međutim, kako je namera da se dobije rezultat na apsolutnoj skale u obliku matrice R, naravno u okviru raspoloživih mernih tolerancija, dovoljno je dobiti R, na primer, korišćenjem sledećeg ili bilo kog drugog pogodnog sličnog pristupa.

[0049] Problem pozicioniranja se može rešiti korišćenjem konvencionalnih postupaka pozicioniranja. Jedan primer je konvencionalni 3-2-1 postupak. Druga često korišćena opcija je primena postupka najboljeg uklapanja. Ovi postupci pozicioniranja su samo primeri, a dostupne su i druge varijante. Dostupni postupci mogu biti različite tačnosti i to će se možda morati uzeti u obzir prilikom izbora postupka.

[0050] Radi boljeg razumevanja, jedan od načina za izračunavanje koordinata je opisan u sledećim paragrafima. Pretpostavimo da su koordinate pojedinačnih mernih tačaka ili karakteristika na dobijenim dvodimenzionalnim slikama:

gde je n broj kamera a k broj mernih tačaka. Dakle, moguće je formirati k x 2n dimenzionisanu matricu V, pri čemu je k opet broj mernih tačaka a n broj kamera. Shodno tome je moguće generisati matricu D istih dimenzija, pri čemu je svaki od redova oblika:

{x1dk, y1dk, x2dk, y2dk, ... xndk, yndk}

pri čemu je n ponovo broj kamera i svaka od vrednosti oslikava razliku između realne merne tačke i virtuelne tačke merenja u dvodimenzionalnoj ravni. Shodno tome koordinate izmerenih dvodimenzionalnih koordinata su prikazane na slikama u matričnom obliku M = V D, pri čemu je M istih dimenzija kao V i D, a svaki od redova je istog oblika {x1mk, y1mk, x2mk, y2mk, ... xnmk, ynmk}. Trodimenzionalna matrica apsolutne skale je R i ona je k x 3 matrica, pri čemu su Xk, Yk i Zk u svakom redu funkcija redova matrice M:

[0051] Stoga,

[0052] Gore opisani postupak se može primeniti u vidu računarskog softvera koji sadrži računarski programski kôd koji se izvršava od stane računarskog uređaja koji može da komunicira sa spoljašnjim uređajima. Kada se softver izvršava od strane računarskog uređaja, on je konfigurisan tako da izvršava gore opisani inventivni postupak. Softver je materijalizovan na medijumu koji može biti očitan od strane računara tako da se može obezbediti računarskom uređaju, kao što je na primer kontroler 105 sa slike 1.

[0053] Kao što je navedeno iznad, komponente primera izvođenja mogu uključiti medijum koji može biti očitan od strane računara ili memorije za čuvanje programskih instrukcija programiranih u skladu sa navodima predmetnog pronalaska i za čuvanje struktura podataka, tabela, zapisa i/ili drugih podataka koji su ovde opisani. Medijum koji može biti očitan od strane računara može uključiti bilo koji odgovarajući medijum koji učestvuje u davanju instrukcija procesoru na izvršenje. Uobičajeni oblici medijuma koji mogu biti očitani od strane računara mogu uključivati, na primer, diskete, fleksibilne diskove, čvrste diskove, magnetne trake, bilo koji drugi odgovarajući magnetni medijum, CD-ROM, CD±R, CD±RW, DVD, DVD-RAM, DVD±RW, DVD±R, HD DVD, HD DVD-R, HD DVD-RW, HD DVD-RAM, Blu-ray diskove, bilo koji drugi pogodan optički medijum, RAM, PROM, EPROM, FLASH-EPROM, bilo koji drugi odgovarajući memorijski čip ili kertridž, noseći talas ili bilo koji drugi odgovarajući medijum kojeg računar može da očita.

[0054] Stručnjacima iz predmetne oblasti će biti očigledno da se sa napretkom tehnologije osnovna ideja sistema mašinskog vida može primeniti na različite načine. Sistem mašinskog vida i njegova izvođenja stoga nisu ograničena samo na gore opisane primere; umesto toga oni mogu da variraju u okviru obima patentnih zahteva.

Claims (6)

PATENTNI ZAHTEVI

1. Postupak za merenje objekta koji sadrži:

prijem (200) trodimenzionalnog računarski generisanog virtuelnog referentnog objekta koji sadrži jednu ili veći broj referentnih slika koje su računarski generisani pogledi na virtuelni referentni objekat, pri čemu se primljeni virtuelni referentni objekat generiše na osnovu nacrta modela objekta i virtuelni referentni objekat sadrži tačne koordinate tog objekta, pri čemu tačne koordinate sadrže koordinate najmanje jedne diskretne tačke;

dobijanje (203) najmanje dve slike objekta, pri čemu se dobijene najmanje dve slike dobijaju od strane najmanje dve različite kamere;

određivanje (204) trodimenzionalne lokacije najmanje jedne diskretne tačke na objektu na osnovu dobijenih slika, pri čemu je određena trodimenzionalna lokacija u istom koordinatnom sistemu sa trodimenzionalnim računarski generisanim virtuelnim referentnim objektom;

određivanje (204) odgovarajućih diskretnih koordinata tačke na virtuelnom referentnom objektu; i

na osnovu utvrđene lokacije najmanje jedne diskretne tačke na dobijenim slikama i odgovarajućih tačnih koordinata na virtuelnom referentnom objektu, izračunavanje (204) lokacije na apsolutnoj skali najmanje jedne diskretne tačke na objektu,

naznačen time, što postupak dalje sadrži generisanje (300 do 304, 400 do 404) računarski generisanog virtuelnog referentnog objekta na osnovu nacrta modela objekta, pri čemu generisanje dalje sadrži prijem (201) dodatne informacije koja sadrži najmanje jedno od sledećeg: informacije o postavkama osvetljenja, informacije o materijalu objekta ili informacije o boji objekta.

2. Postupak prema zahtevu 1, pri čemu generisanje dalje sadrži:

dobijanje (301, 303) najmanje jedne slike proizvedenog objekta;

generisanje (302) pogleda u projekciji zasnovanog na nacrtu modela, pri čemu pogled u projekciji odgovara pravcu dobijanja najmanje jedne slike proizvedenog objekta; i

poravnavanje (304) najmanje dela dobijene najmanje jedne slike na generisanom pogledu u projekciji.

3. Postupak prema zahtevu 1 ili 2, pri čemu generisanje dalje sadrži proizvodnju fotorealistične slike objekta na osnovu nacrta modela i primljenih dodatnih informacija.

4. Računarski program koji sadrži računarski programski kôd konfigurisan da izvršava postupak prema bilo kom od prethodnih zahteva 1 do 3 kada se računarski program izvršava od strane računarskog uređaja.

5. Kontroler koji sadrži najmanje jedan procesor (106) i najmanje jednu memoriju (107), pri čemu je najmanje jedan procesor konfigurisan da izvršava postupak prema bilo kom od zahteva 1 do 3.

6. Sistem mašinskog vida koji sadrži:

kućište (102);

sistem kamera koji sadrži veći broj kamera (100a do 100d) unutar kućišta (102);

sistem osvetljenja koji sadrži veći broj svetlosnih uređaja (101a do 101c) unutar kućišta (102); i

kontroler (105), pri čemu je kontroler konfigurisan da izvršava postupak prema bilo kom od prethodnih zahteva 1 do 3.