NO330598B1 - Fremgangsmåte og anordning for å sikre drift av automatisk eller autonomt utstyr - Google Patents

Description

FREMGANGSMÅTE OG ANORDNING FOR Å SIKRE DRIFT AV AUTOMATISK ELLER AUTONOMT UTSTYR

Det er tilveiebrakt en fremgangsmåte for å sikre drift av automatisk eller autonomt utstyr. Nærmere bestemt dreier det seg om en fremgangsmåte for å sikre drift av automatisk eller autonomt utstyr hvor utstyret omfatter en komponent som forskyves i rommet, og hvor fremgangsmåten inkluderer å beregne komponentens posisjon i rommet ved hjelp av data fra komponentens styresystem. Oppfinnelsen omfatter også en anordning for utøvelse av fremgangsmåten.

Posisjonsangivelse av komponenter tilhørende automatisk eller autonomt utstyr er ifølge kjent teknikk basert på data fra komponentenes respektive styresystemer. Posi-sjonsangivelsen representerer således en beregnet posisjon. Styresystemene styrer komponentene til ønskede posisjoner for å gjennomføre de arbeidsoperasjoner som skal utføres. Det er vanlig å arbeide med en 3D-modell av utstyret for også å kunne fremstille komponenten visuelt. 3D-modellen, som kontinuerlig oppdateres, sjekkes fortløpende, for eksempel for å unngå kollisjon mellom ulike komponenter.

Verifisering av de beregnede posisjoner kan være vanskelig, særlig i vanskelig til-gjengelige områder. Dersom komponenter skades eller løsner vil dette kunne medføre posisjonsavvik som vanskelig lar seg registrere ved hjelp av komponentens eget styresystem.

Feil av denne art kan medføre uforutsette, uheldige og uønskede hendelser.

Oppfinnelsen har til formål å avhjelpe eller å redusere i det minste en av ulempene ved kjent teknikk, eller i det minste å skaffe tilveie et nyttig alternativ til kjent teknikk.

Formålet oppnås ved trekk som er angitt i nedenstående beskrivelse og i etterfølgende patentkrav.

Det er tilveiebrakt en fremgangsmåte for å sikre drift av automatisk eller autonomt utstyr hvor utstyret omfatter en komponent som forskyves i rommet, og hvor fremgangsmåten inkluderer: - å beregne komponentens posisjon (beregnet posisjon) i rommet ved hjelp av data fra komponentens styresystem, og hvor fremgangsmåten kjennetegnes ved at den omfatter:

- å kontaktløst måle komponentens reelle posisjon; og

- å beregne et avvik mellom den beregnede posisjon og den reelle posisjon.

Med beregnet posisjon menes her en posisjon som er beregnet på grunnlag av en 3D-modell av utstyret hvor "er"-verdier som tilføres styresystemet fra givere montert på eller ved den aktuelle komponent, anvendes. Dette gir en vesentlig mer pålitelig beregnet posisjon enn ved anvendelse av "skaT-verdier for de aktuelle komponenter hvor en baserer seg på at de satte verdier for komponenten er blitt realisert.

Ved at flere posisjoner på komponenten beregnes, beregnes også komponentens orientering i rommet.

Komponentens posisjon kan måles kontaktløst, typisk ved refleksjon av energibølger, for eksempel i form av synlig lys som fanges opp av et kamera. Energibølger i andre frekvensområder kan, avhengig av de rådende forhold, være aktuelle.

Fremgangsmåten kan videre omfatte å filtrere data for den beregnede posisjon og data for den reelle posisjon på samme måte før avviket beregnes. Filtreringen forkla-res nærmere i søknadens spesielle del.

Fremgangsmåten kan omfatte å avgi et varsel når avviket overstiger en forutbestemt verdi.

Fremgangsmåten kan omfatte å vise et beregnet bilde av komponenten basert på beregnet posisjon og å vise et reelt bilde av komponenten basert på den målte posisjon. Det målte bildet kan vises overlagt det beregnede bildet eller omvendt.

I en enkel, visuell form kan et bilde som er fremskaffet ved hjelp av et kamera over-legges et beregnet 2D bilde av samme område, hvorved avvik umiddelbart vil være synlig. En slik forenklet fremgangsmåte vil imidlertid ikke kunne beregne avvik mellom bildene.

Det er således nødvendig å behandle både signalene for den beregnede posisjon og for den reelle posisjon for å gjøre dem sammenlignbare, se søknadens spesielle del. Fremgangsmåten kan utøves ved hjelp av en bearbeidingsenhet for automatisk eller autonomt utstyr hvor utstyret omfatter en komponent som forskyves i rommet og hvor en maskin og en manipulator styres via et styresystem som er innrettet til å kunne avgi et signal omfattende beregnet posisjon til en komponent i rommet, og hvor en kontaktløs giver er innrettet til å kunne avgi et signal som omfatter en reell posisjon for komponenten i rommet, og hvor signalene fra styresystemet og fra den kontaktløse giver blir konvertert i henholdsvis en foredlingsmodul for beregnet posisjon og en foredlingsmodul for reell posisjon, til sammenlignbar bildeinformasjon.

Den sammenlignbare bildeinformasjon fra foredlingsmodulen for beregnet posisjon og foredlingsmodulen for reell posisjon kan sammenlignes i en avviksmodul, idet avviksmodulen er innrettet til å kunne avgi et varsel dersom avviket er større enn en forutbestemt verdi.

Fremgangsmåten og anordningen ifølge oppfinnelsen muliggjør sikker overvåkning og varsling ved avvik for automatisk eller autonomt utstyr som befinner seg for eksempel på utilgjengelige steder så som havbunnen, eller i områder hvor operatørnærvær kan være forbundet med fare. Det kan presenteres bilder fra ulike vinkler idet kontaktløse givere kan være anbrakt i ulike posisjoner for å fange opp hendelser i rommet. Full 3D overvåkning av rommet hvor det befinner seg et antall aktive og passive maskiner, er således mulig ved hjelp av hensiktsmessig plasserte kontaktløse givere.

I det etterfølgende beskrives et eksempel på en foretrukket fremgangsmåte og anordning som er anskueliggjort på medfølgende tegninger, hvor: Fig. 1 viser en layout av utstyr i henhold til oppfinnelsen;

Fig. 2 viser et flytskjema for vekting av reflektans og lysintensitet; og

Fig. 3 viser det samme som i fig. 1, men hvor bilder av beregnet posisjon og

reell posisjon er vist.

På tegningene betegner henvisningstallet 1 en maskin i en prosess, for eksempel for behandling av en rørstreng 2. Maskinen 1 betjenes av en manipulator 4 som kan være styrt manuelt, automatisk eller autonomt av eller via et styresystem 6.

Manipulatoren 4 er forsynt med en komponent 8, her i form av en griper, som er for-skyvbar i rommet 10.

Rommet 10 er belyst ved hjelp av ikke viste lamper. Et antall kontaktløse givere 12, her i form av kamera, overvåker rommet 10 fra ulike posisjoner.

Styresystemet 6 omfatter et program som er innrettet til å kunne tilveiebringe nød-vendig informasjon for oppbygging av en 3D-modell av manipulatoren 4. 3D modellen er dynamisk i den forstand at den oppdateres kontinuerlig for å kunne vise aktuell posisjon til komponenten 8. Informasjon om maskinen 1 og rommet 10 er også inklu-dert i 3D-modellen. Et styre- og simuleringsprogram markedsført under navnet "Actin" av Energid Technologies Corporation, Cambridge, MA, USA har vist seg å være hensiktsmessig både for styring av manipulatoren og for å avgi (engelsk: render) grafiske, beregnede posisjoner i rommet for en komponent 8. "Actin"-teknikken er beskrevet i US-patent 6757587.

Fra styresystemet 6 ledes informasjonen om komponentens 8 beregnede posisjon til en bearbeidingsenhet 14 hvor den nevnte informasjonen behandles i en foredlingsmodul for beregnet posisjon 16.

Signalene fra styresystemet 6 og fra de kontaktløse giverne 12 blir konvertert i henholdsvis foredlingsmodulen for beregnet posisjon 16 og en foredlingsmodul for reell posisjon 18, til sammenlignbar bildeinformasjon. Sammenligningen foretas i en avviksmodul 20. Et bilde 22 basert på beregnet posisjon og et bilde 24 basert på reell posisjon kan vises, se fig. 3.

Det kan presenteres bilder fra ulike vinkler, idet kontaktløse givere 12 kan være anbrakt i ulike posisjoner for å fange opp hendelser i rommet 10. Foredlingsmodulene 16, 18 kan presentere en sene med bilder til avviksmodulen 20 for eksempel ut fra antall kontaktløse givere 12. Full 3D overvåkning av rommet er således mulig ved hjelp av hensiktsmessig plasserte, kontaktløse givere 12.

Et identifiserings- og lokaliseringsprogram markedsført under navnet "Selectin" av Energid Technologies Corporation omfatter en del av algoritmen som er nødvendig å anvende i foredlingsmodulene 16 og 18. "Selectin" danner således basis for program-varen som er utviklet for å kunne sammenligne den beregnede posisjon med den reelle posisjon. "Selectin"-teknikken er beskrevet i US-patentsøknad 11/141,843.

Sammenligningen foretas på pikselnivå for individuelle piksler og/eller grupper av piksler. I og med at flere piksler fra den beregnede posisjon normalt sammenlignes med korresponderende piksler fra den reelle posisjon, bestemmes som nevnt samtidig komponentens orientering i rommet 10.

Signalene som tilføres foredlingsmodulene 16, 18 kan inneholde feil. For eksempel forekommer det forvrengning, pikselstøy og kontrasttap fra de kontaktløse giverne 12. Disse feil er ikke tilstede i signalet fra styresystemet 6. Det kan også forkomme at 3D

modellen er ufullstendig eller at overføringen er mangelfull.

I foredlingsmodulen for beregnet posisjon 16 og foredlingsmodulen for reell posisjon 18 foretas derfor signalforedling som kan omfatte fjerning av pixselstøy, normalisering av kontrast, normalisering av intensitet, korreksjon for objektivforvrengnmg og blok-kering av områder med ikke-relevante avvik. Bade den beregnede posisjon og den aktuelle posisjon oppdateres kontinuerlig samtidig som relevante trekk beregnes og forsterkes.

Pikselstøy fjernes ved hjelp av såkalt median filtrering som er en ulineær teknikk. Se R. Boyle and R. Thomas: Computer Vision: A First Course, Blackwell Scientific Publica-tions, 1988, pp 32 - 34.

Kontrasten blir normalisert ved hjelp av såkalt homomorfik (likedannet) filtrering som også fjerner såkalte artifakter. Med artifakter menes uønskede, ofte kunstige effekter av lyssetting. Se httD:// homeDaaes. inf. ed. ac. uk/ rbf/ CVonline/ LOCAL COPIES/ OWENS/ LECT5/ node4. ht ml for nærmere forklaring.

En hovedoppgave i foredlingen er å fjerne uønskede artifakter som stammer fra belysningen. Intensiteten f( i, j) til en piksel i, j i et bilde kan representeres ved f( i, j) = i( i, j) r( i, j) hvor r( i, j) er et mål på den observerte reflektans fra en observert flate, og KU) er intensiteten av belysningen på den observerte flate.

Generelt varierer reflektansen (spectral properties) med en høyere spatial rate enn

belysningen. Spatial rate er forandring som er relatert til forskyvning over en distanse i motsetning til hastighet. Dersom en for eksempel har en sekvens av bilder som i en videostrøm, kan det forekomme midlertidige forandringer i en piksel fra et bilde til det neste og spatial endringer er fra en piksel til den neste i samme bilde.

Det er ønskelig å undertrykke effekten av belysningen fordi den ikke bidrar med informasjon til å identifisere fysiske avvik. En logaritmisk operator, log<*>(), kan anvendes til å dele lysintensiteten og reflektansen for å undertrykke eller redusere effekten av variasjon i lysintensiteten.

log*[(f(i,J)]«log*[(i(i,j)]+log*[(r(i,j)]

Ved antagelsen at lysningsintensiteten forandres sakte og at overflateegenskapene, som representeres av reflektansen, endres hurtig, kan lysintensiteten fremheves ved hjelp av lavpassfiltrering og overflateegenskapene fremheves ved hjelp av høypass-

filtrering av de log-transformerte verdier.

Ved å multiplisere det lavpassfiltrerte signal, LP F, med en faktor kL som er mindre enn 1, og det høypassfiltrerte signal, HPF, med en faktor kH som er større enn 1, fremheves overflateegenskapene på bekostmg av lysintensiteten.

Log<*->funksjonen og en exp<*->funsjon: exp<*>{log<*>[x]}= x, kartlegger området 0-255 over i 0-255 omtrentlige, respektive logaritmiske og eksponentielle funksjoner, se fig. 2. 0-255 er valgt fordi dette området kan representeres av en enkel byte som er den vanligste bilderepresentasjonen.

Andre kjente fremgangsmåter kan i nødvendig grad anvendes for ytterligere signalbe-handling i tillegg til median og homomorfisk filtrering. Extensible Markup Language XML har vist seg hensiktsmessig for sammenbygging av ulike filterkomponenter.

For bildeavvik har en vektet n-norm på piksel for piksel differanse mellom den foredlede, beregnede posisjon og den foredlede, aktuelle posisjon vist seg hensiktsmessig. Den homomorfike filtreringen modererer uønskede utseendeendringer forårsaket av belysning. Dette er endringer det ikke tas hensyn til. Det er ikke ønskelig ved filtrering å introdusere kunstige endringer mellom det beregnede og det reelle bildet. Filtreringen blir derfor foretatt før bildene sammenlignes.

Avviksberegnmger utføres som tidligere nevnt over ulike områder av utstyret. To-normmetoden (summen av kvadrater) har vist seg å være hensiktsmessig for å opp-dage differanser, men andre kjente metoder, for eksempel sum av absolutte prixsel-differanser eller sum av fjerde potens av differansene, kan fungere tilfredsstillende.

Kalibrering av den beregnede posisjon og den reelle posisjon utgjør en del av fremgangsmåten. Selectins "Refined Type, Pose, Geometry"(RTPG)-prosessor anvendes for å bestemme hvordan en best kan bestemme avvik mellom beregnet posisjon og aktuell posisjon. RTPG benytter DAK-modeller for maskinen 1, manipulatoren 4 og rommet 10 sammen med aktuelle posisjonsdata for gjentagende å avgi og deretter endre bil-deinformasjonen for best å passe med de omvandlede data fra de kontaktløse givere.

Claims (7)

1. Fremgangsmåte for å sikre drift av automatisk eller autonomt utstyr hvor utstyret omfatter en komponent (8) som forskyves i rommet (10), og hvor fremgangsmåten omfatter: - å beregne komponentens (8) posisjon i rommet (10) ved hjelp av data fra komponentens styresystem (6),karakterisert vedat fremgangsmåten videre omfatter: - å kontaktløst måle komponentens (8) reelle posisjon; og - å beregne et avvik mellom den beregnede posisjon og den reelle posisjon.

2. Fremgangsmåte i henhold til krav 1,karakterisert vedat fremgangsmåten videre omfatter å filtrere data for den beregnede posisjon og data for den reelle posisjon på samme måte før avviket beregnes.

3. Fremgangsmåte i henhold til krav 1,karakterisert vedat fremgangsmåten videre omfatter å avgi et varsel når avviket overstiger en forutbestemt verdi.

4. Fremgangsmåte i henhold til krav 1,karakterisert vedat fremgangsmåten videre omfatter - å vise et bilde (22) av komponenten (8) basert på den beregnede posisjon (beregnet bilde); - å vise et bilde (24) av komponenten (8) basert på den målte posisjon (målt bilde).

5. Fremgangsmåte i henhold til krav 3,karakterisert vedat fremgangsmåten videre omfatter - å vise det målte bildet (24) overlagt det beregnede bildet (22).

6. Anordning ved bearbeidingsenhet for automatisk eller autonomt utstyr hvor utstyret omfatter en komponent som forskyves i rommet og hvor en maskin (1) og manipulator (4) styres via et styresystem (6) som er innrettet til å kunne avgi et signal som omfatter beregnet posisjon til en komponent (8) i rommet (10), og hvor en kontaktløs giver (12) er innrettet til å kunne avgi et signal som omfatter en reell posisjon for komponenten (8) i rommet (10),karakterisert vedat signalene fra styresystemet (6) og fra den kontaktløse giver (12) blir konvertert i henholdsvis en foredlingsmodul for beregnet posisjon (16) og en foredlingsmodul for reell posisjon (18), til sammenlignbar bildeinformasjon.

7. Anordning i henhold til krav 5,karakterisert vedat den sammenlignbare bildeinformasjon fra foredlingsmodulen for beregnet posisjon (16) og foredlingsmodulen for reell posisjon (18) er sammenlignet i en avviksmodul (20), idet avviksmodulen (20) er innrettet til å kunne avgi varsel dersom avviket er større enn en forutbestemt verdi.