NO336454B1

NO336454B1 - Anordning, system og fremgangsmåte for identifisering av objekter i et digitalt bilde, samt transponderanordning

Info

Publication number: NO336454B1
Application number: NO20120982A
Authority: NO
Inventors: Bengt Holter; Erik Johannesen; Bård Myhre
Original assignee: Id Tag Technology Group As
Priority date: 2012-08-31
Filing date: 2012-08-31
Publication date: 2015-08-24
Also published as: RU2656576C2; RU2015111574A; EP2890953A4; US9626539B2; JP2015529921A; PL2890953T3; WO2014035257A1; EP2890953A1; HK1213317A1; EP3879473B1; ES2873518T3; EP3879473A1; US20150235064A1; WO2014035257A9; LT2890953T; KR102144141B1; EP2890953B1; JP6411348B2; NO20120982A1; KR20150079563A

Abstract

Anordning for identifisering av minst ett objekt i et digitalt bilde som registreres med en digital bilderegistreringsanordning, der det minst ene objekt er utstyrt med en trådløs ID-brikke, der anordningen omfatter minst en sensor for registrering av et trådløst signal fra den trådløse ID-brikken til det minst ene objekt samt for registrering av minst én retning til den trådløse ID-brikken til det minst ene objekt, og der det trådløse signal omfatter informasjon for identifisering av det minst ene objekt. Det beskrives også en fremgangsmåte for identifisering av minst ett objekt i et digitalt bilde, der hvert av det minst ene objekt er utstyrt med en trådløs ID-brikke.

Description

INNLEDNING

Den foreliggende oppfinnelse angår en anordning, et system, og en fremgangsmåte for identifisering av objekter i et digitalt bilde.

BAKGRUNN

Sosiale medier på internett har de senere årene bidratt til å endre måten folk kommuniserer på. Stadig økende kapasitet og tilstedeværelse av trådløse nett har i tillegg bidratt til at det nå er mulig å kommunisere via sosiale medier tilnærmet uansett hvor man måtte befinne seg. Dette har ført til at folk i stadig økende grad benytter sosiale nettverk til å formidle og utveksle informasjon om hva man gjør eller er med på. Dette formidles enten i form av tekst, bilde, video, eller en kombi-nasjon av disse. Denne måten å kommunisere på brer om seg i samfunnet og er blitt enormt populær på verdensbasis. En spesiell anvendelse av denne teknologien er det å kunne finne igjen seg selv eller andre i bilder som deles med venner i et sosialt nettverk. Å synliggjøre seg selv på denne måten illustrerer et behov eller et ønske om å vise at man er med på noe, enten alene eller sammen med andre. I dag må man imidlertid identifisere seg selv eller andre i et bilde manuelt eller ved bildegjenkjenning. Til dette benyttes en tag. I tillegg til betydningen elektronisk merkelapp benyttes begrepet tag også i sosiale nettverk på internett om det å finne igjen eller publisere informasjon i lister/bilder. På Facebook benyttes det oftest om det å identifisere eller referere til personer i et bilde.

US2007/028499 A1 beskriver en løsning der en mobiltelefon med kamera eller et digitalt kamera/videokamera er utstyrt med en RFID-leser. En RFID transponder-tag er plassert på et punkt av interesse, for eksempel et historisk monument. Taggen har lagret data om det historiske monumentet som sendes til RFID-leseren på kameraet. En bruker av kameraet kan da ta bilde av og også motta informasjon om monumentet. Multimediafilen vil da bli tagget, og den forbedrede multimediafilen kan da kunne inneholde informasjonen som ble lest av RFID-leseren om monumentet sammen med bildet, som senere kan oppleves lokalt av brukeren. Taggingen kan suppleres med generert tid/dato eller en GPS-posisjon fra mobilen.

US 2010/0103173 A1 angår en fremgangsmåte for å spore et objekt i et bilde, der objektets posisjon i 3D-rommet bestemmes. En RF-tag, (for eksempel RFID) er festet til objektet. Systemet benytter trilaterasjon og et eksternt posisjonerings-apparat må være anbrakt i nærheten av objektet for å motta signalene fra RF-taggen. Trilaterasjon krever at det må plasseres ut tre (eller flere) sender/mottaker enheter som omgir ID-brikkene som skal posisjoneres. Ved hjelp av å måle tiden som et signal benytter fra en ID-brikke til tre ulike punkt i rommet kan man triangu-lere seg frem til det punktet i rommet hvor signalet må komme fra og dermed gjøre det mulig å bestemme ID-brikkenes posisjon.

US 2009/303006 A1 angår deteksjon og retningsbestemmelse av en RFID brikke basert på at brikken er i bevegelse og at den beveger seg langs en kjent og ens-rettet bane (dvs. den beveger seg kun i en bestemt retning). Løsningen er basert på å detektere gradienten til fasen av det mottatte signalet, fordi gradienten vil ha en skarp nullgjennomgang i det en RFID brikke passerer rett foran RFID leseren. Løsningen finner (eller estimere) det punktet der gradienten til fasen har en nullgjennomgang, dvs. gradienten til den målte fasen går fra en positiv til en negativ verdi. I US 2009/303006 A1 liggeren slik deteksjon til grunn forfasedeteksjon ved hjelp av det man kaller en fase gradient null estimator. Faseforskjellen fremkommer derfor ved direkte analyse av den målte fasegangen og dens gradient til det mottatte signalet. Faseforskjellen kan bestemmes av signalet mottatt av en antenne.

Hislop, D. Lekime, M. Drouguet, and C. Craeye, "A prototype 2D direction finding system with passive RFID tags," in Proe. European Conference on Antennas and Propagation, April 2010, Barcelona, Spain, angår et system for å gjenfinne passive RFID brikker langs en korridor inne i en lagerhall. Et digitalt kamera er plassert i midten av en oppstilling av antenner. Kamera med antenner er plassert i en fast posisjon i et varehus med kjente mål. Lokaliseringen til den passive RFID-tagen vil registreres og kunne markeres på et bilde. Systemet er ikke utviklet til å løse det behovet som foreliggende oppfinnelse har fokus på, i og med at man baserer seg på dedikerte lesere som hverken er allemannseie eller som er av praktisk størrelse. Systemet er også utviklet for å finne igjen ting der man vet hva man leter etter. Systemet gir en bekreftelse på at varen er til stede og hvor den befinner seg.

En alternativ trådløs posisjonsteknologi er GPS. Den kan anvendes til å gi innfor-masjon om hvor et bilde er tatt (geografisk posisjon), men alene gir den ingen informasjon om hva eller hvem som er i bildet.

SAMMENFATNING AV OPPFINNELSEN

Oppfinnelsen søker å tilveiebringe løsning på problemene beskrevet over. Oppfinnelsen er definert i de vedføyde patentkravene.

I et første aspekt tilveiebringer oppfinnelsen en anordning for identifisering av minst ett objekt i et digitalt bilde som registreres med en digital bilderegistreringsanordning, der det minst ene objekt er utstyrt med en trådløs ID-brikke, der anordningen omfatter minst en sensor for registrering av et trådløst signal fra den trådløse ID-brikken til det minst ene objekt samt for registrering av minst én retning til den trådløse ID-brikken til det minst ene objekt, der retningen til det minst ene objekt estimeres basert på faseforskjell mellom registreringene av det trådløse signal av de minst to sensorer, og der det trådløse signal omfatter informasjon for identifisering av det minst ene objekt.

Det minst ene objekt kan følgelig både identifiseres og posisjonen til det minst ene objekt kan bestemmes i bildet.

Registreringen av den minst ene retning til den trådløse ID-brikken til det minst ene objekt kan omfatte direkte retningsestimering av signalet mottatt fra ID-brikken. Anordningen kan videre omfatte en prosessoranordning innrettet for prosessering av den registrerte identifiseringsinformasjonen fra den trådløse ID-brikken og den registrerte retningen til den trådløse ID-brikken sammen med digitale bildedata for det digitale bildet registrert med den digitale bilderegistreringsanordningen.

Registreringen og prosesseringen kan utføres i sanntid. Den digitale bilderegistreringsanordningen kan være utstyrt med minst én sender for utsendelse av et tråd-løst signal til den minst ene trådløse ID-brikken. Sensoren for registrering av det trådløse signal kan videre være anordnet i bilderegistreringssensoren til bilderegistreringsanordningen i terminalen. (I CMOS-brikken).

I en utførelsesform kan den trådløse ID-brikken være en RFID-brikke og sensoren for registrering av det trådløse signal kan være en RFID-leser med minst to an-tetenner. Anordningen kan være utstyrt med en matrise av RFID-antenner. RFID-brikken kan være en aktiv RFID-brikke eller en passiv RFID-brikke. RFID-brikken kan være anordnet i et deksel på en terminal, i en klokke, et smykke, i en armlenke eller i et ID-kort.

Anordningen kan videre være integrert i en terminal. Terminalen kan videre omfatte en fremvisningsanordning for fremvisning av et bilde registrert med den digitale bilderegistreringsanordning. Terminalen kan være én av en mobiltelefon, et digitalkamera, et digitalt film/videokamera, en PC eller et nettbrett.

Alternativt kan anordningen være innrettet for montering på én av en mobiltelefon, et digitalkamera, et digitalt film/videokamera, en PC eller et nettbrett. Anordningen kan da være utformet som et deksel.

Den digitale bilderegistreringsanordningen kan være et digitalt kamera eller et digitalt film/videokamera. Objektet kan være bygninger, gjenstander, personer eller dyr. Informasjonen kan være minst en av tekst, lyd, video, navn, adresse, e-post eller referanse til informasjon lagret på internett.

I et tredje aspekt tilveiebringer oppfinnelsen en fremgangsmåte for identifisering av minst ett objekt i et digitalt bilde, der hvert av det minst ene objekt er utstyrt med en trådløs ID-brikke, idet fremgangsmåten omfatter:

- registrering av det digitale bildet med en digital bilderegistreringsanordning; og

- registrering, av minst to sensorer, av et trådløst signal fra den trådløse ID-brikken anordnet i tilknytning til det minst ene objekt og registrering av minst én retning til den trådløse ID-brikken til det minst ene objektet, der retningen til det minst ene objekt estimeres basert på faseforskjell mellom registreringene av det trådløse signal av de minst to sensorer, og der det trådløse signal omfatter informasjon for identifisering av det minst ene objektet.

Registreringen av minst én retning til den trådløse ID-brikken til det minst ene objekt kan omfatte direkte retningsestimering av signalet mottatt fra den trådløse ID-brikken. Registreringen av det trådløse signal fra den trådløse ID-brikken kan videre omfatte deteksjon av elektromagnetiske signaler mottatt av minst to sensorer anordnet på terminalen. Registreringen av det trådløse signal fra den trådløse ID-brikken kan videre omfatte deteksjon av synlig lys eller IR lys i en bildebrikke eller hovedsensor i den digitale bilderegistreringsanordningen. Registreringen av det trådløse signal fra den trådløse ID-brikken kan videre omfatte deteksjon av akustiske lydbølger mottatt av minst to sensorer. Registreringen og prosesseringen kan utføres i sanntid. Prosessering av identifiserings- og retningsinformasjon kan videre omfatter posisjonsbestemmelse av den trådløse ID-brikken.

Fremgangsmåten kan videre omfattende prosessering av den registrerte identifiseringsinformasjonen fra den trådløse ID-brikken og den registrerte retningen til den trådløse ID-brikken med de digitale bildedata fra den digitale bilderegistreringsanordningen. Det digitale bildet kan fremvises på en fremvisningsanordning på terminalen sammen med informasjon tilknyttet hvert enkelt av det minst ene objekt. Fremvisningen kan utføres i sanntid.

Det digitale bildet kan lagres på en lagringsanordning sammen med informasjon tilknyttet hvert enkelt av det minst ene objekt.

I et fjerde aspekt tilveiebringer oppfinnelsen et dataprogram lagret på et datamaskinlesbart medium omfattende datamaskinlesbar programkode for utførelse av fremgangsmåten for identifisering av minst ett objekt i et digitalt bilde som beskrevet over.

I et femte aspekt tilveiebringer oppfinnelsen en trådløs transponderanordning innrettet til bruk for identifisering av minst ett objekt i et digitalt bilde, der den trådløse transponderanordningen er anordnet i tilknytning til det minst ene objekt og der identifiseringen av det minst ene objekt utføres ved registrering av et trådløst signal fra den trådløse transponderanordningen der det trådløse signal omfatter informasjon for identifisering av det minst ene objektet, samt ved registrering av minst én retning til den trådløse transponderanordningen tilknyttet det minst ene objektet, der registreringen av det trådløse signal og registreringen av retningen utføres idet transponderanordningen omfatter: - en lagringsanordning for lagring av informasjon for identifisering av det minst ene objektet; - en sender for utsendelse av et trådløst signal der det trådløse signal omfatter den lagrede informasjon for identifisering av det minst ene objektet. Transponderanordningen kan være en RFID-brikke.

I et ytterligere aspekt tilveiebringer oppfinnelsen et system for identifisering av minst ett objekt i et digitalt bilde, der systemet omfatter minst én trådløs transponderanordning som angitt over, samt en anordning for identifisering av minst ett objekt i et digitalt bilde som registreres med en digital bilderegistreringsanordning, der det minst ene objekt er utstyrt med en trådløs transponderanordning, idet anordningen omfatter minst en sensor for registrering av et trådløst signal fra den trådløse transponderanordningen til det minst ene objekt samt for registrering av minst én retning til den trådløse transponderanordningen til det minst ene objekt, og der retningen til det minst ene objekt bestemmes basert på faseforskjell mellom registreringene av det trådløse signal av de minst to sensorer, og der det trådløse signal omfatter informasjon for identifisering av det minst ene objekt. Registreringen av minst én retning til den trådløse transponderanordningen til det minst ene objekt kan videre omfatte direkte retningsestimering av signalet mottatt fra ID-brikken. En prosessoranordning er innrettet for prosessering av den registrerte identifiseringsinformasjonen fra den trådløse ID-brikken og den registrerte retningen til den trådløse ID-brikken sammen med digitale bildedata for det digitale bildet registrert med den digitale bilderegistreringsanordningen.

Den foreliggende oppfinnelse kan anvendes for å få informasjon om objekter som er i et bilde, samt hvor i bildet objektene befinner seg. Denne informasjonen kan fås automatisk og i sanntid.

RFID-teknologien gjør det mulig å registrere et objekt selv om leseren ikke har fri sikt til den trådløse ID-brikken. RFID-teknologien benyttes tradisjonelt kun til å detektere om et objekt er tilstede eller ikke, ikke hvor objektet faktisk befinner seg i forhold til leserens posisjon.

Den foreliggende oppfinnelse benytter direkte retningsestimering av signalet mottatt fra ID-brikken (angle-of-arrival deteksjon). Direkte retningsestimering krever ikke utplassering av eksterne sender/mottaker-enheter som omgir ID-brikken for å finne dens posisjon slik som i US 2010/0102173 A1. I den foreliggende oppfinnelsen kan derfor alt sender/mottaker-utstyr plasseres i samme enhet som selve kameraet.

Med den foreliggende oppfinnelse kan en bruker av et digitalt kamera/filmkamera eller terminal med digital kamera (terminalen kan for eksempel være en mobiltelefon, et digitalkamera, et digitalt film/videokamera, en PC eller et nettbrett) hvor som helst ta et digitalt fotografisk bilde i sanntid og få informasjon direkte og i sanntid i det digitale bildet som unikt identifiserer hvert objekt i bildet som er utstyrt med en trådløs ID-brikke. Oppfinnelsen vil gjøre interaktiv avbildning personlig og mer tilgjengelig for folk flest.

Dagens kjente løsninger krever at informasjonen som skal innlemmes i bildet er kjent på forhånd. Med den foreliggende oppfinnelse er det de trådløse ID-brikkene i seg selv som på et øyeblikk tilveiebringer informasjonen i bildet.

KORT BESKRVELSE AV TEGNINGENE

Eksempler på utførelsesformer av oppfinnelsen vil nå bli beskrevet med referanse til tegningene, der

Figur 1 viser en terminal med digitalt kamera og sensor for lesing av trådløse ID-brikker i henhold til en utførelsesform av oppfinnelsen; Figur 2 viser en terminal med digitalt kamera og leser av trådløs ID-brikke, der leseren omfatter to sensorer anordnet enten (a) horisontalt eller (b) vertikalt, i henhold til en utførelsesform av oppfinnelsen. Figur 3 viser en terminal med digitalt kamera og leser av trådløs ID-brikke, der leseren omfatter tre sensorer i henhold til en utførelsesform av oppfinnelsen; Figur 4 viseren terminal med digitalt kamera og leser for trådløs ID-brikke, der leseren omfatter fire sensorer distribuert som en 2 x 2 matrise i henhold til en utførelsesform av oppfinnelsen. Figur 5 viser en terminal med digitalt kamera og leser for trådløs ID-brikke, der leseren omfatter åtte sensorer distribuert som en 2 x 4 matrise i henhold til en utførelsesform av oppfinnelsen. Figur 6 viser en utførelsesform, oppfinnelsen monteres som et deksel til den mobile terminalen. Figur 7 illustrerer bruk av terminalen i henhold til oppfinnelsen til identifisering av personer; Figur 8 illustrerer bruk av terminalen i henhold til oppfinnelsen til identifisering av produkter; Figur 9 illustrerer bruk av terminalen i henhold til oppfinnelsen til identifisering av produkt; Figur 10 illustrerer bruk av terminalen i henhold til oppfinnelsen til identifisering av bygning; og Figur 11 er et eksempel på en anvendelse av foreliggende oppfinnelse.

DETALJERT BESKRIVELSE

Oppfinnelsen vedrører identifisering av merkede objekter (personer eller produkter) i et digitalt bilde. Oppfinnelsen gir informasjon om hva eller hvem som er i bildet, samt hvor i bildet de merkede objektene befinner seg. Objektenes posisjon kan bestemmes. Det digitale bildet kan fremvises på skjermen til en terminal. Informasjonen kan gis i sanntid.

En terminal 3 med en digital bilderegistreringsanordning 1 og sensor 2 for lesing av en trådløs ID-brikke er vist i figur 1. Den digitale bilderegistreringsanordningen kan være et digitalt kamera, et digitalt filmkamera eller et digitalt film/videokamera. Terminal kan for eksempel være en mobil terminal, en håndholdt terminal, en stasjonær terminal, en mobiltelefon, et digitalt kamera, et digitalt film/video-kamera, en PC eller et nettbrett. Det digitale bildet kan være et digitalt fotografisk bilde eller en digital film.

Objektene som skal detekteres er merket med en identifikasjonsbrikke (trådløs ID-brikke). En slik trådløs ID-brikke omtales vanligvis som en "tag". Den trådløse ID-brikken ("tag") kan kommunisere trådløst med sensoren 2 i terminalen 3 som kan ta digitale bilder. Den trådløse ID-brikken sender ut et trådløst signal med informasjon for identifisering av objektet som den trådløse ID-brikken er festet til. Det tråd-løse signal benyttes også av sensoren for registrering av minst én retning til den trådløse ID-brikken. Når terminalen benyttes for å registrere objektene som befinner seg innenfor synsfeltet til den digitale bilderegistreringsanordningen 1, vil sensoren 2 lese de trådløse signalene fra de trådløse ID-brikkene. Informasjonen i de trådløse signalene fra hver trådløs ID-brikke vil registreres og videre prosesseres i en prosessoranordning for kombinering av identifiserings- og retningsinformasjon fra de trådløse ID-brikkene med digitale bildedata fra det digitale kamera. Det digitale bildet fremvises på en fremvisningsanordning på terminalen sammen med informasjon tilknyttet hvert enkelt av de merkede objektene i bildet. Kombineringen av de digitale bildedata med informasjonen fra de registrerte trådløse signalene, og fremvisning av det resulterende bildet med informasjon tilknyttet de merkede objektene kan gjøres i sanntid.

De trådløse ID-brikkene kan være basert på utsendelse av elektromagnetiske signaler, synlig lys eller infrarødt lys (IR), eller akustiske lydbølger. Sensorene er innrettet for mottak av disse signalene. Sensorene kan da følgelig være RFID-lesere, eller utgjøres av bildebrikken eller hovedsensoren i et digitalt kamera, eller være mikrofoner anordnet på terminalen.

Det kan tenkes utførelsesformer med trådløse ID-brikker som sender kontinuerlig, sender i intervaller eller sender intermittent, eller trådløse ID-brikker som krever trigging av spørrepuls.

I et eksempel på en utførelsesform av oppfinnelsen som registrerer ID-brikker som sender kontinuerlig eller i intervaller vil sensorer registrere i hvilken retning signaler fra de ulike trådløse ID-brikkene kommer fra når kameraet i en mobiltelefon/kamera/nettbrett benyttes til å ta et bilde. Informasjonen som er lagt inn på de trådløse ID-brikkene registreres også av sensorene. Informasjon og posisjon fra hver trådløs ID-brikke som befinner seg innenfor kameralinsens område, vil så kombineres og presenteres samtidig i det fotografiske bildet. Hvert objekt i bildet som er utstyrt med en trådløs ID-brikke vil følgelig identifiseres i det fotografiske bildet. Dette kan gjøres i kameraet enten automatisk eller ved å slå på en applikasjon, eller ved å legge bildet over på en PC.

I et annet eksempel på en utførelsesform som registrerer ID-brikker innrettet til å trigges av en spørrepuls, vil en sender på den mobile terminalen sende ut et signal som kan registreres av de trådløse ID-brikkene som befinner seg innenfor et område som tilsvarer det som eksponeres av kameraets optiske linse, når kameraet i en slik utførelsesform mobiltelefon/kamera/nettbrett benyttes til å ta et bilde. De trådløse ID-brikkene som er innenfor senderens rekkevidde vil svare med å sende tilbake informasjonen som er lagt inn på de trådløse ID-brikkene. Informasjonen registreres i kameraet. Sensorer registrerer i hvilken retning signalene fra de ulike trådløse ID-brikkene kommer fra. Informasjon og posisjon fra hver trådløs ID-brikke som befinner seg innenfor kameralinsens område, vil så kombineres og presenteres samtidig i det fotografiske bildet. Hvert objekt i bildet som er utstyrt med en trådløs ID-brikke vil følgelig identifiseres i det fotografiske bildet. Dette kan gjøres i kameraet enten automatisk eller ved å slå på en applikasjon, eller ved å legge bildet over på en PC.

Utførelsesformer av oppfinnelsen med både sender og mottaker på terminalen kan innrettes til å registrere alle typer trådløse ID-brikker. Når

mobiltelefon/kamera/nettbrett benyttes til å ta et bilde, kan sender og sensorer aktiveres på en slik måte at trådløse ID-brikker som befinner seg innenfor kameralinsens område registreres.

Oppfinnelsen vil med dette gjøre det mulig å registrere hva eller hvem som er i bildet, samt hvor i bildet de ulike trådløse ID-brikkene befinner seg. Med posisjon menes her at man finner posisjonen til identifiserte objekter i bildet, der posisjonen i dette tilfellet ikke er en geografisk posisjon (som i en GPS koordinat) men en relativ posisjon av et objekt innenfor rammen av et bilde. Det kan benyttes direkte retningsestimering av signalet mottatt fra ID-brikken (angle-of arrival deteksjon) for å finne posisjonen til ID-brikken.

Foren person kan den trådløse ID-brikken foreksempel inneholde personens navn og e-post adresse, mens for et produkt kan den inneholde produktinforma-sjon og en internettadresse til produktets produsent. Som forklart over kan terminalen for eksempel være en mobil terminal, en håndholdt terminal, en stasjonær terminal, en mobiltelefon, et digitalt kamera, et digitalt film/video-kamera, en PC eller et nettbrett. I den videre beskrivelsen av eksempler på utførelsesformer av oppfinnelsen er terminalen i figurene eksemplifisert i form av en mobiltelefon. De etterfølgende eksempler er derfor ikke ment å være begrensende for oppfinnelsen.

Utførelseseksempel - RFID-teknologi

En utførelsesform omfatter kombinasjonen av:

1. Trådløs posisjonsteknologi

- trådløs deteksjon av trådløse ID-brikker (RFID-teknologi; RFID (Radio Frequency IDentification))

2. Digital fototeknologi

- presentasjon av posisjon og informasjon til trådløse ID-brikker i et digitalt bilde

RFID-teknologi baserer seg på trådløs elektromagnetisk transmisjon av data. Den trådløse ID-brikken som festes til objektene som skal kunne detekteres kalles da for en RFID-brikke (eller en tag), mens sender/mottaker-enheten som leser innfor-masjonen på RFID-brikkene kalles en RFID leser. Den mobile terminalen med digitalt kamera som benyttes for å detektere RFID-brikker i et bilde er utstyrt med en RFID leser. Tradisjonelt benyttes kun én antenne i RFID-lesere, fordi det kun er ønskelig (og nødvendig) å detektere om en RFID-brikke er tilstede eller ikke. Dersom man ønsker å finne retningen til signalet fra RFID-brikken er det imidlertid nødvendig å benytte minimum to antenner for å motta signalet. Signalene fra RFID-brikken vil da mottas til ulik tid på de ulike antennene i leseren, og tidsfor-skjellen kan omregnes til en faseforskjell i frekvens, noe som igjen gir muligheten til å beregne vinkelen til signalet når man kjenner signalets frekvens. På den måten er det mulig å ikke bare detektere om en RFID-brikke er tilstede eller ikke, men også hvor brikken befinner seg i forhold til RFID-leseren. Jo flere antenner som benyttes i RFID-leseren, jo mer nøyaktig vinkeloppløsning er det mulig å oppnå. Konseptet kan dermed realiseres gjennom å plassere en matrise av antenner på et digitalkamera (eller på en mobiltelefon/nettbrett med kamera). Figur 2 viser en utførelsesform av en terminal 3 med et digitalt kamera 1 og leser av trådløs ID-brikke 2, der leseren omfatter to sensorer distribuert enten (a) horisontalt eller (b) vertikalt. To sensorer i leseren gir mulighet for retningsbestemmelse av de trådløse signalene fra de trådløse ID-brikkene i det planet de trådløse signalene er distribuert. Utførelsesformen i figur 2 gir følgelig mulighet for å estimere retningen til en trådløs ID-brikke i henholdsvis horisontalplanet (a) eller vertikalplanet (b). (Vinkelen til den trådløse ID-brikken i vertikalplanet vil være lik null ved horisontal distribusjon av sensorer. Vinkelen til den trådløse ID-brikken i horisontalplanet vil være lik null ved vertikal distribusjon av sensorer.) Vinkelen til de trådløse ID-brikker som ikke befinner seg i de gitte plan vil være lik vinkelen til de trådløse ID-brikkenes projeksjon ned i enten horisontalplanet eller vertikalplanet. For å kunne estimere retningen til en trådløs ID-brikke både horisontalt og vertikalt er to eller flere sensorer anordnet både horisontalt og vertikalt. Figur 3 viser en utførelse av en terminal 3 med digitalt kamera 1 og leser av tråd-løs ID-brikke 2, der leseren omfatter tre sensorer. De tre sensorene er anordnet slik at de gir mulighet for retningsbestemmelse av de trådløse signaler fra de trådløse ID-brikker både horisontalt og vertikalt. Figur 4 viser en utførelse av en terminal 3 med digitalt kamera 1 og leser 2 for trådløs ID-brikke, der leseren omfatter fire sensorer distribuert som en 2 x 2 matrise. De fire sensorene er anordnet slik at de gir mulighet for retningsbestemmelse av de trådløse signaler fra de trådløse ID-brikker både horisontalt og vertikalt. Figur 5 viser en utførelse av en terminal 3 med digitalt kamera 1 og leser 2 for trådløs ID-brikke, der leseren omfatter åtte sensorer distribuert som en 2 x 4 mat-

rise. De fire sensorene er anordnet slik at de gir mulighet for retningsbestemmelse av de trådløse signaler fra de trådløse ID-brikker både horisontalt og vertikalt.

I Figur 2 roteres terminalen 3 slik at antennene ligger i det planet man ønsker å estimere retningen. I Figur 2(a) ligger antennen i horisontalplanet. Dersom det er ønskelig å estimere retningen i vertikalplanet ved bruk av antennen i Figur 2(a), roteres terminalen 3 i Figur 2(a) 90 grader slik at antennen ligger i vertikalplanet. I Figur 2(b) ligger antennen i vertikalplanet. Dersom det er ønskelig å estimere retningen i horisontalplanet ved bruk av antennen i Figur 2(b), roteres terminalen 3 1 Figur 2(b) 90 grader slik at antennen ligger i horisontalplanet. Med utførelses-formene i Figur 3 og 4 oppnås fordelen av at man slipper å rotere terminalen 90 grader, siden uansett hvordan man holder terminalen 3 vil det være minimum 2 antenner anordnet i enten horisontalplanet eller vertikalplanet. Forskjellen mellom Figur 3 og Figur 4 er kun for å illustrere hvordan antennene kan plasseres dersom man har henholdsvis 3 eller 4 antenner.

Hvor mange sensorer som kan plasseres på en terminal er avhengig av terminalens størrelse. Typiske størrelser på dagens kameraer tilsier at det vil være plass til en enkelt resonant patchantenne på 5,8 GHz. På baksiden av dagens mobiltele-foner kan det plasseres opptil 8 antenner dersom det benyttes resonante patch-antenner på 5,8 GHz. Ved plassering av slike antenner på dagens nettbrett er det mulig å få plass til 54 antenner. Sensoren for registrering av det trådløse signal kan også være anordnet i bilderegistreringssensoren til bilderegistreringsanordningen i terminalen. I et digitalt kamera kan sensoren være integrert i selve CMOS-brikken som registrerer det digitale bildet.

Figur 6 viser en utførelsesform som illustrerer muligheten av å utføre oppfinnelsen i form av et eget deksel 5 som inneholder antenne og evt. ekstra elektronikk. Dette gir mulighet for at oppfinnelsen også kan være en ekstern enhet som kan være til-leggsutstyr som enkelt kan monteres på den mobile terminalen 3 med digitalt

kamera. Beskrivelsen av de ulike konfigurasjonene av leser med antenner som forklart over i tilknytning til figurene 1-5, vil også være aktuelle utførelsesformer for antennene på den eksterne enheten.

Bestemmelse av retningen til en trådløs RFID-brikke

Retningsdirektiviteten til en antenne er proporsjonal med dens effektive areal, A. Dette betyr at antennens fysiske størrelse har innvirkning på hovedlobens bredde. Vinkeloppløsningen kan dermed økes ved å øke antennens fysiske størrelse. I enkelte tilfeller er imidlertid dette upraktisk eller lite ønskelig å gjøre. Et eksempel er antenner anvendt i mobile terminaler. De er typisk av begrenset størrelse fordi terminalene er relativt små, og det er lite ønskelig å øke antennenes fysiske stør-relse selv om dette kan bidra til å øke ytelsen. En liten antenne tilsier imidlertid at dens hovedlobe er bred, noe som tilsvarer redusert eller lav retningsdirektivitet. I slike tilfeller vil det ikke være mulig å skille mellom retningene til multiple signaler dersom signalene mottas innenfor antennens hovedlobe. Det er imidlertid mulig å oppnå høyere vinkeloppløsning ved å benytte en gruppeantenne (sammenstilling av flere enkeltantenner) og estimere retningen til mottatte signaler gjennom å an-vende signalbehandling basert på lineær algebra. Denne signalprosesserings-teknikken kalles "subspace", siden den er basert på å generere korrelasjons-matrise av de mottatte signalene og deretter dele denne matrisen matematisk inn i to underrom (subspaces) kalt signalrom og støyrom. Estimering av retningen til hvert enkelt signal foregår da ved å finne retninger i rommet der signalrommet står ortogonalt på støyrommet. Retningene i rommet der dette inntreffer tilsvarer de estimerte retningene for de innfallende signalene.

Beregningen av retningen kan i en utførelsesform gjøres med en algoritme kalt MUSIC. Denne algoritmen er beskrevet i: Shubair et al. "A setup for the Evaluation of MUSIC and LMS Algorithms for a Smart Antenna System"; Journal of Communications, Vol. 2, No.4, June 2007, som herved innarbeides som referanse i sin helhet.

Det normaliserte angulære spektrum for MUSIC-algoritmen er definert som:

der A er en signalmatrise definert som A = [aCø^,a(ø2), ...,a(øM)], (-)Her en hermit-tisk operator (transponert og komplekst konjugert), og a(øm) er en styringsvektor som representerer gruppeantennens respons i retningen øm. Styringsvektoren er definert som a(øm) = (yc71-1^™]7 for i < n < N, der Q7 er en transponert operator og /?m representer elektrisk faseskift mellom to sideliggende antenner i gruppe-antennen. vner en matrise som består av egenvektorer til støyen og som ideelt sett skal være ortogonale til vektorene i A i retningen til de mottatte signalene. SidenP(ø) består av indreprodukt mellom vnog A i nevneren betyr det atP(ø)har maksimum når A og vnstår ortogonalt på hverandre. De mottatte signalene kommer fra retninger i rommet der dette inntreffer.

RFID-brikkene

RFID-brikkene kan enten være passive eller aktive. Forskjellen mellom passive og aktive brikker er at passive RFID-brikker ikke har noe internt batteri for å sende informasjon, i motsetning til aktive brikker som har internt batteri. Passive brikker trekker på energien fra RFID-leseren og sender tilbake informasjon til leseren ved å modulere sitt eget radartverrsnitt. Dette fører til at rekkevidden for passive brikker er relativt liten. Aktive brikker derimot er ikke avhengig av energien fra leseren for å sende informasjon. Energien fra leseren fungerer i dette tilfellet som et signal om at RFID-brikken skal våkne fra en strømsparemodus og svare med å sende tilbake informasjon. Aktive brikker benytter da sitt eget interne batteri til å gjøre dette. Dette gjør det mulig å realisere en langt større rekkevidde enn med passive brikker. I tillegg er det mulig å slå RFID-brikkene av og på. Det vil si, det er mulig å slå de av (inaktiv) dersom man ikke vil bli identifisert, f.eks. av personvernhensyn. RFID-brikken kan være et deksel på en mobil, en klokke, armlenke, eller ID-kort. I enkelte tilfeller kan det være ønskelig å benytte en RFID-brikke som et synlig sym-bol for å vise at man støtter noe, for eksempel slik som med Lance Armstrong sin gule armlenke, som synliggjorde at man støttet kreft-aksjonen.

Anvendelser - eksempler

Deteksjon av trådløs ID-brikke med talemelding for blinde/svaksynte Systemet kan også utstyres med en tilleggsopsjon for blinde/svaksynte om å få avspilt en talemelding. Tilsvarende funksjonalitet eksisterer mer eller mindre allerede gjennom dedikerte håndholdte enheter man kan få utdelt på museer og severdigheter. Slike enheter inneholder informasjon om det som er relevant i nærheten etter hvert som man beveger seg rundt innenfor et definert område. Med foreliggende oppfinnelse vil imidlertid denne teknologien kunne tas ut i det åpne rom og gjøre det mulig å fange opp informasjon fra trådløse ID-brikker med mobile terminaler som de fleste i dagens samfunn allerede har enkel tilgang til (nettbrett/mobiltelefon/kamera). Forhåndsprogrammert tekst kan omgjøres til tale, eller taleinformasjonen kan ligge som et tillegg på den trådløse ID-brikken. Dette betyr at svaksynte kan få informasjon om hva som befinner seg i nærheten ved å ha en sender på seg som er retningsbestemt.

Deteksjon av trådløse ID-brikker tilknyttet personer eller produkter og deres relative plassering i et bilde

Figur 7 illustrerer identifisering av personer. Hver person har en trådløs ID-brikke 4 anordnet på armen. Personene fremvises på terminalens 3 fremvisningsanordning og personenes navn og e-postadresse fremkommer automatisk i tilknytning til hver person som en del av bildet. Figur 8, 9 og 10 illustrerer identifisering av produkter og bygning. Bilene er utstyrt med trådløse ID-brikker. De avbildede bilene fremvises på terminalens fremvisningsanordning og bilmerke og internettadressen til bilprodusenten fremkommer automatisk i tilknytning til hver bil. Sykkelen utstyrt med trådløs ID-brikke identifiseres på samme måte og fremvises med type og internettadresse. Bygninger kan også utstyres med trådløse ID-brikker som vist ved kunstmuseet i figur 10. Ved å klikke på internettadressene kan det gjøres automatisk oppkobling mot internett for fremvisning av mer informasjon tilknyttet det merkede objektet. Figur 11 er et illustrasjonseksempel på en anvendelse av foreliggende oppfinnelse. Bildet er fra Maihaugen på Lillehammer. De blå feltene i bildet representerer infor masjon som er blitt mottatt av de trådløse ID-brikkene som var aktive på det tids-punktet bildet ble tatt. Bildet gir informasjon om hva som er i bildet (bygninger med tilknyttet internettadresse), hvem som er i bildet (personer med navn og e-post adresse), og ikke minst hvor i bildet den registrerte informasjonen er relevant. Det vil si, det er en peker fra informasjonen til det punktet der de ulike trådløse ID-brikkene befinner seg. De grå feltene er eksempel på utfyllende informasjon om to av bygningene i bildet. Internett-linkene som vises i de blå feltene kan gjøres klikk-bare. Dersom man klikker på linkene skal man få opp relevant informasjon som illustrert i de grå feltene. På denne måten får bildet en tilleggsverdi ved at det kan knyttes mer informasjon til bildet enn det rent visuelle. Som en følge av dette vil bildet i figur 11 kunne representere en ny markedsføringskanal for Maihaugen. Dersom terminalen som tok bildet var en mobil terminal utstyrt med GPS vil man også kunne knytte en geografisk posisjon til bildet slik at det var enkelt å finne destinasjonen Maihaugen på kartet. I eksempelet i figur 11 er det også lagt inn at to personer blir identifisert i bildet med navn og e-post adresse. Disse personene kan begge få tilsendt bildet via e-post adressen som vises på bildet. Det er også identifisert et produkt som er merket med en trådløs ID-brikke i bildet. Dersom man er interessert, er det mulig å følge linken og finne ut mer om akkurat dette produktet.

Nettsted med bilder

Mulighet for å opprette en såkalt verdensbank med bilder (databank), der alle som er registrert og benytter den foreliggende oppfinnelse kan legge egne bilder de ønsker å dele med andre. Hensikten er at alle brukere av systemet kan lete og finne bilder der en selv er med på bildet, uavhengig av hvem som har tatt bildet.

Den foreliggende oppfinnelse kan bidra til å gi tradisjonelle bilder en merverdi gjennom å inkludere informasjon som kan presenteres i bildet dersom objekter i bildet er merket med trådløse ID-brikker. I tillegg til at egne bilder i langt større grad kan gi mening også for andre.

Utveksling av bilder via sosiale nettverk i mobile nett

For produsentene av produkter som befinner seg tagget på bilder er muligheten stor for at de vil treffe en potensiell kunde der og da. Dette er en ny markedsfør-ingskanal for hele verden, hvor personer, produkter og destinasjoner får en markedsverdi gjennom en opplevelse som andre har opplevd og som deles med andre via sosiale nettverk. Bilder kan dermed bidra til å skape en kjedereaksjon ved at de videresendes til venner og bekjente.

Produktplassering i forbindelse med sportsarrangementer Arrangører kan registrere både hvem som er tagget, hva de er tagget med av produkter etc. Etter arrangementet (fotballkamp/håndballkamp/ishockeykamp etc.) kan arrangøren/sponsorer sende informasjon til de som var tilstede og gi tilbud på produkter eller annen informasjon de mener kan være hensiktsmessig å dele. Dette kan være rabatter til fremtidige arrangement eller tilbud på nye produkter av samme merke de allerede benytter.

Oppfinnelsen er ikke begrenset til utførelsesformene beskrevet over, og det er åpenbart at andre utførelsesformer kan eksistere. Oppfinnelsen er definert i de vedføyde patentkrav.

Claims

1. Anordning for identifisering av minst ett objekt i et digitalt bilde som registreres med en digital bilderegistreringsanordning, der det minst ene objekt er utstyrt med en trådløs ID-brikke, der anordningen omfatter minst to sensorer for registrering av et trådløst signal fra den trådløse ID-brikken til det minst ene objekt samt for registrering av minst én retning til den trådløse ID-brikken til det minst ene objekt, der retningen til det minst ene objekt estimeres basert på faseforskjell, og der det trådløse signal omfatter informasjon for identifisering av det minst ene objekt.

2. Anordning ifølge krav 1, videre omfattende en prosessoranordning innrettet for prosessering av den registrerte identifiseringsinformasjonen fra den trådløse ID-brikken og den registrerte retningen til den trådløse ID-brikken sammen med digitale bildedata for det digitale bildet registrert med den digitale bilderegistreringsanordningen.

3. Anordning ifølge krav 2, der prosessoranordningen er innrettet for å utføre prosesseringen i sanntid.

4. Anordning ifølge minst ett av de foregående krav, der anordningen er utstyrt med minst én sender for utsendelse av et trådløst signal til den minst ene trådløse ID-brikken.

5. Anordning ifølge minst ett av de foregående krav, der den trådløse ID-brikken er anordnet i en terminal, i et deksel på en terminal, i en klokke, et smykke, i en armlenke eller i et ID-kort.

6. Anordning ifølge minst ett av de foregående krav, der den trådløse ID-brikken er en RFID-brikke og sensoren for registrering av det trådløse signal er en RFID-leser med minst to antenner.

7. Anordning ifølge minst ett av de foregående krav, der anordningen er utstyrt med en matrise av RFID-antenner.

8. Anordning ifølge krav 6 eller 7, der RFID-brikken er en aktiv RFID-brikke eller en passiv RFID-brikke.

9. Anordning ifølge minst ett av de foregående krav, der den digitale bilderegistreringsanordningen er et digitalt kamera eller et digitalt film/videokamera.

10. Anordning ifølge minst ett av kravene 1-9, der anordningen er integrert i en terminal.

11. Anordning ifølge krav 10, der terminalen er én av en mobiltelefon, et digitalkamera, et digitalt film/videokamera, en PC eller et nettbrett.

12. Anordning ifølge minst ett av de foregående krav, der anordningen omfatter en fremvisningsanordning for fremvisning av et bilde registrert med den digitale bilderegistreringsanordning.

13. Anordning ifølge minst ett av de foregående krav, der sensoren for registrering av det trådløse signal er anordnet i en bilderegistreringssensortil bilderegistreringsanordningen.

14. Anordning ifølge minst ett av kravene 1-9, der anordningen er innrettet for montering på én av en mobiltelefon, et digitalkamera, et digitalt film/videokamera, en PC eller et nettbrett.

15. Anordning ifølge minst ett av de foregående krav, der det minst ene objekt er bygninger, gjenstander, personer eller dyr.

16. Anordning ifølge minst ett av de foregående krav, der informasjon er minst en av tekst, lyd, video, navn, adresse, e-post eller referanse til informasjon lagret på internett.

17. Fremgangsmåte for identifisering av minst ett objekt i et digitalt bilde, der hvert av det minst ene objekt er utstyrt med en trådløs ID-brikke, idet fremgangsmåten omfatter: - registrering av det digitale bildet med en digital bilderegistreringsanordning; og - registrering, av minst to sensorer, av et trådløst signal fra den trådløse ID-brikken anordnet i tilknytning til det minst ene objekt og registrering av minst én retning til den trådløse ID-brikken til det minst ene objektet, der retningen til det minst ene objekt estimeres basert på faseforskjell, og der det trådløse signal omfatter informasjon for identifisering av det minst ene objektet.

18. Fremgangsmåte ifølge krav 17, videre omfattende posisjonsbestemmelse av den trådløse ID-brikken.

19. Fremgangsmåte ifølge krav 17 eller 18, der registreringen av et trådløst signal fra den trådløse ID-brikken videre omfatter deteksjon av elektromagnetiske signaler.

20. Fremgangsmåte ifølge minst ett av kravene 17-19, der registreringen av et trådløst signal fra den trådløse ID-brikken videre omfatter deteksjon av synlig lys eller IR lys i en bildebrikke eller hovedsensor i den digitale bilderegistreringsanordningen.

21. Fremgangsmåte ifølge kravl 7 eller 18, der registreringen av et trådløst signal fra den trådløse ID-brikken videre omfatter deteksjon av akustiske lydbølger.

22. Fremgangsmåte ifølge minst ett av kravene 17-21, videre omfattende prosessering av den registrerte identifiseringsinformasjonen fra den trådløse ID-brikken og den registrerte retningen til den trådløse ID-brikken sammen med de digitale bildedata fra den digitale bilderegistreringsanordningen.

23. Fremgangsmåte ifølge minst ett av kravene 17-22, videre omfattende fremvisning av det digitale bildet på en fremvisningsanordning sammen med informasjon tilknyttet hvert enkelt av det minst ene objekt.

24. Fremgangsmåte ifølge krav 23, der registreringen og prosesseringen utføres i sanntid.

25. Fremgangsmåte ifølge krav 23 eller 24, der fremvisningen utføres i sanntid.

26. Fremgangsmåte ifølge minst ett av kravene 17-25, videre omfattende å lagre på en lagringsanordning det digitale bildet sammen med informasjon tilknyttet hvert enkelt av det minst ene objekt.

27. Dataprogram lagret på et datamaskinlesbart medium omfattende datamaskinlesbar programkode for utførelse av fremgangsmåten for identifisering av minst ett objekt i et digitalt bilde angitt i ett av kravene 17-26.

28. En trådløs transponderanordning innrettet til bruk for identifisering av minst ett objekt i et digitalt bilde, der den trådløse transponderanordningen er anordnet i tilknytning til det minst ene objekt og der identifiseringen av det minst ene objekt utføres ved registrering av et trådløst signal fra den trådløse transponderanordningen der det trådløse signal omfatter informasjon for identifisering av det minst ene objektet, samt ved registrering av minst én retning til den trådløse transponderanordningen tilknyttet det minst ene objektet, der registreringen av det trådløse signal og registreringen av retningen utføres ifølge ett av kravene 17-27, idet transponderanordningen omfatter: - en lagringsanordning for lagring av informasjon for identifisering av det minst ene objektet; - en sender for utsendelse av et trådløst signal der det trådløse signal omfatter den lagrede informasjon for identifisering av det minst ene objektet.

29. Transponderanordning ifølge krav 28, der transponderanordningen er en RFID-brikke.

30. System for identifisering av minst ett objekt i et digitalt bilde, der systemet omfatter: - minst én trådløs transponderanordning ifølge krav 28 eller 29; og - en anordning for identifisering av minst ett objekt i et digitalt bilde som registreres med en digital bilderegistreringsanordning, der det minst ene objekt er utstyrt med en trådløs transponderanordning, idet anordningen omfatter minst to sensorer for registrering av et trådløst signal fra den trådløse transponderanordningen til det minst ene objekt samt for registrering av minst én retning til den trådløse transponderanordningen til det minst ene objekt, og der retningen til det minst ene objekt bestemmes basert på faseforskjell, og der det trådløse signal omfatter informasjon for identifisering av det minst ene objekt.

31. System ifølge krav 30, videre omfattende en prosessoranordning innrettet for prosessering av den registrerte identifiseringsinformasjonen fra den trådløse ID-brikken og den registrerte retningen til den trådløse ID-brikken sammen med digitale bildedata for det digitale bildet registrert med den digitale bilderegistreringsanordningen.