SE518545C2 - Förfarande och anordning för ett bildpresentationssystem - Google Patents

Description

25 30 35 40 518 545 2 SD-accelerators kretskort. Systemet kan också använda specialeffekter, som tillhandahålls av 3D-acceleratom såsom texturfiltrering och mip-mapping.

Bildpresentationssystemet består av en 'styrning av användargränssnittet, som kan an- vändas i en Web-bläddrare, en interaktiv editor och ett program för att se på hel skänn. Först inladdas en bild i ett bildformat. Sedan medger editorn att en "content provider" ("Intemet- server") 'sparar bilder i ett specialformat. Detta specialforrnat kan innehålla många bilder, infomiation om bilderna, och bilder kan vara länkade. Slutligen kan bilder lagrade i ett edi- torfonnat "streamas" av programmet för att se på hel skärm eller av stymingen. Ett sätt att se på bilder med hjälp av bildpresentationssystemet är att låta användaren placera en markör i en position, i vilken han/hon är intresserad. Genom att trycka ned den högra musknappen och förflytta musen framåt, zoomar programmet in på bilden. För att återgå fórflyttas helt enkelt musen bakåt medan den högra musknappen hålls nedtryckt. För att panorera bilden nedtrycks den vänstra musknappen och fórflyttas musen. Användningen av uppfmningen is transparent för användaren. Givetvis erbjuds andra möjligheter till styming såsom att använda tangentbor- det och andra styrorgan.

Bildpresentationssystemet utnyttjar en del av datorn, som ofta är sysslolös. Uppfinning- en medger ytterligare utvecklingar, som tidigare inte var möjliga, såsom att använda multipla transparenta lager med bilder för att få en parallaxeffekt.

Det är en fördel med föreliggande uppfinning att den minskar CPU:ns arbetsbelastning.

En annan fördel med föreliggande uppfinning är att den placerar sä mycket data som möjligt hos 3D-acceleratorns kretskort, varigenom utnyttjandet av systembussen minimeras.

Det är en fördel med föreliggande uppfmning att den medger navigering utan behov av client-server-meddelanden.

KORT FIGURBESKRIVNING Uppfinningen skall nu beskrivas såsom ej begränsande utföringsforrner med hänvisning till de bifogade ritningarna, i vilka: - Fig. 1 visar ett bildpresentationssystem, - Fig. 2a - c visar ett blockschema över bildpresentationssystemet, - Fig. 3a - c visar ett förfarande för att använda bildnavigationssystemet, - Fig. 4 visar en avkodad bild, 5 visar en canvas, 6 visar ett resultat av en kopieringsoperation, 7 visar ett konstruerat masknät, i vilket varje triangel ligger i korrekt position.

BESKRIVNING AV FÖREDRAGNA UTFÖRINGSFORMER Fig. 1 visar en översiktlig uppläggning av ett bildpresentationssystem 100. Systemet 100 - Fig.

- Fig.

- Fig. är en client-server-lösning. Systemet 100 innefattar en klient 102, som har en dator 104 an- sluten till en extern/intem förbindelse 108, vilken i sin turvär ansluten till en server 110.

Datom 104 innefattar en 3D-accelerator 106 med texturminne. Klientsidan 102 har en mjuk- varulösning, som innefattar en styming av användargränsnitt, vilken kan användas i en Web- bläddrare, en interaktiv editor och ett program för att se på hel skärm. 10 15 20 25 30 35 40 518 545 3 Fig. 2a visar ett blockschema över huvuddelar ingående i klientsidan 102. Klientsidan innefattar: En transformerande enhet 202, som kan transformera minst ett bildformat till minst ett maskforrnat. En enhet 204, som kan rendera maskfonnatet. En bildskärm 208 för visning av en konverterad bild. En navigeringsenhet 206, som kan navigera i den konvertera- de bilden.

Navigeringsenheten 206, se fig. 2b, innefattar: En mottagande enhet 218, som mottar inmatningar från användaren och/eller systemet. En enhet 212 används för panorering av den konverterade bilden. En enhet 214 används för skalning av den konverterade bilden. En avslutningsenhet 216 används för att avsluta förfarandet. En enhet 220 för beräkna rnaskor på nytt.

Den transformerande enheten 202, se Fig. 2c, innefattar: En inladdningsenhet 224 används för att ladda in en bild med ett första format i ett minne i en klientdator 104. En avkodningsenhet 226 används för att avkoda bildformatet till ett avkodat bildformat. En lag- ringsenhet 228 används för att lagra storleken hos den avkodade bilden. En optirneringsenhet 230 används för att optimera en storlek hos en textur hos den avkodade bilden. En bestäm- ningsenhet 332 används för att bestämma texturstorleken för 3D-acceleratorn. En lagringsen- het 234 används för att lagra texturstorleken. En formatskapande enhet 236, som skapar ett andra fomiat härlett ur texturstorlekarna, en så kallad canvas. En kopieringsenhet 238 an- vänds för att kopiera den avkodade bilden till canvasen. En maskskapande enhet 240 används för att skapa ett triangelmasknät innefattande lika många fyrkanter som texturer i canvasen, varvid varje fyrkant uppdelas i trianglar och varje triangel representeras som triangelstrip, så kallade vertices. En lagringsenhet 242 används för att lagra vertices.

Bildpresentationssystemet 100 kan övergå till en stor bild, exempelvis panorering, in- zoomning och ut-zoonming från specifika positioner i bilden. Användaren kan också beräkna avstånd, areor, höjder, djup och volymer.

Ett arbetsschema, "transformera" 302, visas i Fig. 3b. Systemet 100 gör först trans- formationen 302 från bildformatet till maskforrnatet. Detta utförs på följande sätt: Bildpresentationssystemet 100 laddar in bilden, "ladda bild" 310, i bildformatet, t ex jpeg eller png eller vilket bildfomiat som helst. Detta innebär till exempel att Web-sidan laddas in i datom 104 och lagras i ett minne i datorn 104.

Bildpresentationssystem 100 avkodar sedan bilden, "avkoda bild" 312. Bilden avkodas för att överföra de råa bilddata till ett önskat pixelforniat, såsom visas i Fig. 4, i en avkodad bild 400.

Bildpresentationssystemet 100 lagrar storleken hos den avkodade bilden 400, "lagra storlek" 314, i en vector och benämner den "Storlek". En "Storlek.x" 402 betecknar bildens bredd och en "Storlek.y" 404 betecknar bildens höjd. En fråga "texturstorlek för 3D-accelera- tor?" 316 ställs, vilken innebär huruvida texturstorleken redan fmns i systemet.

Om svaret är ja, bestämmer bildpresentationssystemet 100 en texturstorlek, "optimera" 320, som är lämplig för systemet 100. Vissa datorsystem har ett mjukvaruskikt, som auto- rnatiskt utför detta slag av uppgifter. Olika 3D-acceleratorer 106 har olika optimala texturstor- 10 15 20 25 30 35 518 545 4 lekar. 3D-acceleratom 106 har också normalt en gräns för texturstorleken. Vissa drivrutiner för 3D-acceleratorer tillhandahåller denna information och med ett 3D-API, t ex Microsofts Direct3D, är det möjligt att erhålla denna infomiation via möjligheter på korten.

Bildpresentationssystemet 100 lagrar den texturstorlek, "lagra texturstorlek" 322, som den har bestämt skall användas, i en vektor. Denna betecknas "TexturStorlek" 502, se Fig. 5, med texturbredden som "TextureStorlek.x" 504 och texturhöjden som "TexturStorleky" 506.

Om svaret på frågan 316 är nej, utförs en rutin "bestäm texturstorlek" 318. Bildpre- sentationssystemet 100 måste bestämma självt den optimala storleken för 3D-acceleratom 106, om denna inte är känd för systemet 100. Systemet 100 måste självt skapa texturer av olika storlek och rendera dem. Systemet 100 bestämmer den texturstorlek, som tar minst tid att rendera. Detta behöver endast göras en gång och kan sedan lagras i datom 104 i en fil eller en central lagringsplats såsom registret i operativsystemet Windows.

Ur stegen "lagra texturstorlek" 322 och "bestäm texturstorlek" 318 skapas ett antal texturer i 3D-acceleratom 106, "skapa canvas" 324. En textur 502 visas i Fig. 5. Den totala bredden hos alla texturer är större än eller lika med "Storlek.x" 402, se Fig. 4, och den totala höjden hos alla texturer är lika med eller större än "Storleky" 404. Det totala antalet texturer är lika med den totala bredden gånger den totala höjden. Varje källtextur benämns textur.

Hörnen ger texturen "xy". Ett exempel på hur texturer benämns beskrivs nedan: den första texturen 508, se Fig. 5, benärmis "T00". Det faktiska läget för denna textur är x=0, längst till vänster, och y=0, längst upp. Textur "T0l" 510 beskriver, att kolumnvärdet har ökats med ett. Textur "TIO" 512 beskriver, att radvärdet har ökats med ett. Om alla texturer läggs ut i enlighet med sina index, bildar de sammansatt stor textur med ett specialforniat 500, en canvas.

När canvasen 500 skapas, är det dags att kopiera den avkodade bilden 400 till canvasen 500, "kopiera" 326, så att bilden återskapas i specialfonnatet 500.

Txy = (x*TexturStorlek.x, y*TexturStorlek.y, (x + 1)*TexturStorlek. x, (y + 1)*TexturStorlek. y) Ett resultat 600 av kopieringsoperationen visas i Fig. 6.

Nästa steg är att skapa ett triangelmasknät, "skapa triangelmasknät" 328, i ett plan.

Masknätet skapas, så att det består av lika många fyrkanter som det finns skapade texturer.

Varje fyrkant lika med texturen 502 delas sedan. Denna delning görs längs en diagonal för att bilda två trianglar 702, 704 för varje textur. På detta sätt skapas två gångar så många triang- lar 702, 704 som det fmns texturer 502.

Vertices är triangelkoordinaterna, de ursprungliga koordinaterna med därtill tillagt läge och texturkoordinaterrxa. Vertices lagras alltid, "lagra vertices" 330, och modifieras aldrig, så att de alltid kan användas i senare beräkningar. Vertices använda för de två trianglama är {(0,TexturStorlek.y,0), (0,0,0), 10 15 20 25 30 35 518 545 5 (TexturStorlek. x,TexturStorlek.y , O) , (TexturStorlek. x,0,0)} .

Ordningen är vald, så att en triangelstripprimitiv kan användas. Triangelstripper är ett sätt att beskriva sammanhängande trianglar utan att duplicerade vertices måste sändas mer än en gång till 3D-acceleratom 106. Varje triangel 702, 704 är förknippad med texturen, två trianglar per textur. Om texturens index är givet, ges de två trianglarna en position som är TriPos. x TriPos.y x*TexturStorlek. x y*TexturStorlek.y.

Varje triangel ges alltså texturkoordinater, där (0,0) betecknar texturens övre vänstra hörn and (1,1) är texturens nedre högra hörn. Texturkoordinaterna för vertices är {(0,l),(0,0),(1,l),(1,0)}. I Fig. 7 visas det uppbyggda masknätet, där varje triangel 702, 704 ligger vid sin korrekta position.

Systemet har avslutat transformationen till en omvandlad bild, ett maskforrnat 700.

Ett sätt att använda bildpresentationssystemet 100 beskrivs nedan, se Fig. 3a. Ett förfa- rande 300 att använda bildpresentationssystemet 100, som innefattar stegen: att transfonnera 302, att rendera 304, att visa 306, att navigera 308 och en slinga tillbaka för att rendera 304.

Förfarandet 300 slutar i steget navigera 308, när användaren önskar avsluta navigeringen.

Först görs transforrnationen 302 av bildformatet till maskforrnatet 700. Sedan utförs renderingen 304. Renderingen 304 görs genom att använda 3D-acceleratom 106 genom att anropa följande programkod med användning av Microsoft Direct3D (Microsoft DirectX7 SDK help) för varje fyrkant.

Device- > DrawPrimitive( D3DPT_TriangelSTRIP, D3DFVF_TLVERTEX, Vertices, 4, D3DDP_DONOTLIGHT ); D3DPT_TriangelSTRIP talar om för bildpresentationssystemet 100, att detta ges triang- elstrippen, så att på detta sätt behöver systemet 100 endast ge de fyra vertices för de två trianglarna och inte alla sex vertices.

D3DFVF_TLVERTEX talar om, att hárdvarutransforrnationen och upplysning redan har utförts. Upplysning har ingenting att gör med detta förfarande men kan användas för special- effekter till låg kostnad.

Visa sedan 306 den renderade bilden från rnaskformatet 700 på bildskännen 208.

Sedan kan bildpresentationssystemet 100 navigera i maskformatet. Klienten 102 kan också välja att panorera, skala, avsluta förfarandet 300, etc. Steget navigera 308 innefattar stegen med inmatning 332, en fråga "imnatning?" 334, panorera 338, skala 340 och beräkna masknätet på nytt 342. Det första är när användaren önskar avsluta förfarandet 336. Det andra är, när användaren önskar panorera 338, och det tredje är, när användaren önskar skala 340. Ur antingen panoreringen 338 eller skalningen 340 görs en beräkning på nytt av masknä- 10 15 20 25 30 518 545 6 tet 342. Givetvis görs navigeringen i den omvandlade bilden själv här.

För att panorera 338 maskformatet 700 beräknar systemet 100 helt enkelt på nytt posi- tionen för varje fyrkant såsom följer: T riPos.x = Pan.x + X*TexturStorlek.x TriPos.y = Pan.y + Y*TexturStorlek.y För att skala 340 skalar systemet 100 först fyrkanten kring (0,0).

Bredd = Skala * TexturStorlek.x; Höjd = Skala * TexturStorlek.y; Sedan beräknar systemet 100 dess specifika position såsom följer: TriPos.x = Skala*X*TexturStorlek.x + Pan.x TriPos.y = Skala*Y*TexturStorlek.y + Pan.y I stället för att använda de ursprungliga vertices för varje fyrkant, använder systemet 100 de på nytt beräknade "Bredd" och "Höjd".

Förfarandet ovan zoomar in och ut från fyrkanten kring (0,0) för en specifik textur och låter användaren, klienten 102, panorera specialformatet 500. Inzoomning i en specifik posi- tion kan göras genom att beräkna på nytt 342 positionen för varje fyrkant 502, såsom ovan nämnts. Om klienten 102 vill zooma in vid positionen (SkännPos.x, SkärmPos.y, DeltaSkala), beräknar systemet 100 på följande sätt: Beräkna positionen för skalan på canvasen 500.

PåCanvasPos.x = (SkämïPosx - Pan.x) / AktuellSkala PåCanvasPos.y = (SkårmPosy - Pan.y) / AktuellSkala NyAktuellSkala = AktuellSkala + DeltaSkala NyPan.x = Pan.x - (PåCanvasPosx * DeltaSkala) NyPan.y = Pan.y - (PåCanvasPos.y * DeltaSkala) Det är också möjligt att imnatningen kommer från en anordning eller ett script, som kan avge panorering och skala på samma gång, varvid både panorering och skala mottas innan masken renderas. Detta kan hanteras med buffrade inmatningsanordningar, varvid buffertarna töm, innan masken renderas.

Ett annat sätt att använda bildpresentationssystemet 100 är att se på mer än en bild på samma canvas 500. Användaren bestämmer då den totala storleken hos canvasen 500 och ritar alla de bildar, som önskas på canvasen 500. Canvasen 500 kan byggas upp i flykten från mer 10 15 20 25 30 35 518 545 7 än en bild, så att det är möjligt att uppbygga en dynamisk bild från enklare bilder och att sedan undersöka den resulterande bild i realtid. Huvudskillnaden mellan uppñnningen och det normala 3D-renderingspaketet är att klienten 102 inte är medveten om att 3D-teknik används.

Klienten 102 behöver inte utforma masknätet 700, eftersom detta görs i flykten i bakgrunden.

För klienten 102 är det som att arbeta med en 2D-bild.

Uppfmningen fungerar bäst, om alla texturer får rum i ISD-acceleratorns 106 textur- minne på kretskortet. Om den avkodade bilden 400 är större än det tillgängliga texturminnet, måste systemet 100 lagra vissa texturer i systemmirmet 238. Om 3D-acceleratom 106 inte kan rendera texturer from systemminnet, måste texturerna kopieras till ett videominne, om något sådant är tillgängligt, innan de renderas. Om kortet kan rendera från systemminnet 238, förflyttar systemet 100 ändå texturer till videorninnet, som behandlas liksom cacheminnet.

Systemet 100 försöker att få rum med så många texturer som möjligt i videorninnet.

I en "streamad" version av uppñnningen är det möjligt att starta navigering vid en lågupplösningsversion av bilden, medan denna laddas ned.

Genom att kombinera denna uppfinning och rendering i olika skikt vid olika startpunkter kan en parallaxeffekt åstadkommas. De främre och mellersta skikten skulle kunna renderas med an alfakanal för en halvtransparent effekt och för att minska aliasing-effekter.

Ett annat sätt att använda bildpresentationssystemet 100 är att använda mer avancerade renderingsprimitiver, dvs polygoner. Varje fyrkant 502 skulle inte behöva delas upp. Med hårdvara som medger mer än en texturkoordinat per vertex skulle systemet 100 kunna göra sig av med de duplicerade vertices i masknätets inre parti.

Ett annat sätt att använda bildpresentationssystemet 100 är att använda hardvarusprites.

Då skulle systemet 100 inte behöva texturerna utan systemet 100 skulle endast behöva separe- ra bilden i tiles, sedan ge sprites storlekar och använda sprites i stället för texturerna.

Ett annat sätt att använda bildpresentationssystemet 100 skulle vara att navigera i en startbild. Sedan har klienten 102 valt en position och från denna position skapas en modi- fierad bild, som antingen har större eller mindre skala än startbilden. Ur den modifierade bilden väljs en position av samma, ovan skisserade process. Detta innebär, att samma start- bild används för panorering och skalning.

Den ovan beskrivna uppñnningen kan utföras i ytterligare andra specifika forrner utan att avlägsna sig från dennas kärna eller väsentliga kännetecken. Sålunda skall föreliggande ut- föringsfonner anses vara i alla avseende åskådliggörande och inte begränsande, varvid upp- finningens omfång anges av de vidhängande patentkraven i stället för av föregående beskriv- ning, och alla tillfällen, som ligger inom innebörden hos och ekvivalensområdet för patent- kraven avses därför omfattas av dessa.

Claims (11)

518 545 8 PATENTKRAV

1. Förfarande (300) för att använda ett bildpresentationssystem (100), k ä n n e t e c k - n a t av att användning av bildpresentationssystemet innefattar stegen: - att transformera (302) minst ett bildformat till minst ett maskformat (700), s - att rendera (304) maskformatet, - att visa (306) en konverterad bild, en renderad bild, från maskformatet på bildskärrnen (208), - att navigera (308) i den konverterade bilden, vilket innebär, att en imnatning (332) anländer till systemet, och att då systemet arbetar i den konverterade bilden, 1o - att efter steget navigera (308) gå tillbaka till steget rendera (304), och - att avsluta förfarandet, när inmatningen avslutar förfarandet för att använda systemet.

2. Förfarande för att använda ett bildpresentationssystem enligt krav 1, k ä n n e - t e c k n a t av att steget navigera (308) innefattar stegen: - att mottaga inrnatningen (332) från systemet och/eller en användare (102), 15 - att navigera i den konverterade bilden, - att avsluta (336) förfarandet, - att panorera (338) och/eller skala (340) i den konverterade bilden, och - att på nytt beräkna ett nytt masknät (342) ur panoreringen och/eller skalningen.

3. Förfarande för att använda ett bildpresentationssystem enligt något av krav l - 2, zo k ä n n e t e c k n a t av att förfarandet innefattar steget: - att sända texturer en efter en från en server (110), så att bildpresentationssystemet kan börja visa en konverterad bild, innan alla texturer har nått fram till bildskärmen (208).

4. Förfarande för att använda ett bildpresentationssystem enligt något av krav 1 - 3, k ä n n e t e c k n a t av att förfarandet innefattar steget: zs - att förbearbeta en avkodad bild och att sända textur efter textur till bildskärmen före av- slutande av transformationen.

5. Förfarande för att transformera (302) minst ett bildformat till minst ett maskformat (700) i ett bildpresentationssystem (100), k ä n n e t e c k n a t av att förfarandet innefattar stegen: so - att inladda (310) en bild i ett första format till ett minne i en klientdator (104), - att avkoda (312) bilden till en avkodad bild (400), - att lagra storleken (314) hos den avkodade bilden, - att optimera (320) a texturstorlek (502), som är optimal för systemet, - att lagra (322) texturstorleken, as - att skapa (324) ett andra format härlett ur texturstorlekama, en så kallad canvas (500), - att kopiera (326) den avkodade bilden till canvasen, - att skapa (328) ett triangelmasknät (700) innefattande lika många fyrkanter som texturer i canvasen, varvid varje fyrkant delas i trianglar (702, 704) och varje triangel representeras av sina vertices, w - att lagra (330) vertices. 10 15 20 25 30 35 518 545 9

6. Förfarande enligt krav 5, k ä n n e t e c k n a t av att förfarandet innefattar steget: - att bestämma en texturstorlek (318) för 3D-acceleratom i stället för steget att optimera (320) storleken hos texturen och att lagra (322) texturstorleken.

7. Förfarande enligt något av krav 5 - 6, kännetecknat avkodas rakt till canvasen (500).

8. Bildpresentationssystem (100) i en klientsida (102) innefattande hårdvara och mjukva- ra, varvid hårdvaran innefattar en dator (104), en bildskärm (208) och en 3D-accelerator (106) med ett texturminne och mjukvaran innefattar en styralgoritm för användargränssnitt, en interaktiv editoralgoritrn och en algoritm för betraktande av hel skänn, k ä n n e t e c k n a t av att bildformatet av - organ för att transforrnera (202) minst ett bildformat till minst ett maskforrnat (700), - organ för att rendera (204) maskformatet, - en bildskärm (208) för att visa en konverterad bild, renderad bild, ur maskformat, och - organ för att navigera (206) i den konverterade bilden, vilket innebär att en imnatning (332) anländer till systemet, och att systemet sedan arbetar i den konverterade bilden.

9. Bildpresentationssystem (100) enligt krav 8, k ä n n e t e c k n a t av organen för att navigera (206) innefattar: - organ (218) för att mottaga inrnatning från användaren (102) och/eller systemet, - organ (212) för att panorera den konverterade bilden, - organ (214) för att skala den konverterade bilden, - organ (216) för att avsluta förfarandet (300), och - organ (220) för att på nytt beräkna masknätet.

10. Bildpresentationssystem (100) enligt något av krav 8 - 9, k ä n n e t e c k n a t av att organen för att transforrnera (202) innefattar: - organ (224) för att inladda en bild i ett första i ett minne i en klientdator (104), - organ (226) för att avkoda bilden till en avkodad bild (400), - organ (228) för att lagra storleken hos den avkodade bilden, - organ (230) för att optimera en texturstorlek (502) som är optimal för systemet, - organ (332) för att bestämma en texturstorlek för en 3D-accelerator, - organ (234) för att lagra texturstorleken, - organ (236) för att skapa ett andra format härlett ur texturstorlekarna, en så kallad canvas (500), - organ (238) för att kopiera den avkodade bilden till canvasen, - organ (240) för att skapa (328) ett triangelmasknät (700) innefattande lika många fyrkanter som texturer i canvasen, varvid varje fyrkant uppdelas i trianglar (702, 704) och varje triang- el representeras som en triangelstrip så kallade vertices, och - organ (242) för att lagra vertices.

11. Datorprogram lagrat på en databärare för att utföra stegen enligt något av kraven 1 - 10.