SE524989C2 - Anordning och förfarande för distribution av flödande realtidsinformation mellan klienter - Google Patents

Description

20 25 524 989 . - .nu ~ u ~ ; u n nu 2 US-patentet 5,75 8,094 beskriver ett datorbaserat bildkommunikationssystem som inkluderar en flexibel CCD-styrarkitektur för datorbaserade kameraapplikationer.

Den beskrivna arkitekturen tillåter styrkommandon och intelligens att distribueras mellan en värddator, ett datoradaptorgränssnitt och ett karnerahuvud. I fallet för geografiskt distribuerade kameror kan styrningen vidare delas mellan en avlägsen värddator och en lokal styrdator. Emellertid gäller att om en användare vill skicka realtidsvideo från sin datortenninal till åtskilliga Sessioner, oavsett slaget av dator- terrninal, såsom en handhållen dator med en integrerad mobilkommunikations- terminal, tillåter inte tidigare känd teknik detta. Operativsystem av idag medger inte att åtskilliga applikationer hämtar realtidsbildinformation från samma kamera samtidigt. Även programvarubaserade applikationer har utvecklats för att möjlig- göra videotransmission till ett flertal användare. Applikationerna kan införskaffas genom videouppfångande kort, till vilka flera videokameror kan förbindas, men samtidig åtkomst är inte möjlig. Detta är en viktig nackdel som har till följd att en användare inte har möjlighet att komma åt åtskilliga Sessioner, såsom olika elektroniska möten, samtidigt. Vidare år lösningar som beskrivs i tidigare känd teknik inte oberoende av videoanordningen som används, och detta oberoende är ett krav vid produktion av programvaruprodukter för elektroniska möten, på grund av det stora antalet olika bildtagande organ som redan finns tillgängliga på marknaden.

Sammanfattning av uppfinningen Det är därför ett ändamål med föreliggande uppfinning att övervinna de tidigare nämnda svagheterna hos tidigare känd teknik förknippade med gruppkommunika- tionstj änster. Detta uppnås genom en anordning och ett förfarande för distribution av flödande signaler mellan en grupp av olika deltagande användare i ett datornät, där användarna har åtkomst till klientterminaler med flerfaldiga faciliteter för åtkomst och deltagande i olika mediasessioner, där anordningen innefattar: 10 15 20 25 30 524 989 3 bildtagande organ som är anordnat att uppfänga och skicka en flödande signal inom åtminstone en upprättad mediasession, där sessionen definieras av användarna i ett datornät som har tillgång till signalflödet, en första facilitet hos klientterminalen som är förbunden med mediasessionen, där faciliteten har en upprättad förbindelse med det bildtagande organet för mottagning av den flödande signalen som skickas ut från denna, kännetecknad av att en andra facilitet hos klientterminalen är anpassad att skicka ut en begäran inom en gemensam session, där begäran instruerar den första faciliteten hos klientterniinalen att tillhandahålla en kopia till den andra faciliteten av signalflödet som skickas från det bildtagande organet, för att tillåta användaren åtkomst till flertalet media- sessioner samtidigt genom att mottaga kopian som ursprungligen tillhandahölls endast en av facilitetema.

En fördel med uppfinningen är att den tillåter åtskilliga applikationer, såsom klientterrninaler som används av olika användare, att dela en enda webkamera, videokamera eller andra bildtagande anordningar. Utnyttjande av ett programvaru- baserat operativsystemsgränssnitt och en s.k. värd tillsammans med förbindelser mellan värden, kameran och klientterminaler, gör det möjligt för varje associerad facilitet, dvs. aktiverad programversion, hos en klienttenninal att motta en kopia av videoflödet som ursprungligen tillhandahöll endast en av programinstansema hos en viss klientterininal. Tack vare uppfinningen görs det möjligt att delta i åtskilliga olika mediasessioner samtidigt, företrädesvis aktivt deltagande i en session och samtidigt passivt deltagande i andra. Emellertid är också aktivt deltagande möjligt i åtskilliga sessioner, även om det inledningsvis kommer att finnas endast ett fåtal applikationer.

I enlighet med föreliggande uppfinning används Internet som ett organ för distribution av flödande media. Användning av Intemet är den optimala lösningen under förutsättning att det tillhandahåller en tillförlitlig förbindelse med tillräckliga 10 15 20 25 524 989 4 transmissionshastigheter, men utan därmed förknippade problem med köbildning av data i nätet. Problem med köbildning kan övervinnas, och det är av avgörande betydelse att konsumenter av flödande media kan ta del av en mediahändelse sam- tidigt och oberoende av varandra. Föreliggande uppfinning tillåter detta, och den leder inte till oönskad överlastning inom datomäten med onödigt stora mängder rådata som skulle kunna komprimeras.

Som tidigare nämnts minskas mängden data som distribueras genom nätet, eftersom dataflödet skickas som en kopia från en klientterrninal till en annan därmed för- bunden klienttenninal och samtidigt kan komprimeras, till följd av vilket den totala mängden data som skickas via nätet minskas. I enlighet med föreliggande upp- finning kan realtidsdataflödet som skickas direkt från det bildtagande organet till den första mottagande faciliteten hos klientterrninalen komprimeras endast en gång och en kopia av det komprimerade flödet skickas till de andra mottagande facilitetema hos klientterminalen utan att ha behövt inkludera nycklar, och därmed relaterad säkerhetsinformation, för att dekomprimera eller avkryptera flödet.

Kort beskrivning av ritningarna Särdragen, ändamål och ytterligare utföringsforrner av denna uppfinning kommer att vara uppenbara genom att läsa beskrivningen tillsammans med de därtill hörande ritningama, i vilka samma hänvisningsbeteckningar hänför sig till samma element, och i vilka: Fig. 1 illustrerar en schematisk vy av anordningen för distribution av flödande bild- och audiosignaler i enlighet med föreliggande uppfinning.

Fig. 2 är ett schema som avbildar det sekventiella flödet under drift i enlighet med föreliggande uppfinning. 10 15 20 25 30 524 989 5 n | Q ~ o I' en Detaljerad beskrivning Följ ande beskrivning hänför sig till det bästa utförande som för närvarande övervägs för att praktisera uppfinningen. Beskrivningen skall inte ses som begränsande, utan har utarbetats endast i syfte att beskriva de allmänna principerna för uppfinningen.

Skyddsomfånget för uppfinningen skall fastställas med hänvisning till de godkända patentkraven.

Med hänvisning till fig. l illustreras en schematisk översikt av anordningen för distribution av flödande bild- och audiosignaler i enlighet med föreliggande uppfinning. Ett flertal faciliteter 10, 20, 30 hos en klientterminal, där varje facilitet har sitt respektive applikationsprotokollgränssnitt (application protocol interface, API), 12, 22, 32, är förbundna till en s.k. mediasession 50, 52, 54 via förbindelse- länkar 14, 24, 34. Mediasessionen involverar och förbinder vilket som helst antal användare som har åtkomstmöjlighet till ett signalflöde som tillhandahåller inter- aktiv kommunikation med varandra via delar av ett datornät. Vilket som helst antal mediasessioner för samtidigt deltagande av användare görs möjligt med hjälp av föreliggande uppfinning. Kommunikationen sker med hjälp av bild eller audio eller en kombination av dessa. Förutom mediasessionen är varje facilitet hos klient- terminalen via en förbindelselänk 36 förbunden med en gemensam kommunika- tionssession 56, såsom en multicastgrupp. Denna gemensamma kommunikations- session kan vara lokalt allokerad i klientterminalen och varje facilitet har kontinuerlig åtkomst till sessionen.

F öreträdesvis är datanätet en del av Intemet eller vilket som helst annat globalt sammanbindande nät, till vilket deltagare som hanteras med hjälp av en värddator har åtkomstmöjlighet. Förbindelselänkarna kan vara olika slags trådbuma förbin- delser, men redan idag eller åtminstone i en nära framtid är det troligt att också trådlösa transmissionsteknologier används, tillsammans med en åtkomstteknologi baserad på infrarött, Bluetooth eller trådlös LAN (wireless-local-area-network). 10 15 20 25 30 524 989 :';"Ii.:'“=="; 6 Förbindelseorgan som används i samband med föreliggande uppfinning kommer att utvecklas med nya och uppdykande åtkomstteknologier. Varje facilitet hos klient- terrninalen år förbindelsebar till åtminstone ett bildtagande organ 60, företrädesvis en s.k. webkamera, en digitalkamera eller en digital videokamera. Varje användare har sitt eget bildtagande organ, vilket organ är förbundet med klientterminalen från vilken användaren vanligtvis deltar i en mediasession.

Faeilitetema hos klienttenninalerna anordnar sj älva distributionen av en kopia av dataflödet inom mediasessionen. Det är en självständig funktion mellan faciliteter hos klientterrninaler så snart deltagarna i en viss mediasession har definierats. Det är troligt att ha en distributionsenhet, såsom en administrerande portal, som hanterar “ åtkomstmöjlighet för användare som är villiga att delta i en viss mediasession.

Nödvändig identifiering, autenticering och godkännande av deltagare inom en viss mediasession utförs, men en detaljerad beskrivning av dessa steg anses ligga utanför skyddsomfånget för denna uppfinning och kommer därför att här utelämnas. En möjlig deltagare som vill ta del av en mediahändelse möts av portalen, och portalen är också platsen från vilken mediasessionema görs tillgängliga, eller med vilken ett s.k. elektroniskt möte med ett flertal deltagare görs tillgängligt, eller en realtids- multimediahändelse distribueras till åtskilliga användare.

Mediasessionen, vilken är ett definierat antal användare i ett internt eller extemt datanät, där användarna har tillgång till en mediasession för godkända deltagare, är lämpligt för datatransmission tack vare sin skalbarhet och flexibilitet. I de flesta tänkbara situationer inkluderar mediasessionema användare och deras respektive bildtagande anordningar på olika platser, varför Intemet företrädesvis kan användas för att transportera data mellan klientterrninalema för deltagande användare.

Emellertid gäller att för att använda Intemet som ett organ för distribution måste begränsningar i meddelandetransport, såsom s.k. time-to-live-pararnetrar, anpassas till det distributionsorgan för meddelanden som används. T.ex. gäller att en para- meter som begränsar transporten av meddelanden till en specifik klienttenninal, 10 15 20 25 30 . »n II . . n» - ß ", "'I .". .' a . u 1 v c u' I 0 ' ' f o oo n I n u» , .. u a c I z ,.. y .snus II I nu nu .u v | ß v» 0 , n n -I n , a u v . a » I '* n: 7 såsom om time-to-live är inställt till O, kan denna inte användas när kommunikation skall upprättas mellan olika klientterrninaler.

Med hänvisning till fig. 2 avbildas med ett flödesschema det sekventiella flödet av operationella steg i enlighet med föreliggande uppfinning. Sekvensen påbörjas (S10) med en första applikation 10, vilken i de flesta fall är någon av ett flertal faciliteter 10, 20, 30 hos klientterminaler, som startar (S20) bildupptagnings- och trans- i missionsanordningen 60 under utnyttjande av ett standardiserat applikations- protokollsgränssnitt hos operativsystemet. Därefter kommer en andra facilitet 20, 30 hos en klienttenninal' att försöka öppna (S20) samma anordning, men denna facilitet kommer att misslyckas, eftersom anordningen för närvarande är upptagen av att skicka rådata till den första faciliteten 10. Bildtagande organ och operativsystem som beskrivits tidigare i känd teknik är inte anpassade att skicka ut dataflödet till ett stort antal faciliteter hos klientterrninaler, och således blockerar den första faciliteten hos klientterminalen transmission av det råa dataflödet till andra användare eller potentiella mediakonsumenter. Emellertid, och i enlighet med uppfinningen, kommer den andra faciliteten hos klientterminalen, vilken är någon av de åtminstone en och därmed förbundna faciliteterna 20, 30 inom den definierade mediasessionen 50, 52, 54, att skicka (S50) ett meddelande under utnyttjande av IP- multicast inom värddatom. Genom att utnyttja definitionen time-to-live inställd till 0, kommer meddelandet att distribueras precis inom den gemensamma kommunika- tionssessionen 56, och den första faciliteten 10 hos klientterminalen, vilken har etablerat en förbindelse för dataflödet med det bildtagande organet, kommer att motta detta interna meddelande inom den gemensamma kommunikationssessionen.

Meddelandet innehåller en begäran om en kopia av videoflödet liksom namnet på anordningen och namnet på porten på anordningen (videoupptagningshårdvara har vanligtvis flera inmatningsportar för olika slags hårdvaruförbindelser). Om begäran överensstämmer med de aktuella på förhand bestämda inställningarna hos den första faciliteten hos klientterrninalen, kommer denna att svara den andra faciliteten hos klientterrninalen att den kommer att hantera denna i ett server-klientförhållande. 10 15 20 25 30 nu I u n :nu n t f ' ' ' 'g ,"| |'.v n ---~-.:~.: . . _ .n :i-.Än no ' "' "- ç i n=l g o u 1 2 . » » . . .- i." 8 Detta har till följd att den andra faciliteten hos klientterrninalen öppnar en lämplig sockel och den första faciliteten kan skicka (S80) en kopia av videoflödet till den andra faciliteten. Den andra faciliteten skickar (S50) sedan kontinuerligt (dvs. var tionde sekund) ett meddelande till den första faciliteten att den fortfarande vill ha en kopia av flödet, och så snart som dessa meddelanden inte längre kommer stoppar den första faciliteten hanteringen av den andra faciliteten. I fall en tredje facilitet hos klientterminalen 20, 30, vilken inte tidigare varit inblandad i transmissionen, också vill ha en kopia, kommer proceduren att vara samma som för den andra faciliteten, och den första faciliteten hos klientterrninalen kommer då att skicka en kopia till både den andra och den tredje faciliteten hos klientterrninalen.

Time-to-live, TTL, är ett allmänt utbrett sätt att fastställa och begränsa hur långt IP- multicastmeddelanden skall nå i ett datornät. TTL inställt till 0 betyder att med- delanden inte får lämna värden. TTL inställt till 1 betyder att ett meddelande inte får lämna det lokala nätet, dvs. får inte passera bortom den forsta routern, vilken är växeln som dirigerar nättrafik.

Om den forsta faciliteten hos klientterminalen skulle sluta skicka meddelanden av någon anledning, genom användarinteraktion eller programfel, kommer de klienter som är beroende av dessa att detektera saken och tolka frånvaron av meddelanden skickade från den första faciliteten hos klientterminalen som ett avbrott i sändning.

Vidare kommer den också explicit att notera att dataflödet har avbmtits. Som svar på mottagande av ett notifieringsmeddelande eller avsaknaden av data, kommer de andra eller tredje facilitetema hos klientterminalen båda att försöka öppna det bildtagande organet och slumpen avgör vem som först kommer att etablera för- bindelsen med videokameran eller webkameran. Ifall det finns en tredje facilitet hos klientterminalen som först upprättar förbindelsen kommer denna att bli den nya servem. Den andra faciliteten hos klientterminalen som inte först klarade av att öppna anordningen kommer att fortsätta med en klientbegäran till den tredje faciliteten enligt ovanstående. 10 15 20 25 30 5 2 4 9 8 9 31:; "If .i z -II u . . ~ | n u 9 För att spara bandbredd medan bildkvaliteten upprätthålls kan dataflödet också skickas mellan den första faciliteten och den andra faciliteten hos klientterrninalen i kodad form, dvs. det råa videoflödet överförs i en form som erfordrar lägre band- bredd. Om den första faciliteten exempelvis kodar till M-JPEG-format kommer det kodade flödet att kunna skicka till de andra och tredje facilitetema hos klientter- minalen i stället för det råa dataflödet. Detta M-JPEG-format används i en första utföringsform av föreliggande uppfinning.

I enlighet med en alternativ utföringsform av uppfinningen är det i stället för att skicka en kodad kopia till facilitetema hos klientterminalen möjligt att låta servem skicka flödet direkt till sin destination. Detta skulle spara databehandlingskapacitet i klientterminalen men i stället erfordra delning av logik mellan klienten och servem i större utsträckning. T.ex. gäller att om klientterminalen vill kryptera det utgående flödet måste det dela sin kryptografiska information med servem, vilket måste hanteras för att bibehålla säkerheten hos applikationen. I fallet vid utnyttjande av s.k. unicastdataflöden mot en unicastreflektor tillsammans med en brandvägg, där trafik måste komma från en viss port, måste ytterligare information tillhandahållas till involverade enheter, för att passera säkerhetsarrangemang utan störningar. Även om det bästa utförandet av föreliggande uppfinning är mer flexibelt och inte er- fordrar dessa nämnda ytterligare särdrag skulle den alternativa utiöringsformen kunna användas i vissa situationer, när det finns en brist på exempelvis data- behandlingskapacitet.

Föreliggande uppfinning är tillämpbar i olika sammanhang, där delning av en videoanordning är önskvärd. Detta skulle kunna vara exempelvis en lokal TV- applikation, där två olika applikationer, såsom ett program för visning av TV och en TV-inspelare, drivs på samma maskin. I tidigare känd teknik beskrivs detta och dess hantering med hjälp av programvara från samma företag. Fastän TV-applikationer idag kan stödja både visning och inspelning samtidigt, delar de inte videoflödet a . ø | u a 524 9 89 :~:~::.::=~:; -° 10 mellan olika applikationer utan delar i stället flödet inom samma applikations- instans.

I enlighet med föreliggande uppfinning utvecklas programvara parallellt med anordningen för distribution av signaler. Programvaran finns i ett minne som är anslutet till anordningen. Programvaran är utformad for att instruera hårdvaran att utföra de sekventiella förfarandesteg som beskrivs med hänvisning till fig. 2.

Claims (16)

10 15 20 25 30 524 989 ;'°;":f_="=="= I'- n - | | a u 11 Patentkrav

1. Anordning för distribution av flödande signaler mellan en grupp av olika delta- gande användare i ett datomät, där användama har tillgång till klienttenninaler med multipla faciliteter (10, 20, 30) fór åtkomstmöjlighet och deltagande i olika mediasessioner, där anordningen innefattar: bildtagande organ (60) som är anpassat att uppfånga och skicka en flö- dande signal inom åtminstone en upprättad mediasession (50, 52, 54), där ses- sionen definieras av användama i ett datornät som har åtkomstmöjlighet till sig- nalflödet, en forsta facilitet (10) hos klientterminalen som är ansluten till media- sessionen, där faciliteten har en upprättad förbindelse med det bildtagande orga- net for mottagning av den flödande signalen som skickas ut därifrån, kännetecknad av att en andra facilitet (20, 30) hos klientterminalen är anpassad att skicka ut en begäran inom en gemensam session (56), där begäran instruerar den forsta fa- ciliteten hos klientterrninalen att tillhandahålla en kopia till den andra faciliteten av signalflödet som skickas från det bildtagande organet, for att tillåta använda- ren åtkomst till multipla mediasessioner samtidigt genom att mottaga kopian som ursprungligen tillhandahölls endast en av faciliteterna.

2. . Anordning for distribution av flödande signaler enligt krav 1, kännetecknad av att den gemensamma sessionen är en dedicerad kommunikationskanal till vilka alla faciliteter hos klienttenninalen har kontinuerlig åtkomst.

3. . Anordning for distribution av flödande signaler enligt krav 1 eller 2, känneteck- nad av att 10 15 20 25 30 ~ . > a u a 12 den gemensamma sessionen är en lokalt allokerad multicastgrupp hos klientterminalen.

4. Anordning for distribution av flödande signaler enligt något av kraven l till 3, kännetecknad av att det skickade signalflödet är någotdera av ett bild- eller audioinforma- tionssignalflöde.

5. Anordning för distribution av flödande signaler enligt något av kraven 1 till 3, kännetecknad av att det skickade signalflödet är ett videosignalflöde innefattande både bild- och audioinforrnation.

6. Anordning for distribution av flödande signaler enligt krav 1, kännetecknad av att faciliteter (10, 20, 30) hos klientterminalen är aktiverade programin- stanser som är oberoende av andra aktiverade programinstanser hos klienttermi- nalen.

7. Anordning for distribution av flödande signaler enligt något av kraven 1 till 6, kännetecknad av att kopian av signalflödet som tillhandahålls den andra faciliteten hos kli- entterminalen är en komprimerad version av det ursprungligen skickade signal- flödet.

8. Anordning för distribution av flödande signaler enligt något av kraven 1 till 7, kännetecknad av att kopian av signalflödet som tillhandahålls den andra faciliteten hos kli- entterminalen är en kodad version av det ursprungligen skickade signalflödet. 10 15 20 25 30 5 2 4 9 8 9 §II3 2": "ïï . 2": =II: 1-"22 ï: - ~ ø | u Q 13

9. Anordning för distribution av flödande signaler enligt något av kraven 1 till 8, kännetecknad av att kopian av signalflödet som tillhandahålls den andra faciliteten hos kli- entterrninalen är i ett M-JPEG-format av det ursprungligen skickade bild- och audiosignalflödet.

10. Anordning för distribution av flödande signaler enligt något av föregående krav, kännetecknad av att det bildtagande organet är en videokamera, såsom en digital videoka- lTlCfa.

11.Anordning för distribution av flödande signaler enligt något av föregående krav, kännetecknad av att det bildtagande organet är en webkamera i förbindelse med någon av klientterminalerna.

12. Förfarande för distribution av information mellan en grupp av olika deltagande användare i ett datornät, där användarna har tillgång till klientterminaler med multipla faciliteter (10, 20, 30) för åtkomst och deltagande i åtminstone en me- diasession, förfarandet innefattande stegen: uppfångande och skickande av en flödande signal från ett bildtagande organ (60) för distribution inom åtminstone en upprättad mediasession (50, 52, 54) som definieras av användare i ett datornät som har åtkomst till det skickade signalflödet, upprättande av en förbindelse mellan den första faciliteten (10) hos kli- entterminalen och bildtagande organ för mottagande av ett signalflöde som skickas ut därifrån, kännetecknat av stegen: en andra facilitet (20, 30) hos klientterrninalen skickar en begäran (S50) inom en gemensam session (56), och 10 15 20 25 52 4 9 š-ï: ...ing- ENE UIEIä-E: .. f., _... 14 den första faciliteten hos klientterminalen mottar begäran (S70) som en instruktion för att tillhandahålla (S80) den andra faciliteten hos klientterrninalen en kopia av signalflödet som skickas från det bildtagande organet.

13. Förfarande för distribution av information enligt krav 12, vidare kännetecknat av steget: distribution av ett signalflöde som antingen är en bild- eller audiosignal som skickas som ett flöde mellan deltagare i mediasessionen.

14. Förfarande för distribution av information enligt krav 12, vidare kännetecknat av steget: distribution av en strömmande signal som är en kombination av en bild- och audiosignal, vilken skickas som flödande video mellan deltagare i mediases- sionen.

15. Förfarande för att distribuera information enligt något av kraven 12 till 14, vida- re kännetecknat av steget att: utnyttja faciliteter (10, 20, 30) hos klientterminalen som aktiverade pro- graminstanser vilka är oberoende av andra aktiverade programinstanser hos kli- entterminalen.

16. Datorprogramprodukt för distribution av flödande signaler inom en grupp av an- vändare i ett datomät, där datorprogramprodukten är integrerad och överförbar mellan innefattade enheter enligt kraven 1 till 11, och där datorprogramproduk- ten är anpassad för att utföra förfarandestegen i kraven 12 till 15.