KR20140128400A - 멀티미디어 데이터 전송 방법, 장치, 및 시스템 - Google Patents
멀티미디어 데이터 전송 방법, 장치, 및 시스템 Download PDFInfo
- Publication number
- KR20140128400A KR20140128400A KR1020147024530A KR20147024530A KR20140128400A KR 20140128400 A KR20140128400 A KR 20140128400A KR 1020147024530 A KR1020147024530 A KR 1020147024530A KR 20147024530 A KR20147024530 A KR 20147024530A KR 20140128400 A KR20140128400 A KR 20140128400A
- Authority
- KR
- South Korea
- Prior art keywords
- multimedia data
- client
- module
- multimedia
- data packet
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 230000005540 biological transmission Effects 0.000 title claims description 95
- 238000005538 encapsulation Methods 0.000 claims abstract description 15
- 238000012545 processing Methods 0.000 claims description 43
- 230000002194 synthesizing effect Effects 0.000 claims description 7
- 230000015572 biosynthetic process Effects 0.000 claims description 6
- 238000012937 correction Methods 0.000 claims description 6
- 230000007246 mechanism Effects 0.000 claims description 6
- 238000003786 synthesis reaction Methods 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 5
- 238000011084 recovery Methods 0.000 claims description 5
- 230000006978 adaptation Effects 0.000 claims description 3
- 230000011664 signaling Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 10
- 230000004044 response Effects 0.000 description 8
- 230000003993 interaction Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 230000006835 compression Effects 0.000 description 4
- 238000007906 compression Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000007726 management method Methods 0.000 description 4
- 230000006855 networking Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000011144 upstream manufacturing Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 230000006837 decompression Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000002699 waste material Substances 0.000 description 2
- 101150012579 ADSL gene Proteins 0.000 description 1
- 102100020775 Adenylosuccinate lyase Human genes 0.000 description 1
- 108700040193 Adenylosuccinate lyases Proteins 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M3/00—Automatic or semi-automatic exchanges
- H04M3/42—Systems providing special services or facilities to subscribers
- H04M3/56—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
- H04M3/567—Multimedia conference systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/40—Support for services or applications
- H04L65/403—Arrangements for multi-party communication, e.g. for conferences
- H04L65/4038—Arrangements for multi-party communication, e.g. for conferences with floor control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/40—Support for services or applications
- H04L65/403—Arrangements for multi-party communication, e.g. for conferences
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/75—Media network packet handling
- H04L65/765—Media network packet handling intermediate
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
- H04N7/152—Multipoint control units therefor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/70—Media network packetisation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Telephonic Communication Services (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
본 발명은 멀티미디어 데이터를 전송하는 방법, 장치 및 시스템을 개시한다. 클라이언트가, 멀티미디어 회의실에 액세스한 후, 전송될 멀티미디어 데이터를 인코딩하고, 다지점 제어 유닛에 상기 인코딩된 멀티미디어 데이터를 전송한다. 상기 클라이언트가, 상기 다지점 제어 유닛에 의해 송신된 멀티미디어 데이터 패킷을 수신한다. 상기 멀티미디어 데이터 패킷은, 상기 다지점 제어 유닛에 의해, 상기 멀티미디어 회의실 내의 하나 이상의 클라이언트에 의해 송신된 멀티미디어 데이터의 캡슐화를 통해 획득된다. 상기 클라이언트가, 상기 멀티미디어 데이터 패킷을 디코딩하고, 상기 멀티미디어 데이터 패킷을 디코딩한 후에 획득된 멀티미디어 데이터를 합성하고, 합성된 멀티미디어 데이터를 표시한다.
Description
본 발명은 인터넷 비디오 기술에 관한 것으로, 더욱 구체적으로는, 멀티미디어 데이터를 전송하는 방법, 장치, 및 시스템에 관한 것이다.
멀티미디어 데이터 전송 시스템에서는, 상이한 장소의 둘 이상의 사용자나 그룹이 음성, 비디오 및 문서 등의 멀티미디어 데이터를 전송 라인 및 멀티미디어 기기를 통해 서로에게 전송하여, 즉각적인 쌍방향 통신을 달성하고, 이에 따라 회의가 실현될 수도 있다.
도 1은 종래의 멀티미디어 데이터 전송 시스템을 나타낸 개략도이다. 도 1에 도시된 바와 같이, 시스템은 다지점 제어 유닛(Multi-point Control Unit, MCU) 및 클라이언트를 포함한다. MCU는 사설 네트워크(private network)를 사용하여 클라이언트와 통신한다. MCU는 다지점 제어기 및 다지점 미디어 프로세서를 포함한다. 다지점 제어기는 멀티미디어 회의 서버(multimedia conference server)일 수 있다. 멀티미디어 회의 서버는 사용자에게 복수의 가상 멀티미디어 회의실을 제공할 수 있다. 사용자는 클라이언트를 통해 멀티미디어 회의실을 선택하거나 생성할 수 있다. 멀티미디어 회의실에 액세스한 후, 사용자는 그 멀티미디어 회의실에 액세스하는 다른 사용자와 멀티미디어 데이터를 사용하여 상호작용할 수 있다.
멀티미디어 데이터 전송 시스템은 주로 시그널링 전송(singling transmission), 서버 시스템 간의 시그널링 제어 및 멀티미디어 데이터 전송에 관여한다. 시그널링 전송은 다지점 제어기와 클라이언트 간의 상호작용에 사용된다. 서버 시스템 간의 제어 시그널링은 다지점 제어기와 다지점 미디어 프로세서 사이의 상호작용에 사용된다. 멀디미디어 데이터 전송은 다지점 미디어 프로세서와 클라이언트 사이의 상호작용에 사용된다. 사용자가 멀티미디어 데이터 전송 시스템에 액세스하기를 원할 때, 사용자는 클라이언트와 다지점 제어기 사이의 시그널링 상호작용을 통해 클라이언트를 경유하여 다지점 제어기와 상호작용하고, 다지점 제어기는, 다지점 제어기와 다지점 미디어 프로세서 간의 시그널링 제어를 통해 다지점 미디어 프로세서와 상호작용하고, 다지점 제어기와 다지점 미디어 프로세서 간의 상호작용의 결과에 따라, 사용자는 멀티미디어 데이터 전송 시스템의 멀티미디어 회의실에 액세스된다.
도 2는 도 1에 기초한 멀티미디어 데이터를 전송하는 종래의 방법을 나타낸 개략 흐름도이다. 도 2에 도시된 바와 같이, 상기 방법은 다음과 같은 처리를 포함한다.
201에서, 클라이언트는 다지점 제어기에 멀티미디어 호 시그널링(multimedia call signaling)을 송신하여 호 연결(call connection)을 확립한다.
클라이언트는 로그인 모드 또는 등록 모드로 멀티미디어 데이터 전송 시스템에 액세스할 수 있다. 로그인 모드가 선택되면, 멀티미디어 호 시그널링은 사용자 번호, 사용자 암호 및 멀티미디어 회의실 식별정보(identification) 등과 같은 정보를 포함한다. 등록 모드가 선택되면, 멀티미디어 호 시그널링 정보는 포함되지 않을 수 있다
멀티미디어 회의실은 오디오 회의실, 비디오 회의실 또는 데이터 회의실일 수 있다.
멀티미디어 호 시그널링을 사용함으로써, 클라이언트와 다지점 제어기는, 호 확립(call establishment), 호 처리, 호 경고(call warning), 호 연결 및 호 해제(call release) 등의 처리를 수행할 수 있다.
202에서, 다지점 제어기 및 다지점 미디어 프로세서는 서버 시스템 간의 시그널링 제어를 통해 클라이언트와 멀티미디어 회의실 사이에 액세스 채널을 확립한다.
로그인 모드가 선택되면, 다지점 제어기는 사용자에 대한 인증을 수행한다. 사용자가 인증을 통과한 후, 다지점 제어기는 서버 시스템 간의 시그널링 제어를 통해 다지점 미디어 프로세서와 상호작용하여, 사용자에게 전송 대역폭을 할당하고, 입력 채널 및 출력 채널을 구성하고, 다지점 미디어 프로세서로부터 멀티미디어 회의실의 식별정보에 대응하는 멀티미디어 회의실을 획득하고, 사용자와 멀티미디어 회의실 간의 액세스 채널을 확립한다. 등록 모드가 선택되면, 다지점 제어기는 다지점 미디어 프로세서로부터 멀티미디어 회의실을 획득하고, 클라이언트에게 획득된 멀티미디어 회의실을 표시하여, 사용자가 원하는 멀티미디어 회의실을 선택할 수 있도록 하거나 새로운 멀티미디어 회의실을 생성하여 등록할 수 있도록 한다. 사용자의 등록이 성공한 후에, 다지점 제어기는 사용자에게 전송 대역폭을 할당하고, 입력 채널 및 출력 채널을 구성하고, 사용자와 멀티미디어 회의실 간의 액세스 채널을 확립한다. 새로운 멀티미디어 회의실이 생성될 때, 다지점 제어기는 사용자를 위한 믹서(mixer), 예를 들어, 멀티 픽처 믹서(multi-picture mixer), 사운드 믹서(sound mixer)를 생성하고, 입력 채널 및 출력 채널을 추가한다.
203에서, 다지점 제어기가 클라이언트에 멀티미디어 호 시그널링 응답을 회신한다(return).
204에서, 클라이언트가 멀티미디어 회의실에 액세스하고, 멀티미디어 데이터를 인코딩하고, 다지점 미디어 프로세서에 인코딩된 멀티미디어 데이터를 송신한다.
멀티미디어 회의실의 다른 멤버와, 비디오 데이터와 같은, 멀티미디어 데이터를 공유하기로 결정한 후에, 사용자는 클라이언트를 통해 비디오 이미지 정보를 취득하고, 비디오 이미지 정보의 인코딩 및 압축과 같은 처리를 수행하여, 처리된 비디오 이미지 정보를 다지점 미디어 프로세서에 전송한다.
다지점 미디어 프로세서와 클라이언트 사이의 멀티미디어 데이터의 전송에는 실시간 전송 프로토콜(Real-time Transport Protocol, RTP) 및 실시간 제어 프로토콜(Real-time Control Protocol, RTCP)을 사용할 수 있다.
205에서, 다지점 미디어 프로세서가 각 클라이언트에 의해 송신된 멀티미디어 데이터를 수신하여, 그 멀티미디어 데이터를 디코딩하고, 각각의 디코딩된 멀티미디어 데이터를 합성한다(compose).
멀티미디어 회의실, 예를 들어, 비디오 회의실에서, 각 멤버는 실시간으로 다른 멤버의 비디오 정보를 알 필요가 있고, 다지점 미디어 프로세서는 각 클라이언트에 의해 송신된 멀티미디어 데이터를 디코딩하고, 각각의 디코딩된 멀티미디어 데이터를 합성하여 합성된 멀티미디어 데이터 내에 각 클라이언트의 멀티미디어 데이터를 포함한다.
206에서, 다지점 미디어 프로세서가 합성된 멀티미디어 데이터를 인코딩한 다음, 표시를 위해 각 클라이언트에 송신한다.
다지점 미디어 프로세서는 합성된 멀티미디어 데이터를 인코딩한 다음, 브로드캐스팅(broadcasting)을 통해 멀티미디어 회의실 내의 각 클라이언트에게 인코딩된 멀티미디어 데이터를 송신한다. 클라이언트는 그 인코딩된 멀티미디어 데이터를 수신하여, 압축해제 및 디코딩하고, 그 멀티미디어 데이터를 표시한다. 따라서, 사용자는 실시간으로 다른 사용자의 멀티미디어 데이터를 얻을 수 있고, 이에 따라 멀티미디어 데이터는 사용자 사이에서 공유된다.
또한, 멀티미디어 데이터 전송의 신뢰성을 보장하기 위해, 다지점 미디어 프로세서는 손실 패킷의 재전송 전략을 사용하여 네트워크 패킷 손실을 줄일 수 있다.
알 수 있는 바와 같이, 종래의 멀티미디어 데이터 전송 시스템에서, 다지점 미디어 프로세서는 오디오 및 비디오 데이터 스트림과 같은 수신된 멀티미디어 데이터에 대해 압축해제, 디코딩, 압축, 인코딩 등의 처리를 수행하도록 요구받는다. 많은 수의 클라이언트가 다지점 미디어 프로세서에 액세스되기 때문에, 다지점 미디어 프로세서의 데이터 처리 성능에 대한 요구가 높다. 다지점 미디어 프로세서의 데이터 처리 성능을 향상시키기 위해 고 비용이 필요하기 때문에, 멀티미디어 데이터 전송 시스템의 사용 비용이 증가한다.
본 발명의 실시예는 멀티미디어 데이터 전송 시스템의 사용 비용을 감소시키기 위한, 멀티미디어 데이터를 전송하는 방법, 장치 및 시스템을 제공한다.
멀티미디어 데이터를 전송하는 방법은,
클라이언트가, 멀티미디어 회의실에 액세스한 후, 전송될 멀티미디어 데이터를 인코딩하고, 다지점 제어 유닛에 상기 인코딩된 멀티미디어 데이터를 전송하는 단계;
상기 클라이언트가, 상기 다지점 제어 유닛에 의해 송신된 멀티미디어 데이터 패킷을 수신하는 단계; 및
상기 클라이언트가, 상기 멀티미디어 데이터 패킷을 디코딩하고, 상기 멀티미디어 데이터 패킷을 디코딩한 후에 획득된 멀티미디어 데이터를 합성하고, 합성된 멀티미디어 데이터를 표시하는 단계를 포함하고,
상기 멀티미디어 데이터 패킷은, 상기 다지점 제어 유닛에 의해, 상기 멀티미디어 회의실 내의 적어도 하나의 클라이언트에 의해 송신된 멀티미디어 데이터의 캡슐화를 통해 획득된다.
멀티미디어 데이터를 전송하는 장치는,
다지점 제어 유닛과 상호작용하여 멀티미디어 회의실에 액세스하는 액세스 인증 모듈;
전송될 멀티미디어 데이터를 인코딩하여 인코딩된 멀티미디어 데이터를 출력하는 인코딩 모듈;
상기 인코딩된 멀티미디어 데이터를 송신하는 멀티미디어 데이터 송신 모듈;
상기 다지점 제어 유닛에 의해 송신된 멀티미디어 데이터 패킷을 수신하여 상기 멀티미디어 데이터 패킷을 출력하는 멀티미디어 데이터 패킷 수신 모듈;
상기 멀티미디어 데이터 패킷을 디코딩하여 상기 멀티미디어 데이터 패킷을 디코딩한 후에 획득된 멀티미디어 데이터 패킷을 출력하는 디코딩 모듈; 및
상기 멀티미디어 데이터 패킷을 디코딩한 후에 획득된 멀티미디어 데이터를 합성하여 합성된 멀티미디어 데이터를 표시하는 합성 모듈을 포함하고,
상기 멀티미디어 데이터 패킷은, 상기 다지점 제어 유닛에 의해, 상기 멀티미디어 회의실 내의 하나 이상의 클라이언트에 의해 송신된 멀티미디어 데이터의 캡슐화를 통해 획득된다.
멀티미디어 데이터를 전송하는 장치는,
하나의 멀티미디어 회의실 내의 클라이언트에 의해 송신된 멀티미디어 데이터를 수신하고 상기 멀티미디어 데이터를 출력하는 멀티미디어 데이터 수신 모듈;
상기 멀티미디어 데이터 수신 모듈에 의해 출력된 멀티미디어 데이터를 멀티미디어 데이터 패킷으로 캡슐화하고 상기 멀티미디어 데이터 패킷을 출력하는 멀티미디어 데이터 패킷 캡슐화 모듈; 및
상기 멀티미디어 데이터 패킷 캡슐화 모듈에 의해 출력된 멀티미디어 데이터 패킷을 상기 클라이언트에 송신하는 멀티미디어 데이터 패킷 송신 모듈을 포함한다.
멀티미디어 데이터를 전송하는 시스템은, 클라이언트 및 다지점 제어 유닛을 포함하고,
상기 클라이언트는, 상기 다지점 제어 유닛과 상호작용하여 멀티미디어 회의실에 액세스하고; 전송될 멀티미디어 데이터를 인코딩하여 인코딩된 멀티미디어 데이터를 상기 다지점 제어 유닛에 출력하고; 상기 다지점 제어 유닛에 의해 송신된 멀티미디어 데이터 패킷을 수신하고, 상기 멀티미디어 데이터 패킷을 디코딩하고, 상기 멀티미디어 데이터 패킷을 디코딩한 후에 획득된 멀티미디어 데이터를 합성하여 합성된 멀티미디어 데이터를 표시하는, 것이고;
상기 다지점 제어 유닛은, 상기 클라이언트와 상호작용하여 상기 클라이언트를 상기 멀티미디어 회의실에 액세스하게 하고; 상기 멀티미디어 회의실 내의 클라이언트에 의해 송신된 멀티미디어 데이터를 멀티미디어 데이터 패킷으로 캡슐화하고; 상기 멀티미디어 회의실 내의 클라이언트에 상기 멀티미디어 데이터 패킷을 송신하는, 것이다.
알 수 있는 바와 같이, 본 발명의 실시예에 따른 멀티미디어 데이터를 전송하는 방법, 장치 및 시스템에서는, 전송될 멀티미디어 데이터를 인코딩하여 다지점 제어 유닛에 송신하고, 다지점 제어 유닛에 의해 송신된 멀티미디어 데이터 패킷을 수신한다. 각 클라이언트에 의해 송신되는, 수신된 멀티미디어 데이터를 다지점 제어 유닛에 의해 캡슐화함으로써 멀티미디어 데이터 패킷을 획득한다. 멀티미디어 데이터 패킷을 디코딩하고, 멀티미디어 데이터 패킷을 디코딩한 후에 획득된 멀티미디어 데이터를 합성하여 표시한다. 다지점 제어 유닛은 오직 각 클라이언트에 의해 송신되는, 수신된 멀티미디어 데이터를 멀티미디어 데이터 패킷으로 캡슐화하고, 그 멀티미디어 데이터 패킷을 송신하므로, 데이터 처리 능력에 대한 요구가 낮고, 대량의 계산을 수행할 필요가 없으며, 저비용이므로, 멀티미디어 데이터 전송 시스템의 사용 비용을 절감한다. 또한, 멀티미디어 데이터를 송신, 수신, 합성 및 표시하는 전 과정에서, 인코딩, 압축, 압축해제 및 디코딩의 처리가 한 번만 필요하므로, 시스템의 데이터 처리 능력에 대한 요구를 감소시켜 시스템 자원을 절약한다.
도 1은 종래의 멀티미디어 데이터 전송 시스템을 나타낸 개략도이다.
도 2는, 도 1에 기초한 멀티미디어 데이터를 전송하는 종래의 방법을 나타낸 개략 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 멀티미디어 데이터를 전송하는 시스템을 나타낸 개략도이다.
도 4는 본 발명의 일 실시예에 따른 클라이언트를 나타낸 개략도이다.
도 5는 본 발명의 일 실시예에 따른 다지점 미디어 프로세서를 나타낸 개략도이다.
도 6은 본 발명의 일 실시예에 따른 멀티미디어 데이터를 전송하는 방법을 나타내는 개략 흐름도이다.
도 7은 본 발명의 일 실시예에 따른 멀티미디어 데이터를 전송하는 방법을 나타내는 개략 흐름도이다.
도 2는, 도 1에 기초한 멀티미디어 데이터를 전송하는 종래의 방법을 나타낸 개략 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 멀티미디어 데이터를 전송하는 시스템을 나타낸 개략도이다.
도 4는 본 발명의 일 실시예에 따른 클라이언트를 나타낸 개략도이다.
도 5는 본 발명의 일 실시예에 따른 다지점 미디어 프로세서를 나타낸 개략도이다.
도 6은 본 발명의 일 실시예에 따른 멀티미디어 데이터를 전송하는 방법을 나타내는 개략 흐름도이다.
도 7은 본 발명의 일 실시예에 따른 멀티미디어 데이터를 전송하는 방법을 나타내는 개략 흐름도이다.
본 발명의 목적, 기술적 방안 및 이점을 더욱 명확하게 하기 위해, 이하에 첨부 도면과 구체적인 실시예를 참조하여 본 발명에 대해 상세하게 설명한다.
도 3은 본 발명의 실시예에 따른 멀티미디어 데이터를 전송하는 시스템을 나타낸 개략도이다. 도 3에 도시된 바와 같이, 시스템은 적어도 하나의 클라이언트 및 다지점 제어 유닛을 포함한다.
클라이언트는, 다지점 제어 유닛과 상호작용하여 멀티미디어 데이터 전송 시스템에 액세스하고, 멀티미디어 데이터를 인코딩하여 다지점 제어 유닛에 인코딩된 멀티미디어 데이터를 출력하는 것이다. 클라이언트는 또한, 다지점 제어 유닛으로부터 송신된 멀티미디어 데이터 패킷을 수신하고, 그 멀티미디어 데이터 패킷을 디코딩하며, 디코딩된 멀티미디어 데이터를 합성하고, 합성된 멀티미디어 데이터를 표시하는 것이다.
본 발명의 일 실시예에서, 클라이언트가, 다지점 제어 유닛과 양방향 인증(interactive authentication)을 통해, 멀티미디어 데이터 전송 시스템에 액세스하는 절차는, 관련 기술을 참조할 수 있으므로, 여기에 설명하지 않는다. 예를 들어, 사용자는, 액세스된 멀티미디어 데이터 전송 시스템의 멀티미디어 회의실의 각 멤버와, 비디오 데이터와 같은, 멀티미디어 데이터를 공유하기로 결정하면, 클라이언트를 통해 비디오 이미지 정보를 획득하고, 그 비디오 이미지 정보에 대해 인코딩 및 압축과 같은 처리를 수행하고, 다지점 제어 유닛에 처리된 비디오 이미지 정보를 전송한다.
클라이언트는 다지점 제어 유닛에서 송신된 멀티미디어 데이터 패킷을 수신하고, 그 멀티미디어 데이터 패킷을 디코딩하여 멀티미디어 회의실 내의 클라이언트에 의해 송신되는 다중화된 멀티미디어 데이터를 획득하고, 획득된 다중화된 멀티미디어 데이터를 합성하고, 사용자에게 합성된 멀티미디어 데이터를 표시한다.
본 발명의 일 실시예에서, 클라이언트에 의해 수신되는 다중화된 멀티미디어 데이터는 멀티미디어 회의실 내의 모든 클라이언트에 의해 송신된 멀티미디어 데이터를 포함할 수 있다. 이러한 경우에, 클라이언트는 직접 획득된, 다중화된 멀티미디어 데이터를 합성하여 사용자에게 합성된 멀티미디어 데이터를 표시한다.
본 발명의 일 실시예에서, 클라이언트에 의해 수신되는 다중화된 멀티미디어 데이터는 멀티미디어 회의실 내의 클라이언트 자신을 제외한 다른 클라이언트에 의해 송신된 멀티미디어 데이터를 포함할 수 있다, 즉, 클라이언트는 클라이언트 자신에 의해 송신된 멀티미디어 데이터를 수신하지 않는다. 이러한 경우에, 클라이언트는 먼저 멀티미디어 데이터를 로컬로 획득하고, 로컬로 획득된 멀티미디어 데이터와 수신된 멀티미디어 데이터를 합성하고, 사용자에게 합성된 멀티미디어 데이터를 표시한다. 그 결과, 다지점 제어 유닛은 클라이언트에 대응하는 멀티미디어 데이터를 송신할 필요가 없으므로, 대역폭의 낭비를 방지하고 멀티미디어 데이터 전송의 효율을 향상시킨다.
따라서, 본 발명의 실시예에 따른 클라이언트를 사용함으로써, 멀티미디어 데이터 전송 중에 클라이언트가 오직 클라이언트 자신에 의해 송신된 멀티미디어 데이터만을 디코딩하는 상황이 회피되고, 클라이언트의 데이터 처리 능력이 완전히 활용된다. 또한, 클라이언트가 클라이언트 자신의 멀티미디어 데이터를 전송하기 위해 멀티미디어 데이터 전송 시스템에 액세스한 이후이고, 클라이언트가 복수의 클라이언트에 대응하는 멀티미디어 데이터를 표시하기 이전에, 인코딩 및 디코딩의 작업이 한 번만 수행되어, 멀티미디어 데이터 전송 시스템의 데이터 처리 능력에 대한 요구를 감소시킨다.
다지점 제어 유닛은, 각 클라이언트와 상호작용하고, 각 클라이언트를 멀티미디어 데이터 전송 시스템에 액세스하게 하고, 동일한 멀티미디어 회의실 내의 클라이언트로부터 송신되는 수신된 멀티미디어 데이터를 멀티미디어 데이터 패킷으로 캡슐화하고, 그 패킷을 각 클라이언트에 송신하는 것이다.
본 발명의 일 실시예에서, 다지점 제어 유닛은 직접 동일한 멀티미디어 회의실 내의 각 클라이언트에 의해 송신된 멀티미디어 데이터를 멀티미디어 데이터 패킷으로 캡슐화할 수 있고, 각 클라이언트에 멀티미디어 데이터 패킷을 송신할 수 있다. 본 발명의 실시예에서, 다지점 제어 유닛은, 멀티미디어 데이터 패킷의 목표 클라이언트에 따라, 동일한 멀티미디어 회의실 내의 그 목표 클라이언트를 제외한 다른 클라이언트에 의해 송신된 멀티미디어 데이터를 멀티미디어 데이터 패킷으로 캡슐화할 수 있고, 그 패킷을 목표 클라이언트에 송신하여, 전송될 멀티미디어 데이터의 양을 감소시키므로, 대역폭의 낭비를 방지하고 멀티미디어 데이터 전송의 효율을 향상시킨다.
본 발명의 일 실시예에서, 다지점 제어 유닛은 멀티미디어 데이터를 수신하고, 수신된 멀티미디어 데이터를 멀티미디어 데이터 패킷으로 캡슐화한다. 종래의 다지점 제어 유닛과 비교하면, 압축해제, 디코딩, 인코딩 및 압축의 처리가 불필요하므로, 다지점 제어 유닛의 데이터 처리 능력에 대한 요구를 감소시켜, 비용을 증가시키지 않으면서 다지점 제어 유닛의 성능을 향상시키고, 멀티미디어 데이터 전송 시스템의 이용 비용을 감소시킨다.
또한, 멀티미디어 데이터 전송 시스템에 대해 대규모 네트워킹이 이루어질 때, 본 발명의 실시예를 사용함으로써, 다지점 제어 유닛은 수신된 멀티미디어 데이터를 전달(forwarding)만 하므로, 다지점 제어 유닛의 성능에 대한 요구가 낮다. 따라서, 복수의 클라이언트의 네트워킹 및 액세스를 하나의 다지점 제어 유닛으로 실현할 수 있다. 그러나, 종래기술에서는, 단 하나의 다지점 제어 유닛의 성능의 한계로 인해, 대개 캐스케이드 구성(cascade configuration)을 형성하여 복수의 클라이언트의 네트워킹 및 액세스를 달성하기 위해서는 복수의 다지점 제어 유닛을 필요로 한다. 그러나, 기술의 복잡성으로 인해 입력 및 출력 채널이 한정되어, 전체 채널 캐스케이드(full channel cascade)를 달성하기는 매우 어렵다. 따라서, 본 발명의 실시예를 사용함으로써, 여러 클라이언트를 네트워킹하여 캐스케이드의 필요없이 멀티미디어 데이터 전송 시스템에 액세스할 수 있어, 멀티미디어 데이터 전송 시스템의 네트워킹 비용을 매우 감소시키고, 멀티미디어 데이터 전송 시스템의 사용 비용을 감소시킨다.
본 발명의 실시예에서, 다지점 제어 유닛은 다지점 제어기 및 다지점 미디어 프로세서를 포함한다.
다지점 제어기는, 클라이언트와 상호작용하여 클라이언트를 멀티미디어 회의실에 액세스하게 하는 것이다. 본 발명의 실시예에서, 다지점 제어 유닛의 구성, 기능 및 클라이언트와의 상호작용은 도 1에서와 동일하므로, 여기서는 설명을 생략한다.
다지점 미디어 프로세서는, 각 클라이언트에 의해 송신되어 수신된 멀티미디어 데이터를 멀티미디어 데이터 패킷으로 캡슐화하여, 각 클라이언트에 멀티미디어 데이터 패킷을 송신하는 것이다. 본 발명의 실시예에서는, RTP 또는 RTCP를 다지점 미디어 프로세서와 클라이언트 사이의 멀티미디어 데이터 전송에 사용할 수 있다.
비디오 회의 및 애플리케이션의 프로모션과 같은 멀티미디어 데이터 회의 기술의 발전과 더불어, 종래의 멀티미디어 데이터 전송 시스템은 점차 하이엔드 전용 마켓(high-end dedicated market)에서 로우엔드 마켓(low-end market)으로, 즉, 전문가용 비디오 회의에서 대중 소비로 이동되고 있다. 본 발명의 실시예에서, 클라이언트는 오직 클라이언트 자신의 멀티미디어 데이터를 송신하면 되므로, 업스트림 대역폭에 대한 요구는 낮다. 클라이언트는, 각 클라이언트에 의해 송신된 멀티미디어 데이터를 수신해야 하므로, 다운 스트림 대역폭에 대한 요구는 높다. 이러한 특성은 인터넷의 네트워크 특성에 상응하므로, 인터넷이 멀티미디어 데이터 전송에 사용될 수 있다. 따라서, 인터넷 기반 전송 시스템 아키텍처의 복잡도는 낮고, 그 저비용이어서, 대규모 애플리케이션을 용이하게 한다.
도 4는 본 발명의 실시예에 따른 클라이언트를 나타낸 개략도이다. 도 4에 도시된 바와 같이, 클라이언트는 액세스 인증 모듈, 인코딩 모듈, 멀티미디어 데이터 송신 모듈, 멀티미디어 데이터 패킷 수신 모듈, 디코딩 모듈 및 합성 모듈을 포함한다.
액세스 인증 모듈은 다지점 제어 유닛과 상호작용하여 클라이언트를 멀티미디어 데이터 전송 시스템에 액세스하게 하는 것이다.
인코딩 모듈은 사용자에 의해 송신될 멀티미디어 데이터를 인코딩하고, 멀티미디어 데이터 송신 모듈에 인코딩된 멀티미디어 데이터를 출력하는 것이다. 본 발명의 일 실시예에서, 인코딩 모듈은 스케일드 비디오 코딩(Scaled Video Coding, SVC) 기술을 채택한다. 인코딩 프레임 시퀀스는 화면 내 프레임(Intra picture frame), 즉 I 프레임, 차분 프레임(difference frame), 즉 P 프레임 및 전환 예측 프레임(Switching Predictive frame , SP) 등의 유형으로 분류된다
멀티미디어 데이터 송신 모듈은 인코딩된 멀티미디어 데이터를 송신하는 것이다.
멀티미디어 데이터 패킷 수신 모듈은 다지점 제어 유닛에 의해 송신된 멀티미디어 데이터 패킷을 수신하고, 디코딩 모듈에 그 멀티미디어 데이터 패킷을 출력하는 것이다.
디코딩 모듈은 수신된 멀티미디어 데이터 패킷을 디코딩하고, 합성 모듈에 디코딩된 멀티미디어 데이터를 출력하는 것이다.
합성 모듈은 디코딩된 멀티미디어 데이터를 합성하여 합성된 멀티미디어 데이터를 표시하거나, 디코딩된 멀티미디어 데이터와 로컬로 획득된 멀티미디어 데이터를 합성하여 합성된 멀티미디어 데이터를 표시하는 것이다.
종래의 멀티미디어 데이터 전송 시스템은 네트워크 패킷 손실의 문제를 해결하기 위해 손실된 패킷을 재전송하는 전략을 채택하므로, 멀티미디어 데이터 전송 시스템의 전송 지연이 간접적으로 증대되고, 사용자의 서비스 경험을 감소시킨다. 특히, 패킷 손실 및 네트워크 버스트(network burst)가 높은 인터넷에서, 네트워크 비디오 품질은 손실된 패킷을 재전송하는 전략을 이용하여 효율적으로 보장될 수 없다.
본 발명의 실시예에서는, 비디오 스트림과 같은 멀티미디어 데이터를 전송하는 효과를 보장하기 위해, 클라이언트는 전송될 멀티미디어 데이터의 캡슐화 시에, 유연한 순방향 에러 정정(Forward Error Correction, FEC) 전략을 사용하여, 비디오 전송 시의 패킷 손실의 기술적 문제를 해결한다. 일 실시예에 따르면, 데이터 FEC 방법에서 손실 패킷 복구(Lost Packet Recovery, LPR) 메커니즘을 사용함으로써, 클라이언트는 송신될 멀티미디어 데이터에 대한 중복 데이터(redundant data)를 추가하므로, 수신기는 클라이언트에 누락 정보(missing information)의 재송신을 요청할 필요 없이, 에러를 검출하여 정정할 수 있다. 재송신을 기다리지 않고 에러를 정정하는 능력은, FFC를 실시간 통신에 매우 적합한 것으로 만든다. 따라서, 본 발명의 실시예에 따른 클라이언트는 순방향 에러 정정 처리 모듈을 더 포함한다.
순방향 에러 정정 처리 모듈은, LPR 메커니즘에 따라 인코딩 모듈에 의해 인코딩된 멀티미디어 데이터에 중복 데이터를 추가하고, 추가된 중복 데이터를 포함하는 멀티미디어 데이터를 캡슐화하여 멀티미디어 데이터 송신 모듈에 캡슐화된 멀티미디어 데이터를 송신하는 것이다.
본 발명의 일 실시예에서, 실제 애플리케이션에서는, 순방향 에러 정정 처리 모듈은 상이한 프레임 유형의 중요도에 따라 상이한 FEC 제어 방법을 사용할 수 있다. 예를 들어, 강한 FEC 제어 방법은, 세 가지 유형의 프레임 가운데 가장 중요한 유형에 속하는 I 프레임에 사용될 수 있으므로, 수신기가 심지어 패킷 손실이 40%인 프레임을 복구할 수 있도록 한다. FEC 제어 방법은 세 가지 유형의 프레임 가운데 가장 중요하지 않은 유형에 속하는 P 프레임에는 사용될 수 없고, 수신기는 그 프레임에 패킷 손실이 존재하면 그 프레임을 직접 폐기(discard)할 수 있고, 이는 다른 프레임의 순서에 영향을 미칠 수 없다. 이와 같이, 패킷 손실률 사이의 균형, 대역폭 및 계산 복잡도는 FEC 제어 방법을 달리 사용하여 획득된다.
또한, 본 발명의 일 실시예에 따른 클라이언트는, 멀티미디어 데이터 패킷 수신 모듈에 의해 수신된 멀티미디어 데이터 패킷의 패킷 손실률을 카운트하고, 다지점 제어 유닛에 패킷 손실률 정보를 출력하는 것인 멀티미디어 데이터 패킷 패킷 손실률 카운팅 모듈을 더 포함한다.
도 5는 본 발명의 실시예에 따른 다지점 미디어 프로세서를 나타낸 개략도이다. 도 5에 도시된 바와 같이, 다지점 미디어 프로세서는 멀티미디어 데이터 수신 모듈, 멀티미디어 데이터 패킷 캡슐화 모듈 및 멀티미디어 데이터 패킷 송신 모듈을 포함한다.
멀티미디어 데이터 수신 모듈은, 동일한 멀티미디어 회의실 내의 각 클라이언트에 의해 전송된 멀티미디어 데이터를 수신하고, 멀티미디어 데이터 패킷 캡슐화 모듈에 수신된 멀티미디어 데이터를 출력하는 것이다.
멀티미디어 데이터 패킷 캡슐화 모듈은 멀티미디어 데이터 패킷을 클라이언트에 의해 송신되는 수신된 멀티미디어 데이터를 캡슐화하고, 멀티미디어 데이터 패킷 송신 모듈에 멀티미디어 데이터 패킷을 출력하는 것이다.
멀티미디어 데이터 패킷 송신 모듈은 수신된 멀티미디어 데이터 패킷을 각 클라이언트에 송신하는 것이다.
일 실시예에 따르면, 멀티미디어 데이터 패킷 캡슐화 모듈은 직접 각 클라이언트에 의해 송신된 멀티미디어 데이터를 멀티미디어 데이터 패킷으로 캡슐화할 수 있고, 멀티미디어 데이터 패킷 송신 모듈은 각 클라이언트에 동일한 멀티미디어 데이터 패킷을 송신한다. 일 실시예에 따르면, 멀티미디어 데이터 패킷 캡슐화 모듈은, 멀티미디어 데이터 패킷의 목표 클라이언트에 따라, 동일한 멀티미디어 회의실 내의 목표 클라이언트 자체를 제외한 다른 클라이언트에 의해 송신된 멀티미디어 데이터를 멀티미디어 데이터 패킷으로 캡슐화할 수 있고, 그 멀티미디어 데이터 패킷을 멀티미디어 데이터 패킷 송신 모듈에 송신할 수 있다. 멀티미디어 데이터 패킷 송신 모듈은 멀티미디어 데이터 패킷을 목표 클라이언트에 송신한다.
일 실시예에 따르면, 다지점 미디어 프로세서는 또한, 각 사용자의 개별 요구에 따라, 데이터 스트림(data stream)을 상이한 해상도, 품질 및 프레임 레이트의 복수 계층으로 분할하는 기술을 사용할 수 있다. 이러한 경우, 다지점 미디어 프로세서는 클라이언트 능력 정보 저장 모듈 및 멀티미디어 데이터 필터링 모듈을 더 포함한다.
클라이언트 능력 정보 저장 모듈은 각 클라이언트의 능력 정보를 저장하는 것이다. 본 발명의 일 실시예에서, 상이한 능력을 갖춘 클라이언트는 상이한 전송 요구를 가진다. 클라이언트의 능력 정보는 프레임 레이트 정보, 전송 품질 정보, 프로토콜 적응 정보 및 멀티미디어 데이터를 수신하는 클라이언트의 식별 정보 중 어느 하나, 또는 이들의 임의 조합을 포함한다.
멀티미디어 데이터 필터링 모듈은, 클라이언트 능력 정보 저장 모듈에 의해 저장된 각 클라이언트의 능력 정보에 따라, 멀티미디어 데이터에 수신 모듈에 의해 출력된 멀티미디어 데이터를 처리하고, 처리된 멀티미디어 데이터를 멀티미디어 데이터 패킷 캡슐화 모듈에 출력하는 것이다.
본 발명의 일 실시예에서, 예를 들어, 능력 정보가 멀티미디어 데이터를 수신하는 클라이언트의 클라이언트 식별 정보를 포함하면, 멀티미디어 데이터 필터링 모듈은 클라이언트에 의해 설정된 클라이언트 식별 정보에 따라 클라이언트 식별 정보에 대응하지 않는 클라이언트에 의해 송신된 멀티미디어 데이터를 필터링한 다음, 클라이언트 능력 정보에 대응하는 클라이언트 식별 정보를 휴대하는, 필터링된 멀티미디어 데이터를 멀티미디어 데이터 패킷 캡슐화 모듈에 송신하므로, 멀티미디어 데이터 패킷 캡슐화 모듈은 멀티미디어 데이터를 캡슐화한 후, 휴대된 클라이언트 식별 정보에 따라 대응하는 클라이언트에 멀티미디어 데이터를 송신할 수 있고, 이는 사용자의 개별 요구를 충족시킨다.
일 실시예에 따르면, 다지점 미디어 프로세서는 또한 멀티미디어 데이터 전송의 신뢰성을 제어할 수 있다. 다지점 미디어 프로세서는 또한 전송 신뢰성 처리 모듈을 포함한다. 전송 신뢰성 처리 모듈은, 각 클라이언트에 의해 송신되고 멀티미디어 데이터 수신 모듈에 의해 수신된 멀티미디어 데이터를 카운트하고, 각 클라이언트에 대해 패킷 손실률 정보를 각각 계산하고, 클라이언트의 패킷 손실률 정보에 따라 클라이언트에 대한 전송 파라미터를 결정하고, 결정된 송신 파라미터를 클라이언트에 송신하는 것이다.
본 발명의 일 실시예에서, 전송 신뢰성 처리 모듈은, 계산된 패킷 손실률에 따라 멀티미디어 데이터를 업로드하는 클라이언트를 제어하여 인코딩 파라미터를 변경한다. 예를 들어, 클라이언트의 패킷 손실률이 클라이언트에 대해 미리 설정된 패킷 손실률 임계값을 초과하면, 클라이언트는 더 낮은 해상도 및 더 낮은 인코딩 레이트를 사용하도록 하는 통지를 받을 수 있다.
본 발명의 일 실시예에서, 전송 신뢰성 처리 모듈은 또한, 클라이언트에 의해 보고되는 멀티미디어 데이터 패킷 손실률을 수신할 수 있다. 멀티미디어 데이터 패킷 손실률이 미리 설정된 멀티미디어 데이터 패킷 손실률 임계값을 초과하면, VP8 SVC 인코딩 시퀀스의 P 프레임은 폐기된다.
본 발명의 일 실시예에서는, SVC 기술이 사용되기 때문에 P 프레임을 폐기 할 수 있다. SVC 기술에서, 인코딩 시퀀스는 I, P, SP, P, SP, P, SP이다. P 프레임은 선행하는 I 프레임 또는 SP 프레임에 의존하기 때문에 가장 중요하지 않다. SP 프레임은, 선행하는 I 프레임에만 의존하고 후행하는 P 프레임이 SP 프레임을 의존하므로 SP 프레임의 중요도는 중간이고, I 프레임이 가장 중요하다. 따라서, 다운링크 패킷 손실률이 너무 높으면, P 프레임은 다운링크 대역폭을 줄이기 위해 전달(forwarding) 과정에서 폐기된다. P 프레임의 폐기가 절반의 프레임 레이트를 초래할 것이지만, 이미지 품질은 크게 저하되지 않을 것이므로, 다른 프레임의 패킷 손실률을 감소시킨다.
실제 애플리케이션에서, 전송 신뢰성 처리 모듈은 클라이언트의 계산된 패킷 손실률 정보와 클라이언트에 의해 보고된 멀티미디어 데이터 패킷 손실률에 따라, 패킷 손실률에 대한 포괄적인 결정을 내릴 수 있다.
따라서, 본 발명의 실시예에 따른 멀티미디어 데이터 전송 시스템에서, 각 클라이언트에 의해 송신된 인코딩 된 멀티미디어 데이터를 수신한 후, 다지점 제어 유닛은 각 클라이언트에 의해 송신되는 수신된 멀티미디어 데이터만을 멀티미디어 데이터 패킷으로 캡슐화한다. 각 클라이언트는, 다지점 제어 유닛에 의해 송신된 멀티미디어 데이터 패킷을 수신하고, 그 멀티미디어 데이터 패킷을 디코딩하고, 디코딩된 멀티미디어 데이터를 합성하고, 합성된 멀티미디어 데이터를 표시한다. 이와 같이, 다지점 제어 유닛이 전달 프로세스를 수행하고, 데이터 처리 능력에 대한 요구는 낮아서, 멀티미디어 데이터 전송 시스템의 사용 비용을 감소시킨다. 또한, 멀티미디어 데이터의 송신, 수신, 합성 및 표시의 전 과정에서, 인코딩, 압축, 압축해제 및 디코딩의 처리는 한 번만 필요하므로, 시스템의 데이터 처리 능력에 대한 요구를 감소시키고 시스템 자원을 절약한다. 게다가, 클라이언트는 FEC 전략과 함께 SVC 인코딩 기술을 사용하고, 멀티미디어 데이터 전송에 차별화된 전송 전략을 사용하므로, 키 프레임의 전송 품질이 보장될 뿐 아니라 손실된 멀티미디어 데이터의 재전송이 방지되어, 대역폭 전송 자원이 효과적으로 절약된다. 한편, 클라이언트와 다지점 제어 유닛이 각각 패킷 손실률을 카운트하기 때문에, 전송 전략은 네트워크 상황에 따라 실시간으로 조정될 수 있어, 비디오, 오디오 등의 멀티미디어 데이터 전송의 강건성(robustness)을 증대시키고, 전송의 신뢰성을 향상시킬 수 있다. 또한, 클라이언트는 클라이언트 자신의 멀티미디어 데이터만을 전송하기 때문에, 업스트림 대역폭에 대한 요구가 비교적 낮아, 보통 320×240의 해상도에서 80kps∼300kbps의 업스트림 대역폭이 점유된다. 다운링크에서는, 다중화된 멀티미디어 데이터가 수신된다. 예를 들어, 10개의 다운링크가 있는 경우, 800kbps∼2000kps의 대역폭이 점유된다. 이러한 네트워크 대역폭 요구 특성은 현재 가정에서 사용되는 통상의 ADSL 액세스를 최대한 활용할 수 있으며, 회의 서비스는 전용 회선을 신청하지 않고 수행될 수 있어, 회의 서비스를 실현하는 것이 간단하고, 네트워크 대역폭을 더 효율적으로 사용할 수 있다 .
도 6은 본 발명의 일 실시예에 따른 멀티미디어 데이터를 전송하는 방법을 나타낸 개략적 흐름도이다. 도 6에 도시된 바와 같이, 상기 방법은 다음의 처리를 포함한다.
601에서, 멀티미디어 회의실에 액세스한 후, 클라이언트가 송신될 멀티미디어 데이터를 인코딩하고, 인코딩된 멀티미디어 데이터를 다지점 제어 유닛에 송신한다.
일 실시예에 따르면, 클라이언트는 SVC를 사용하여 멀티미디어 데이터를 인코딩하고, 멀티미디어 데이터를 인코딩한 후에 획득된 인코딩 프레임 시퀀스는 I 프레임, P 프레임 및 SP 프레임을 포함한다.
일 실시예에 따르면, 멀티미디어 데이터를 인코딩한 이후이고 다지점 제어 유닛에 인코딩된 멀티미디어 데이터를 송신하기 이전에, 패킷 손실 복구 메커니즘에 따라 인코딩된 멀티미디어 데이터에 중복 데이터를 추가하고, 중복 데이터가 추가된 멀티미디어 데이터를 캡슐화한다.
602에서, 클라이언트는 다지점 제어 유닛에 의해 송신된 멀티미디어 데이터 패킷을 수신한다. 다지점 제어 유닛은 적어도 하나의 클라이언트에 의해 송신된 멀티미디어 데이터를 캡슐화하여 멀티미디어 데이터 패킷을 획득한다.
일 실시예에 따르면, 적어도 하나의 클라이언트에 의해 송신된 멀티미디어 데이터를 수신한 이후이고 그 멀티미디어 데이터를 캡슐화하기 이전에, 다지점 제어 유닛은 각 클라이언트의 미리 저장된 능력 정보에 따라 수신된 멀티미디어 데이터를 더 처리한다.
일 실시예에 따르면, 클라이언트의 능력 정보는 프레임 레이트 정보, 전송 품질 정보, 프로토콜 적응 정보, 최대 전송 단위(Maximum Transmission Unit, MTU), 초기 레이트 및 멀티미디어 데이터를 수신하는 클라이언트의 클라이언트 식별 정보 중 어느 하나, 또는 이들의 임의 조합을 포함한다. 예를 들어, 클라이언트의 능력 정보가 멀티미디어 데이터를 수신하는 클라이언트의 클라이언트 식별 정보를 포함하면, 클라이언트 식별 정보에 대응하지 않는 클라이언트에 의해 송신된 멀티미디어 데이터는 클라이언트에 의해 설정된 클라이언트 식별 정보에 따라 필터링된다.
603에서, 클라이언트는 멀티미디어 데이터 패킷을 디코딩하고, 디코딩된 멀티미디어 데이터를 합성하여 합성된 멀티미디어 데이터를 표시한다.
본 발명의 일 실시예에서, 상기 방법은 다음의 처리를 더 포함한다.
604에서, 클라이언트는 수신된 멀티미디어 데이터 패킷의 패킷 손실률을 카운트하고, 다지점 제어 유닛이 전송 전략을 조정할 수 있도록, 다지점 제어 유닛에 패킷 손실률을 출력한다.
일 실시예에 따르면, 다지점 제어 유닛은 클라이언트에 의해 보고된 패킷 손실률에 따라 전송 전략을 조정한다. 예를 들어, 패킷 손실률이 미리 설정된 패킷 손실 속도 임계값을 초과하면, 송신 전략은 VP8 SVC 인코딩 시퀀스 내의 P 프레임을 폐기하도록 조정된다.
일 실시예에 따르면, 상기한 방법에는 다음의 처리가 더 포함된다. 다지점 제어 유닛에 의해 출력된 전송 파라미터 조정 정보를 수신하고, 멀티미디어 데이터를 전송하기 위한 전송 파라미터를 조정한다. 다지점 제어 유닛은 각 클라이언트에 의해 송신되는 수신된 멀티미디어 데이터를 카운팅하고, 각 클라이언트의 패킷 손실률 정보를 각각 계산하여, 클라이언트의 패킷 손실률 정보에 따라 전송 파라미터 조정 정보를 결정한다.
도 7은 본 발명의 일 실시예에 따른 멀티미디어 데이터를 전송하는 방법을 나타낸 개략 흐름도이다. 다수의 클라이언트 및 다지점 미디어 프로세서가 주로 관여하며, 클라이언트 및 다지점 미디어 프로세서에 의해 수행되는 기능에 대해서는 앞의 설명과 관련하여 간단하게 설명한다. 일 실시예에서, 멀티미디어 회의실은 비디오 데이터를 지원하는 회의실이다.
본 발명의 일 실시예에서, 클라이언트의 주요 기능은 다음과 같이 요약된다:
1. 멀티미디어 데이터 수집, 인코딩, RTP 패킷 송신, RTP 패킷 수신, 디코딩 및 표시;
2. 다지점 미디어 프로세서로부터 송신된 제어 커맨드 수신, 피드백 수행 및 인코딩 제어;
3. 다중화된 멀티미디어 데이터 처리, 예를 들어, 비디오 표시, 복수의 화면(picture)를 하나의 화면으로 합성. 클라이언트에 의해 수신된 멀티미디어 데이터 패킷(오디오 및 비디오 스트림)은 다지점 미디어 프로세서에 의해 전달되고, 멀티미디어 데이터 패킷은 신속하게 프레임으로 설정되고 다른 표시 창에 표시되어, 복수의 화상을 합성하는 효과를 달성한다.
클라이언트는, PC 다중 사용자(multi-user) 비디오 클라이언트 소프트웨어, 이동 전화 비디오 다중 사용자 클라이언트 소프트웨어, 또는 TV 다중 사용자 비디오 클라이언트 소프트웨어와 같은, 다양한 클라이언트 중 하나일 수 있다.
다지점 제어 유닛의 주요 기능은 다음과 같이 요약된다:
1. 클라이언트 등록 관리, 연결 하트비트(connection heartbeat) 관리;
2. 룸(room) 관리, 룸 생성 및 파괴, 클라이언트 액세스 및 퇴출 관리;
3. 오디오 및 비디오 데이터에 대해 어떠한 변환도 수행하지 않으면서, 클라이언트로부터 멀티미디어 데이터 수신, 그 멀티미디어 데이터를 동일 룸 내의 다른 클라이언트에 전달. 다지점 미디어 프로세서는 각 클라이언트가 보기 위해 선택하는 룸의 목록 및 룸 미디어 데이터가 전달되는 목표 룸의 리스크를 유지한다. 다지점 미디어 프로세서는 복수의 클라이언트에 의해 송신된 멀티미디어 데이터를 수신하고, 룸 미디어 데이터가 전달되는 목표 룸의 리스트에 따라, 그 멀티미디어 데이터에 대해 어떠한 처리도 하지 않고, 그 멀티미디어 데이터를 전달한다. 따라서, 다지점 미디어 프로세서의 CPU의 많은 자원을 절약할 수 있어, 단일 다지점 미디어 프로세서의 처리 능력을 직접적으로 증대할 수 있다.
4. 전달중의 패킷 손실률 카운팅 및 손실 프레임 처리, 또는 인코딩 레이트, 해상도 및 프레임 레이트 등을 변경하도록 해당 클라이언트에게 통지.
도 7에 도시된 바와 같이, 멀티미디어 데이터를 전송하는 방법은 다음과 같은 처리를 포함한다.
701에서, 클라이언트가 다지점 제어기를 통해 다지점 미디어 프로세서에 로그인 한다.
702에서, 다지점 미디어 프로세서가 클라이언트에 로그인 응답을 회신한다.
703에서, 다지점 미디어 프로세서가 룸 목록을 검색하여 획득한다.
704에서, 다지점 미디어 프로세서가 클라이언트에 룸 목록 응답을 회신한다.
705에서, 클라이언트가 룸 목록에 따라 룸 번호를 선택하여 룸에 입장한다.
706에서, 다지점 미디어 프로세서가 클라이언트에 입장 룸 응답을 회신한다.
707에서, 다지점 미디어 프로세서가 룸의 멤버 목록을 검색하여 획득한다.
708에서, 다지점 미디어 프로세서가 클라이언트 멤버 목록 응답을 회신한다.
709에서, 클라이언트가 시청하기 위해 멀티미디어 데이터를 선택한다.
일 실시예에 따르면, 클라이언트는 다지점 미디어 프로세서에 시청 요청 시그널링(watching request singling )을 송신하고, 다지점 미디어 프로세서는 시청 요청 신호를 수신하고 시청 응답을 회신한다.
710에서, 클라이언트가 시청 응답을 선택한다.
711에서, 클라이언트가 다지점 미디어 프로세서에 인코딩된 멀티미디어 데이터를 송신한다.
712에서, 다지점 미디어 프로세서는, 시청 요청에 따라 멀티미디어 데이터를 멀티미디어 데이터 패킷으로 캡슐화하여 멀티미디어 데이터 패킷을 전달한다.
713에서, 클라이언트가 캡슐화된 멀티미디어 데이터 패킷을 디코딩하여, 다중화된 멀티미디어 데이터를 획득하고, 멀티미디어 데이터를 합성하여 합성된 멀티미디어 데이터를 표시한다.
714에서, 다지점 미디어 프로세서가 클라이언트의 패킷 손실률 정보를 카운트한다.
715에서, 다지점 미디어 프로세서가 클라이언트의 인코딩 작업을 제어하여 클라이언트가 미리 정해진 인코딩 정보에 따라 부호화 작업을 수행하도록 한다.
716에서, 클라이언트는 수신된 멀티미디어 데이터 패킷의 패킷 손실률 정보를 송신한다.
717에서, 다지점 미디어 프로세서가 멀티미디어 데이터 프레임 내의 P 프레임을 선택적으로 폐기한다.
718에서, 클라이언트가 룸을 퇴장한다.
719에서, 다지점 미디어 프로세서는 룸 퇴장 응답에 응답한다.
이상은 단지 본 발명의 바람직한 실시예일 뿐이며, 본 발명의 보호 범위를 제한하는 데 사용되지 않는다. 모든 수정, 동등한 치환 및 개선은 본 발명의 보호 범위에 내이다.
Claims (21)
- 멀티미디어 데이터를 전송하는 방법으로서
클라이언트가, 멀티미디어 회의실에 액세스한 후, 전송될 멀티미디어 데이터를 인코딩하고, 다지점 제어 유닛에 인코딩된 멀티미디어 데이터를 전송하는 단계;
상기 클라이언트가, 상기 다지점 제어 유닛에 의해 송신된 멀티미디어 데이터 패킷을 수신하는 단계; 및
상기 클라이언트가, 상기 멀티미디어 데이터 패킷을 디코딩하고, 상기 멀티미디어 데이터 패킷을 디코딩한 후에 획득된 멀티미디어 데이터를 합성하고, 합성된 멀티미디어 데이터를 표시하는 단계
를 포함하고,
상기 멀티미디어 데이터 패킷은, 상기 다지점 제어 유닛에 의해, 상기 멀티미디어 회의실 내의 하나 이상의 클라이언트에 의해 송신된 멀티미디어 데이터의 캡슐화를 통해 획득되는,
방법. - 제1항에 있어서,
상기 다지점 제어 유닛에 의해 출력된 전송 파라미터 조정 정보를 수신하는 단계; 및
상기 멀티미디어 데이터를 전송하기 위해 전송 파라미터를 조정하는 단계를 더 포함하고,
상기 전송 파라미터 조정 정보는 상기 클라이언트의 패킷 손실률에 따라 결정되고;
상기 다지점 제어 유닛은 상기 멀티미디어 회의실 내의 클라이언트에 의해 송신된 멀티미디어 데이터를 카운트하고 각 클라이언트에 대한 패킷 손실률을 각각 계산하는, 방법. - 제1항 또는 제2항에 있어서,
상기 다지점 제어 유닛이, 미리 저장된 상기 클라이언트의 능력 정보에 따라, 상기 수신된 멀티미디어 데이터를 처리하는 단계를 더 포함하는 방법. - 제3항에 있어서,
상기 능력 정보는 프레임 레이트 정보(frame rate information), 전송 품질 정보(transmission quality information), 프로토콜 적응 정보(protocol adaptation information), 최대 전송 단위(maximum transmission unit), 초기 레이트(initial rate) 및 상기 멀티미디어 데이터를 수신하는 클라이언트의 클라이언트 식별 정보 중 적어도 하나를 포함하는, 방법. - 제1항에 있어서,
상기 전송될 멀티미디어 데이터를 인코딩한 이후이고 상기 인코딩된 멀티미디어 데이터를 상기 다지점 제어 유닛에 전송하기 이전에,
패킷 손실 복구 메커니즘에 따라, 상기 인코딩된 멀티미디어 데이터에 중복 데이터(redundant data)를 추가하는 단계; 및
상기 추가된 중복 데이터를 포함하는 멀티미디어 데이터를 캡슐화하는 단계를 더 포함하고,
상기 다지점 제어 유닛에 상기 인코딩된 멀티미디어 데이터를 전송하는 단계는,
상기 다지점 제어 유닛에 상기 캡슐화된 멀티미디어 데이터를 전송하는 단계를 포함하는, 방법. - 제1항에 있어서,
상기 수신된 멀티미디어 데이터의 패킷 손실률 정보를 카운트하고, 상기 다지점 제어 유닛에 상기 패킷 손실률 정보를 출력하는 단계를 더 포함하고,
상기 패킷 손실률 정보는 전송 전략 조정을 위해 상기 다지점 제어 유닛에 의해 사용되는, 방법. - 멀티미디어 데이터를 전송하는 장치로서,
다지점 제어 유닛과 상호작용하여 멀티미디어 회의실에 액세스하는 액세스 인증 모듈;
전송될 멀티미디어 데이터를 인코딩하여 인코딩된 멀티미디어 데이터를 출력하는 인코딩 모듈;
상기 인코딩된 멀티미디어 데이터를 송신하는 멀티미디어 데이터 송신 모듈;
상기 다지점 제어 유닛에 의해 송신된 멀티미디어 데이터 패킷을 수신하여 상기 멀티미디어 데이터 패킷을 출력하는 멀티미디어 데이터 패킷 수신 모듈;
상기 멀티미디어 데이터 패킷을 디코딩하여 상기 멀티미디어 데이터 패킷을 디코딩한 후에 획득된 멀티미디어 데이터 패킷을 출력하는 디코딩 모듈; 및
상기 멀티미디어 데이터 패킷을 디코딩한 후에 획득된 멀티미디어 데이터를 합성하여 합성된 멀티미디어 데이터를 표시하는 합성 모듈
을 포함하고,
상기 멀티미디어 데이터 패킷은, 상기 다지점 제어 유닛에 의해, 상기 멀티미디어 회의실 내의 하나 이상의 클라이언트에 의해 송신된 멀티미디어 데이터의 캡슐화를 통해 획득되는,
장치. - 제7항에 있어서,
패킷 손실 복구 메커니즘에 따라, 상기 인코딩 모듈에 의해 출력되는 인코딩된 멀티미디어 데이터에 중복 데이터를 추가하고, 추가된 중복 데이터를 포함하는 멀티미디어 데이터를 캡슐화하여 캡슐화된 멀티미디어 데이터를 상기 멀티미디어 데이터 송신 모듈에 출력하는 순방향 에러 정정 처리 모듈(forward error correction processing module)을 더 포함하는 장치. - 제7항 또는 제8항에 있어서,
상기 멀티미디어 데이터 패킷 수신 모듈에 의해 수신된 멀티미디어 데이터 패킷의 패킷 손실률 정보를 카운트하고, 상기 다지점 제어 유닛에 상기 패킷 손실률 정보를 출력하는 멀티미디어 데이터 패킷 패킷 손실률 카운팅 모듈을 더 포함하는 장치. - 멀티미디어 데이터를 전송하는 장치로서,
하나의 멀티미디어 회의실 내의 클라이언트에 의해 송신된 멀티미디어 데이터를 수신하여 상기 멀티미디어 데이터를 출력하는 멀티미디어 데이터 수신 모듈;
상기 멀티미디어 데이터 수신 모듈에 의해 출력된 멀티미디어 데이터를 멀티미디어 데이터 패킷으로 캡슐화하여 상기 멀티미디어 데이터 패킷을 출력하는 멀티미디어 데이터 패킷 캡슐화 모듈; 및
상기 멀티미디어 데이터 패킷 캡슐화 모듈에 의해 출력된 멀티미디어 데이터 패킷을 상기 클라이언트에 송신하는 멀티미디어 데이터 패킷 송신 모듈
을 포함하는 장치. - 제10항에 있어서,
상기 클라이언트의 능력 정보(capability information)를 저장하는 클라이언트 능력 정보 저장 모듈; 및
상기 클라이언트 능력 정보 저장 모듈에 의해 저장된 클라이언트의 능력 정보에 따라, 상기 멀티미디어 데이터 수신 모듈에 의해 출력된 멀티미디어 데이터를 처리하고, 처리된 멀티미디어 데이터를 상기 멀티미디어 데이터 패킷 캡슐화 모듈에 출력하는 멀티미디어 데이터 필터링 모듈을 더 포함하는 장치. - 제10항 또는 제11항에 있어서,
상기 멀티미디어 데이터 수신 모듈에 의해 수신된 멀티미디어 데이터에 따라, 상기 클라이언트 각각에 대해 패킷 손실률 정보를 각각 계산하고, 상기 패킷 손실률 정보에 따라 상기 클라이언트에 대한 전송 파라미터를 결정하여 상기 클라이언트에 상기 전송 파라미터를 송신하는 전송 신뢰성 처리 모듈을 더 포함하는 장치. - 제12항에 있어서,
상기 전송 신뢰성 처리 모듈은, 상기 클라이언트에 의해 보고된 멀티미디어 데이터 패킷의 패킷 손실률을 수신하고 전송 전략을 조정하는, 장치. - 하나 이상의 클라이언트 및 다지점 제어 유닛을 포함하는 멀티미디어 데이터를 전송하는 시스템으로서,
상기 클라이언트는,
상기 다지점 제어 유닛과 상호작용하여 멀티미디어 회의실에 액세스하고;
전송될 멀티미디어 데이터를 인코딩하여 인코딩된 멀티미디어 데이터를 상기 다지점 제어 유닛에 출력하고;
상기 다지점 제어 유닛에 의해 송신된 멀티미디어 데이터 패킷을 수신하고, 상기 멀티미디어 데이터 패킷을 디코딩하고, 상기 멀티미디어 데이터 패킷을 디코딩한 후에 획득된 멀티미디어 데이터를 합성하여 합성된 멀티미디어 데이터를 표시하는, 것이고;
상기 다지점 제어 유닛은,
상기 클라이언트와 상호작용하여 상기 클라이언트를 상기 멀티미디어 회의실에 액세스하게 하고;
상기 멀티미디어 회의실 내의 클라이언트에 의해 송신된 멀티미디어 데이터를 멀티미디어 데이터 패킷으로 캡슐화하고;
상기 멀티미디어 회의실 내의 클라이언트에 상기 멀티미디어 데이터 패킷을 송신하는, 것인,
시스템. - 제14항에 있어서,
상기 다지점 제어 유닛은 디지점 제어기 및 다지점 미디어 프로세서를 포함하고,
상기 다지점 제어기는, 상기 클라이언트와 상호작용하여 상기 클라이언트를 상기 멀티미디어 회의실에 액세스하게 하는 데 사용되고;
상기 다지점 미디어 프로세서는, 상기 멀티미디어 회의실 내의 클라이언트에 의해 송신되어 수신된 멀티미디어 데이터를 캡슐화하고, 상기 멀티미디어 데이터 패킷을 상기 멀티미디어 회의실 내의 클라이언트에 송신하는 데 사용되는, 시스템. - 제15항에 있어서,
상기 다지점 미디어 프로세서는,
상기 멀티미디어 회의실 내의 클라이언트에 의해 송신된 멀티미디어 데이터를 수신하여 상기 멀티미디어 데이터를 출력하는 멀티미디어 데이터 수신 모듈;
상기 멀티미디어 데이터 수신 모듈에 의해 출력된 멀티미디어 데이터를 멀티미디어 데이터 패킷으로 캡슐화하여 상기 멀티 미디어 데이터 패킷을 출력하는 멀티미디어 데이터 패킷 캡슐화 모듈; 및
상기 멀티미디어 데이터 패킷 캡슐화 모듈에 의해 출력된 상기 멀티미디어 데이터 패킷을 상기 클라이언트에 송신하는 멀티미디어 데이터 패킷 송신 모듈을 포함하는, 시스템. - 제16항에 있어서,
상기 다지점 미디어 프로세서는,
상기 클라이언트의 능력 정보를 저장하는 클라이언트 능력 정보 저장 모듈; 및
상기 클라이언트 능력 정보 저장 모듈에 의해 저장된 클라이언트의 능력 정보에 따라, 상기 멀티미디어 데이터 수신 모듈에 의해 출력된 멀티미디어 데이터를 처리하고, 처리된 멀티미디어 데이터를 상기 멀티미디어 데이터 패킷 캡슐화 모듈에 출력하는 멀티미디어 데이터 필터링 모듈을 더 포함하는, 시스템. - 제16항 또는 제17항에 있어서,
상기 다지점 미디어 프로세서는, 상기 멀티미디어 데이터 수신 모듈에 의해 수신된 멀티미디어 데이터에 따라, 상기 클라이언트 각각에 대해 패킷 손실률 정보를 계산하고, 상기 패킷 손실률 정보에 따라, 상기 클라이언트 각각에 대한 전송 파라미터를 결정하여 상기 클라이언트 각각에 상기 전송 파라미터를 송신하는 송신 신뢰성 처리 모듈을 더 포함하는, 시스템. - 제14항에 있어서,
상기 클라이언트는,
다지점 제어 유닛과 상호작용하여 멀티미디어 회의실에 액세스하는 액세스 인증 모듈;
전송될 멀티미디어 데이터를 인코딩하여 인코딩된 멀티미디어 데이터를 출력하는 인코딩 모듈;
상기 인코딩된 멀티미디어 데이터를 송신하는 멀티미디어 데이터 송신 모듈;
상기 다지점 제어 유닛에 의해 송신된 멀티미디어 데이터 패킷을 수신하여 상기 멀티미디어 데이터 패킷을 출력하는 멀티미디어 데이터 패킷 수신 모듈;
상기 멀티미디어 데이터 패킷을 디코딩하여 상기 멀티미디어 데이터 패킷을 디코딩한 후에 획득된 멀티미디어 데이터 패킷을 출력하는 디코딩 모듈; 및
상기 멀티미디어 데이터 패킷을 디코딩한 후에 획득된 멀티미디어 데이터를 합성하여 합성된 멀티미디어 데이터를 표시하는 합성 모듈
을 포함하고,
상기 멀티미디어 데이터 패킷은, 상기 다지점 제어 유닛에 의해, 상기 멀티미디어 회의실 내의 하나 이상의 클라이언트에 의해 송신된 멀티미디어 데이터의 캡슐화를 통해 획득되는, 시스템. - 제19항에 있어서,
상기 클라이언트는,
패킷 손실 복구 메커니즘에 따라, 상기 인코딩 모듈에 의해 출력되는 인코딩된 멀티미디어 데이터에 중복 데이터를 추가하고, 추가된 중복 데이터를 포함하는 멀티미디어 데이터를 캡슐화하여, 캡슐화된 멀티미디어 데이터를 상기 멀티미디어 데이터 송신 모듈에 출력하는 순방향 에러 정정 처리 모듈을 더 포함하는, 시스템. - 제19항 또는 제20항에 있어서,
상기 클라이언트는,
상기 멀티미디어 데이터 패킷 수신 모듈에 의해 수신된 멀티미디어 데이터 패킷의 패킷 손실률 정보를 카운트하고, 상기 다지점 제어 유닛에 상기 패킷 손실률 정보를 출력하는 멀티미디어 데이터 패킷 패킷 손실률 카운팅 모듈을 더 포함하는, 시스템.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210023031.X | 2012-02-02 | ||
| CN201210023031XA CN103248882A (zh) | 2012-02-02 | 2012-02-02 | 多媒体数据传输的方法、多媒体数据传输装置及系统 |
| PCT/CN2013/071190 WO2013113281A1 (zh) | 2012-02-02 | 2013-01-31 | 传输多媒体数据的方法、装置及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20140128400A true KR20140128400A (ko) | 2014-11-05 |
Family
ID=48904415
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020147024530A Ceased KR20140128400A (ko) | 2012-02-02 | 2013-01-31 | 멀티미디어 데이터 전송 방법, 장치, 및 시스템 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US9578179B2 (ko) |
| KR (1) | KR20140128400A (ko) |
| CN (1) | CN103248882A (ko) |
| AP (1) | AP2014007863A0 (ko) |
| WO (1) | WO2013113281A1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021066210A1 (ko) * | 2019-09-30 | 2021-04-08 | 엘지전자 주식회사 | 디스플레이 장치 및 디스플레이 시스템 |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015163736A1 (en) * | 2014-04-25 | 2015-10-29 | Samsung Electronics Co., Ltd. | Methods of providing social network service and server performing the same |
| CN103974027B (zh) * | 2014-05-26 | 2018-03-02 | 中国科学院上海高等研究院 | 多端到多端的实时通信方法及系统 |
| CN105763832B (zh) * | 2014-12-16 | 2018-11-02 | 中国移动通信集团公司 | 一种视频互动、控制方法及装置 |
| CN106161179B (zh) * | 2015-03-26 | 2019-12-20 | 中兴通讯股份有限公司 | 一种基于网页的实时通信的媒体处理方法与装置 |
| CN105721469B (zh) * | 2016-02-18 | 2019-09-20 | 腾讯科技（深圳）有限公司 | 音频数据处理方法、服务器、客户端以及系统 |
| CN107277423B (zh) * | 2017-07-28 | 2020-10-09 | 北京小米移动软件有限公司 | 丢包重传的方法及装置 |
| CN107277432A (zh) * | 2017-08-03 | 2017-10-20 | 长沙曙通信息科技有限公司 | 一种多媒体一对多分发广播系统实现方法 |
| CN110087020B (zh) * | 2019-04-30 | 2021-09-21 | 视联动力信息技术股份有限公司 | 一种iOS设备进行视联网会议的实现方法及系统 |
| CN110474867A (zh) * | 2019-06-26 | 2019-11-19 | 深圳市朗强科技有限公司 | 一种多媒体数据的传输方法、系统及设备 |
| CN114827101B (zh) * | 2022-04-13 | 2024-11-22 | 京东科技信息技术有限公司 | 音频处理方法、装置、电子设备及存储介质 |
| CN116471425B (zh) * | 2023-04-20 | 2024-02-06 | 四川康和圣科技有限公司 | 一种基于大数据分析的多媒体数据管理系统 |
| CN117155790B (zh) * | 2023-10-26 | 2023-12-29 | 珠海市嘉德电能科技有限公司 | 电池管理系统的数据传输方法、系统、设备及存储介质 |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0670040A (ja) | 1992-08-19 | 1994-03-11 | Fujitsu Ltd | 多地点テレビ会議システムにおける表示形態変更方式 |
| US7984174B2 (en) * | 2002-11-11 | 2011-07-19 | Supracomm, Tm Inc. | Multicast videoconferencing |
| CN1571508B (zh) * | 2003-07-19 | 2010-05-12 | 华为技术有限公司 | 一种实现多画面的方法 |
| CN1570508A (zh) | 2003-07-24 | 2005-01-26 | 李冬雪 | 旋转燃烧火焰离心分离惰性质切线边缘向下排烟道 |
| EP1871110B1 (en) * | 2004-12-22 | 2015-06-03 | ZTE Corporation | A method for transmitting the multichannel video sources on video conferencing system |
| US8773494B2 (en) | 2006-08-29 | 2014-07-08 | Microsoft Corporation | Techniques for managing visual compositions for a multimedia conference call |
| US9065667B2 (en) * | 2006-09-05 | 2015-06-23 | Codian Limited | Viewing data as part of a video conference |
| TW200934154A (en) | 2007-12-28 | 2009-08-01 | Panasonic Corp | Communication device and communication system |
| CN101588252B (zh) * | 2008-05-23 | 2011-07-20 | 华为技术有限公司 | 一种多点会议的控制方法及装置 |
| US8243117B2 (en) * | 2008-09-26 | 2012-08-14 | Microsoft Corporation | Processing aspects of a video scene |
| CN101370114B (zh) | 2008-09-28 | 2011-02-02 | 华为终端有限公司 | 视频及音频处理方法、多点控制单元和视频会议系统 |
| US8345082B2 (en) * | 2008-10-08 | 2013-01-01 | Cisco Technology, Inc. | System and associated methodology for multi-layered site video conferencing |
| CN101883240B (zh) * | 2010-06-09 | 2012-02-22 | 广东威创视讯科技股份有限公司 | 基于mcu的视频会议系统及其视频传输丢包处理的方法 |
-
2012
- 2012-02-02 CN CN201210023031XA patent/CN103248882A/zh active Pending
-
2013
- 2013-01-31 WO PCT/CN2013/071190 patent/WO2013113281A1/zh not_active Ceased
- 2013-01-31 AP AP2014007863A patent/AP2014007863A0/xx unknown
- 2013-01-31 KR KR1020147024530A patent/KR20140128400A/ko not_active Ceased
-
2014
- 2014-08-01 US US14/450,090 patent/US9578179B2/en active Active
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021066210A1 (ko) * | 2019-09-30 | 2021-04-08 | 엘지전자 주식회사 | 디스플레이 장치 및 디스플레이 시스템 |
Also Published As
| Publication number | Publication date |
|---|---|
| US9578179B2 (en) | 2017-02-21 |
| US20140341086A1 (en) | 2014-11-20 |
| AP2014007863A0 (en) | 2014-08-31 |
| CN103248882A (zh) | 2013-08-14 |
| WO2013113281A1 (zh) | 2013-08-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9578179B2 (en) | Method, apparatus and system for transmitting multimedia data | |
| US8446452B2 (en) | Video rate adaptation for congestion control | |
| US8896652B2 (en) | System and method for real-time video communications | |
| CN107241564B (zh) | 基于ims网络架构的多流视频会议方法、装置及系统 | |
| US8341672B2 (en) | Systems, methods and computer readable media for instant multi-channel video content browsing in digital video distribution systems | |
| US8005149B2 (en) | Transmission of stream video in low latency | |
| WO2012075951A1 (zh) | 会场带宽的调整方法、装置、会议终端和媒体控制服务器 | |
| US10944973B2 (en) | Estimation of video quality of experience on media servers | |
| US20080100694A1 (en) | Distributed caching for multimedia conference calls | |
| WO2010130182A1 (zh) | 多路视频通讯系统及处理方法 | |
| WO2006104556A2 (en) | Split screen multimedia video conferencing | |
| US20130141518A1 (en) | Video bandwidth optimization | |
| CN105635636A (zh) | 一种视频会议系统及其实现视频图像传输控制的方法 | |
| WO2016003344A1 (en) | Priority of uplink streams in video switching | |
| JPWO2005050346A1 (ja) | コンテンツ配信及び受信装置，コンテンツ送受信システム，コンテンツ配信及び受信方法，コンテンツ配信及び受信用プログラム | |
| CN101489091A (zh) | 一种语音信号传输处理方法及装置 | |
| Wong et al. | TCP streaming for low-delay wireless video | |
| US20100246685A1 (en) | Compressed video decoding delay reducer | |
| EP2993855A1 (en) | Method, conference router, system and computer-readable medium for transmitting video streams | |
| Diaz et al. | A demand-aware adaptive streaming strategy for high-quality WebRTC videoconferencing | |
| Haems et al. | Towards efficient transport for Real-Time immersive applications over hybrid networks | |
| OA17015A (en) | Multimedia data transmission method, device and system. | |
| TWI475842B (zh) | Real-time control method of servo-to-client data stream transfer rate | |
| Johanson | Multimedia communication, collaboration and conferencing using Alkit Confero | |
| CN121864981A (zh) | 一种通过降低网络带宽来减少延时的网络音视频信号组播输出方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| PA0105 | International application |
Patent event date: 20140901 Patent event code: PA01051R01D Comment text: International Patent Application |
|
| PA0201 | Request for examination | ||
| PG1501 | Laying open of application | ||
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20150528 Patent event code: PE09021S01D |
|
| E601 | Decision to refuse application | ||
| PE0601 | Decision on rejection of patent |
Patent event date: 20151008 Comment text: Decision to Refuse Application Patent event code: PE06012S01D Patent event date: 20150528 Comment text: Notification of reason for refusal Patent event code: PE06011S01I |